2023-11-02 15:42:49 +00:00
|
|
|
|
如果您使用自定义数据集,请务必在 `dataset_info.json` 文件中按照以下格式提供数据集定义。
|
|
|
|
|
|
|
|
|
|
```json
|
|
|
|
|
"数据集名称": {
|
2023-12-18 11:09:31 +00:00
|
|
|
|
"hf_hub_url": "Hugging Face 的数据集仓库地址(若指定,则忽略 script_url 和 file_name)",
|
|
|
|
|
"ms_hub_url": "ModelScope 的数据集仓库地址(若指定,则忽略 script_url 和 file_name)",
|
|
|
|
|
"script_url": "包含数据加载脚本的本地文件夹名称(若指定,则忽略 file_name)",
|
2023-11-02 16:15:23 +00:00
|
|
|
|
"file_name": "该目录下数据集文件的名称(若上述参数未指定,则此项必需)",
|
2023-12-09 12:53:18 +00:00
|
|
|
|
"file_sha1": "数据集文件的 SHA-1 哈希值(可选,留空不影响训练)",
|
2023-11-02 16:15:23 +00:00
|
|
|
|
"subset": "数据集子集的名称(可选,默认:None)",
|
2023-12-09 12:53:18 +00:00
|
|
|
|
"folder": "Hugging Face 仓库的文件夹名称(可选,默认:None)",
|
2023-11-02 16:15:23 +00:00
|
|
|
|
"ranking": "是否为偏好数据集(可选,默认:False)",
|
|
|
|
|
"formatting": "数据集格式(可选,默认:alpaca,可以为 alpaca 或 sharegpt)",
|
2024-02-10 08:39:19 +00:00
|
|
|
|
"columns(可选)": {
|
2024-01-21 14:17:48 +00:00
|
|
|
|
"prompt": "数据集代表提示词的表头名称(默认:instruction)",
|
|
|
|
|
"query": "数据集代表请求的表头名称(默认:input)",
|
|
|
|
|
"response": "数据集代表回答的表头名称(默认:output)",
|
|
|
|
|
"history": "数据集代表历史对话的表头名称(默认:None)",
|
|
|
|
|
"messages": "数据集代表消息列表的表头名称(默认:conversations)",
|
|
|
|
|
"system": "数据集代表系统提示的表头名称(默认:None)",
|
|
|
|
|
"tools": "数据集代表工具描述的表头名称(默认:None)"
|
|
|
|
|
},
|
2024-02-10 08:39:19 +00:00
|
|
|
|
"tags(可选,用于 sharegpt 格式)": {
|
2024-01-21 14:17:48 +00:00
|
|
|
|
"role_tag": "消息中代表发送者身份的键名(默认:from)",
|
|
|
|
|
"content_tag": "消息中代表文本内容的键名(默认:value)",
|
|
|
|
|
"user_tag": "消息中代表用户的 role_tag(默认:human)",
|
|
|
|
|
"assistant_tag": "消息中代表助手的 role_tag(默认:gpt)",
|
|
|
|
|
"observation_tag": "消息中代表工具返回结果的 role_tag(默认:observation)",
|
2024-02-10 08:39:19 +00:00
|
|
|
|
"function_tag": "消息中代表工具调用的 role_tag(默认:function_call)",
|
|
|
|
|
"system_tag": "消息中代表系统提示的 role_tag(默认:system,会覆盖 system 列)"
|
2023-11-02 15:42:49 +00:00
|
|
|
|
}
|
|
|
|
|
}
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
添加后可通过指定 `--dataset 数据集名称` 参数使用自定义数据集。
|
|
|
|
|
|
2024-03-31 10:29:50 +00:00
|
|
|
|
----
|
|
|
|
|
|
2023-11-02 16:15:23 +00:00
|
|
|
|
该项目目前支持两种格式的数据集:**alpaca** 和 **sharegpt**,其中 alpaca 格式的数据集按照以下方式组织:
|
2023-11-02 15:42:49 +00:00
|
|
|
|
|
|
|
|
|
```json
|
|
|
|
|
[
|
|
|
|
|
{
|
2023-11-02 16:15:23 +00:00
|
|
|
|
"instruction": "用户指令(必填)",
|
|
|
|
|
"input": "用户输入(选填)",
|
|
|
|
|
"output": "模型回答(必填)",
|
2023-12-12 11:45:59 +00:00
|
|
|
|
"system": "系统提示词(选填)",
|
2023-11-02 16:15:23 +00:00
|
|
|
|
"history": [
|
|
|
|
|
["第一轮指令(选填)", "第一轮回答(选填)"],
|
|
|
|
|
["第二轮指令(选填)", "第二轮回答(选填)"]
|
2023-11-02 15:42:49 +00:00
|
|
|
|
]
|
|
|
|
|
}
|
|
|
|
|
]
|
|
|
|
|
```
|
|
|
|
|
|
2023-11-02 16:15:23 +00:00
|
|
|
|
对于上述格式的数据,`dataset_info.json` 中的 `columns` 应为:
|
2023-07-21 08:57:58 +00:00
|
|
|
|
|
|
|
|
|
```json
|
|
|
|
|
"数据集名称": {
|
|
|
|
|
"columns": {
|
2023-11-02 15:42:49 +00:00
|
|
|
|
"prompt": "instruction",
|
|
|
|
|
"query": "input",
|
|
|
|
|
"response": "output",
|
2023-12-12 11:45:59 +00:00
|
|
|
|
"system": "system",
|
2023-11-02 15:42:49 +00:00
|
|
|
|
"history": "history"
|
2023-09-01 11:00:45 +00:00
|
|
|
|
}
|
2023-07-21 08:57:58 +00:00
|
|
|
|
}
|
|
|
|
|
```
|
|
|
|
|
|
2024-02-10 13:04:29 +00:00
|
|
|
|
其中 `query` 列对应的内容会与 `prompt` 列对应的内容拼接后作为用户指令,即用户指令为 `prompt\nquery`。`response` 列对应的内容为模型回答。
|
2023-11-02 15:42:49 +00:00
|
|
|
|
|
2024-02-10 13:04:29 +00:00
|
|
|
|
`system` 列对应的内容将被作为系统提示词。`history` 列是由多个字符串二元组构成的列表,分别代表历史消息中每轮的指令和回答。注意历史消息中的回答**也会被用于训练**。
|
2023-11-02 15:42:49 +00:00
|
|
|
|
|
|
|
|
|
对于预训练数据集,仅 `prompt` 列中的内容会用于模型训练。
|
2023-08-22 05:30:57 +00:00
|
|
|
|
|
2023-11-02 15:42:49 +00:00
|
|
|
|
对于偏好数据集,`response` 列应当是一个长度为 2 的字符串列表,排在前面的代表更优的回答,例如:
|
2023-08-22 11:46:09 +00:00
|
|
|
|
|
2023-08-22 05:30:57 +00:00
|
|
|
|
```json
|
|
|
|
|
{
|
2023-11-02 15:42:49 +00:00
|
|
|
|
"instruction": "用户指令",
|
|
|
|
|
"input": "用户输入",
|
2023-08-22 11:46:09 +00:00
|
|
|
|
"output": [
|
2023-11-02 15:42:49 +00:00
|
|
|
|
"优质回答",
|
|
|
|
|
"劣质回答"
|
2023-09-01 11:00:45 +00:00
|
|
|
|
]
|
2023-08-22 05:30:57 +00:00
|
|
|
|
}
|
|
|
|
|
```
|
2023-11-02 15:42:49 +00:00
|
|
|
|
|
2024-03-31 10:29:50 +00:00
|
|
|
|
添加偏好数据集需要额外指定 `"ranking": true`。
|
|
|
|
|
|
|
|
|
|
----
|
|
|
|
|
|
2023-11-02 15:42:49 +00:00
|
|
|
|
而 sharegpt 格式的数据集按照以下方式组织:
|
|
|
|
|
|
|
|
|
|
```json
|
|
|
|
|
[
|
|
|
|
|
{
|
2023-11-02 16:15:23 +00:00
|
|
|
|
"conversations": [
|
|
|
|
|
{
|
|
|
|
|
"from": "human",
|
|
|
|
|
"value": "用户指令"
|
|
|
|
|
},
|
|
|
|
|
{
|
|
|
|
|
"from": "gpt",
|
|
|
|
|
"value": "模型回答"
|
|
|
|
|
}
|
2023-12-12 11:45:59 +00:00
|
|
|
|
],
|
2024-01-21 14:17:48 +00:00
|
|
|
|
"system": "系统提示词(选填)",
|
|
|
|
|
"tools": "工具描述(选填)"
|
2023-11-02 15:42:49 +00:00
|
|
|
|
}
|
|
|
|
|
]
|
|
|
|
|
```
|
|
|
|
|
|
2023-11-02 16:15:23 +00:00
|
|
|
|
对于上述格式的数据,`dataset_info.json` 中的 `columns` 应为:
|
2023-11-02 15:42:49 +00:00
|
|
|
|
|
|
|
|
|
```json
|
|
|
|
|
"数据集名称": {
|
|
|
|
|
"columns": {
|
|
|
|
|
"messages": "conversations",
|
2024-01-21 14:17:48 +00:00
|
|
|
|
"system": "system",
|
|
|
|
|
"tools": "tools"
|
|
|
|
|
},
|
|
|
|
|
"tags": {
|
|
|
|
|
"role_tag": "from",
|
2024-01-31 03:58:07 +00:00
|
|
|
|
"content_tag": "value",
|
|
|
|
|
"user_tag": "human",
|
|
|
|
|
"assistant_tag": "gpt"
|
2023-11-02 15:42:49 +00:00
|
|
|
|
}
|
|
|
|
|
}
|
|
|
|
|
```
|
|
|
|
|
|
2024-02-10 13:04:29 +00:00
|
|
|
|
其中 `messages` 列应当是一个列表,且符合 `用户/模型/用户/模型/用户/模型` 的顺序。
|
2023-11-02 16:15:23 +00:00
|
|
|
|
|
2023-11-02 15:42:49 +00:00
|
|
|
|
预训练数据集和偏好数据集尚不支持 sharegpt 格式。
|