instruction
2024/4/21 11:16:00
『instruction 系の LLM のプロンプトのフォーマット』
2024/4/21 12:09:00
ござるデータセットをチャットテンプレートに変換するやつ
2024/4/21 11:17:00
cat databricks-dolly-15k-ja-gozaru.json | jq -r '.[] | "<s>[INST]<<SYS>>\n" + .input + "<</SYS>>\n" + .instruction + "[\\INST]" + .output + "<\\s>\n"' > gozaru_instruct.txt