GPT-3.5 Turbo的模型微调功能已正式上线，而GPT-4的模型微调则计划在今年秋季推出。此次更新为开发者提供了一个机会，可以根据特定应用场景定制出性能更优的模型，并支持这些模型的大规模部署。初步实验结果显示，经过微调的GPT-3.5 Turbo在某些特定任务上，不仅可以与GPT-4基础版本相媲美，甚至有可能超过其性能。值得注意的是，与所有的API服务一样，通过微调API传输的所有数据都是客户的私有数据，或其他任何机构均不会使用此数据进行其他模型的训练。
微调应用场景
自GPT-3.5 Turbo发布之初，开发者和企业一直在寻求更深度的模型定制能力，以为其用户提供更加特色化和差异化的交互体验。借助此次的更新，开发者可以采用有监督的微调方法，进一步优化模型以满足特定应用场景的需求。
在的封闭测试阶段，一些客户已经通过微调技术，在多种常见应用场景中实现了显著的模型性能提升，例如：
此外，微调技术不仅提升了模型的性能，还为企业提供了更为简洁的提示内容（ their ），且仍能保持高效的性能。微调后的GPT-3.5 Turbo能够处理高达4k的token，是之前模型的两倍。早期的测试人员通过对模型本身的指令进行微调，将提示内容缩减了高达90%，这不仅提高了每次API调用的响应速度，还有的效降低了成本。
值得注意的是，当微调与其他技术，如提示工程、信息检索和函数调用相结合时，其效果更为显著。而对于函数调用以及gpt-3.5-turbo-16k的微调，计划将在今年秋季晚些时候推出。
微调步骤
从微调到使用微调模型，共包含4个基本步骤。
下面是简单的示例：
1.准备训练数据
{
"messages": [
{ "role": "system", "content": "You are an assistant that occasionally misspells words" },
{ "role": "user", "content": "Tell me a story." },
{ "role": "assistant", "content": "One day a student went to schoool." }
]
}2.上传训练数据
curl -https://api.openai.com/v1/files
-H "Authorization: Bearer $OPENAI_API_KEY"
-F "purpose=fine-tune"
-F "file=@path_to_your_file"3.训练新的微调模型
通过创建微调作业，来训练新的微调模型。
curl https://api.openai.com/v1/fine_tuning/jobs
-H "Content-Type: application/json"
-H "Authorization: Bearer $OPENAI_API_KEY"
-d '{
"training_file": "TRAINING_FILE_ID",
"model": "gpt-3.5-turbo-0613",
}'
一旦完成了模型的微调过程，就可以立即在生产环境中使用，并且具有与底层模型相同且共享的速率限制。
4.使用新的微调模型
curl https://api.openai.com/v1/chat/completions
-H "Content-Type: application/json"
-H "Authorization: Bearer $OPENAI_API_KEY"
-d '{
"model": "ft:gpt-3.5-turbo:org_id",
"messages": [
{
"role": "system",
"content": "You are an assistant that occasionally misspells words"
},
{
"role": "user",
"content": "Hello! What is fine-tuning?"
}
]
}'详细微调请参考：
还计划在不久的将来推出一个微调用户界面（UI），这将使得开发人员能够更加容易地获取正在进行的微调任务、已完成的模型快照等信息。
价格
微调成本分为两部分：初始训练成本和使用成本。
例如，对于一个gpt-3.5-turbo微调任务，如果它的训练文件有100,000个，并且进行了3个训练周期，那么预计成本为$2.40。
参考
