GPT-3.5 Turbo的微调现在可用，GPT-4的微调将在今年秋季推出。此更新使开发人员能够定制更适合他们用例的模型，并大规模运行这些定制模型。早期测试表明，GPT-3.5 Turbo的微调版本可以在某些狭窄任务上匹配甚至超过基础GPT-4级别的能力。与我们所有的API一样，微调API的输入和输出数据由客户拥有，OpenAI或任何其他组织都不使用它来训练其他模型。

微调用例

自GPT-3.5 Turbo发布以来，开发人员和企业一直在要求能够定制该模型，为他们的用户创建独特和差异化的体验。通过此次推出，开发人员现在可以运行监督微调，使此模型更好地适应他们的用例。

在我们的私人测试版中，微调客户已能够在常见用例上有意义地提高模型性能，例如：

  • 改进的可操纵性：微调允许企业使模型更好地遵循指令，例如使输出简练或始终以给定语言响应。例如，开发人员可以使用微调确保模型在被提示使用该语言时始终以德语响应。
  • 可靠的输出格式化：微调提高了模型一致地格式化响应的能力——这对于需要特定响应格式的应用程序（例如代码完成或组装API调用）至关重要。开发人员可以使用微调更可靠地将用户提示转换为可以与他们自己的系统一起使用的高质量JSON片段。
  • 定制语调：微调是一种改善模型输出（例如其语调）的定性感觉的好方法，使其更符合企业品牌的声音。具有可识别品牌声音的企业可以使用微调使模型与其语调更一致。

除了性能增加之外，微调还使企业能够在确保类似性能的同时缩短提示。使用GPT-3.5-Turbo的微调还可以处理4k个令牌——是我们之前微调模型的两倍。通过将指令微调到模型本身，早期测试人员已将提示大小减少了多达90%，从而加速了每个API调用并降低了成本。

与诸如提示工程、信息检索和函数调用等其他技术结合使用时，微调最为强大。查看我们的微调指南以了解更多信息。函数调用和gpt-3.5-turbo-16k的微调支持将在今年秋季晚些时候推出。

微调步骤

步骤1 准备数据

{
  "messages": [
    { "role": "system", "content": "You are an assistant that occasionally misspells words" },
    { "role": "user", "content": "Tell me a story." },
    { "role": "assistant", "content": "One day a student went to schoool." }
  ]
}

步骤2 上传数据

curl -https://api.openai.com/v1/files \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F "purpose=fine-tune" \
  -F "file=@path_to_your_file"

步骤3 创建一个微调作业

curl https://api.openai.com/v1/fine_tuning/jobs \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
  "training_file": "TRAINING_FILE_ID",
  "model": "gpt-3.5-turbo-0613",
}'

一旦模型完成微调过程，它就可以立即在生产中使用，并具有与底层模型相同的共享速率限制。

步骤4 使用微调过的模型

curl https://api.openai.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
  "model": "ft:gpt-3.5-turbo:org_id",
  "messages": [
    {
      "role": "system",
      "content": "You are an assistant that occasionally misspells words"
    },
    {
      "role": "user",
      "content": "Hello! What is fine-tuning?"
    }
  ]
}'

我们还将在近期推出一款微调用户界面（UI），这将使开发人员更容易访问有关正在进行的微调作业、已完成的模型快照等信息。

安全性

确保微调的部署安全对我们非常重要。为了通过微调过程保留默认模型的安全功能，微调训练数据将通过我们的审核API和GPT-4驱动的审核系统传递，以检测与我们的安全标准冲突的不安全训练数据。

定价

微调成本分为两个部分：初始训练成本和使用成本：

  • 训练：$0.008 / 1K 令牌
  • 使用输入：$0.012 / 1K 令牌
  • 使用输出：$0.016 / 1K 令牌

例如，一个训练文件为100,000令牌，训练3个epochs的gpt-3.5-turbo微调作业预计费用为$2.40。

更新的GPT-3模型

在7月，我们宣布原始的GPT-3基础模型（ada、babbage、curie和davinci）将在2024年1月4日关闭。今天，我们将babbage-002和davinci-002作为这些模型的替代品推出，无论是作为基础模型还是微调模型。客户可以通过查询Completions API来访问这些模型。

这些模型可以通过我们的新API端点/v1/fine_tuning/jobs进行微调。这个新端点提供了分页和更多的可扩展性，以支持微调API的未来演变。从/v1/fine-tunes过渡到更新的端点非常简单，我们的新微调指南中可以找到更多详细信息。这将弃用旧的/v1/fine-tunes端点，该端点将在2024年1月4日关闭。