关于 Copilotauto model selection

自动为每个任务选择最佳模型。

谁可以使用此功能？

Auto model selection is available with all GitHub Copilot plans.

在本文中

概述

auto model selection 不仅仅是一个模型选择器，还是一个智能系统，能够提供高质量的结果、更高的可靠性，并且在模型格局快速演变的过程中让你少做一个决策。

带任务优化的自动模式

注意

具有任务优化功能的 Auto model selection 已在 VS Code 网站的 GitHub Copilot app、Copilot CLI、Copilot Chat、GitHub 以及 JetBrains IDE 中正式发布。

Auto model selection 结合任务优化，融合了两个系统，可提供高质量结果和更高的可靠性。 一个系统跟踪实时系统运行状况和可用性，而另一个系统则评估任务复杂性。 将这些任务组合在一起， auto model selection 将任务路由到最佳模型。

路由会在自然的缓存边界处以及对话复杂度出现较大变化时进行，以避免产生无法带来质量提升的额外缓存相关成本。

这有助于从 Copilot 中获取更多价值，因为它将每个任务与可以最高效地解决它的模型匹配。 这意味着，为真正需要它的问题保留更高的成本推理模型，同时将直接任务路由到更快、低成本的模型，这些模型仍可提供出色的结果。

使用 auto model selection 的好处包括：

  • 将每个任务与可以最有效地解决它的模型匹配。
  • 基于实时系统运行状况和可用性的模型选择。
  • 语言无关性：路由决策取决于你想要执行什么操作，而不是你使用什么语言提问。
  • 由于智能任务路由，提高了成本效益。

自动分层选项

使用 auto 进行任务优化时，有三个可用层级。 使用这些层级可调整 auto model selection 针对每个提示优先路由模型的方式。

层Priority典型用法
****效率Cost非常适合快速、简单的任务。
平衡平衡成本、质量和延迟非常适合日常工作。
智能Quality专为复杂任务打造。

使用分层后，auto model selection 仍会考虑每个任务的提示。 每个层中仍提供相同的模型，但分层路由会更改为每个任务选择首选模型的方式。 每个层的示例：

  • 效率：所有提示都路由到任务最经济高效且功能适当的模型。
  • 平衡：对于每个提示，通过考虑成本、质量和延迟来选择模型，以提供符合每个提示复杂性的成本效益和高效性能。
  • 智能：系统会评估提示，以确定哪个模型能提供最高质量的响应。 简单的提示仍可路由到较小的模型，而复杂的提示将路由到该任务最有能力的模型。

用量仍将按照系统自动选择的模型计费，与所属层级无关；同时，付费套餐用户仍可享受 10% 折扣。 请参阅 自动模型选择折扣。

针对模型可靠性和可用性自动优化

让 auto model selection 代表你选择最佳可用模型，减少速率限制。

Auto model selection，针对模型可靠性和可用性进行了优化，根据实时系统运行状况和模型性能智能地选择模型。 受益于：

  • 降低速率限制
  • 降低延迟和错误

策略和可用性

当你选择 “自动” 时，auto model selection会从受支持的模型中进行选择，具体取决于你的策略和订阅类型。 可用模型可能会随时间而变化。 请参阅“GitHub Copilot中支持的 AI 模型”。

Auto model selection 不包括 以下模型：

在 auto model selection 中禁用评估模型

Auto model selection 可能会向使用 Copilot 个人计划的用户提供评估模型。 个人可以随时禁用使用这些模型。 请参阅“GitHub Copilot中支持的 AI 模型”。

使用 auto model selection 可享折扣

如果你使用的是付费Copilot计划，则可以在使用、auto model selectionCopilot Chat或Copilot CLI使用GitHub Copilot appCopilot cloud agent模型成本时获得 10% 折扣。

Auto model selection 中的 Copilot

具备任务优化功能的 Auto model selection，现已在以下 Copilot 产品中正式发布：

  • Copilot Chat，在 GitHub 网站和受支持的 IDE 中可用
  • Copilot CLI
  • GitHub Copilot app
  • Copilot cloud agent

注意

自动层级仅适用于 、 和 。

提示

您可以看到每个 Copilot 响应所使用的模型。

  • 在 Copilot Chat 和 GitHub Copilot app 中，将鼠标悬停在该响应上。
  • 在 Copilot CLI 中，每个响应所使用的模型都会显示在终端中。
  • 在 Copilot cloud agent 中，用于每个响应的模型显示在响应末尾。

IDE 中的 Copilot Chat

Auto model selection（具有任务优化功能）现已在以下 IDE 中正式可用：

  • VS Code
  • JetBrains IDE系列

Auto model selection（针对模型可靠性和可用性进行优化）已在以下 IDE 中正式发布：

  • Eclipse
  • Xcode
  • Visual Studio