Общие сведения
Это не просто выборщик моделей, но Copilot auto model selection это интеллектуальная система, обеспечивающая высокое качество, лучшую надёжность и на одно решение меньше по мере быстрого развития ландшафта моделей.
Вы используете Copilot auto model selection , выбрав "Авто " в средство выбора моделей. Если вы видите Copilot Fusion в средстве выбора, а не авто, это означает, что Copilot Fusion она доступна в вашей Copilot поверхности. См . раздел AUTOTITLE.
Auto model selection доступность
Auto model selection доступен в этих поверхностях:
- Copilot in the cloud
- ВклCopilot Free.Copilot cloud agent, а также Copilot ChatGitHub.com
- GitHub Copilot Chat in GitHub Mobile
- Eclipse
- Xcode
- Visual Studio
Скидка на использование auto model selection
Если вы находитесь на платном Copilot плане, вы можете получить скидку на 10% по затратам на модель при использовании Copilot Chatauto model selection или Copilot cloud agent.
Авто с оптимизацией задач
Примечание.
Auto model selection с оптимизацией задач обычно доступен Copilot Chat на GitHub веб-сайте.
Auto model selection С оптимизацией задач объединяет две системы для обеспечения высокого качества и лучшей надёжности. Одна система отслеживает состояние и доступность системы в реальном времени, а другая оценивает сложность задач. Объединив это, auto model selection задача направляется к оптимальной модели.
Маршрутизация происходит по границам естественного кэша и большим смещениям в сложности беседы, чтобы избежать дополнительных затрат, связанных с кэшем, без улучшения качества.
Это помогает получить больше пользы Copilot , так как каждая задача соответствует модели, которая может решить её наиболее эффективно. Это означает оставлять более дорогие модели рассуждения для задач, которые действительно нуждаются в этом, при этом направляя простые задачи на более быстрые и более дешёвые модели, которые всё равно дают отличные результаты.
Преимущества использования auto model selection :
- Сопоставление каждой задачи с моделью, которая может решить её наиболее эффективно.
- Выбор модели на основе состояния и доступности системы в реальном времени.
- Языковая инвариантность: Решения о маршрутизации зависят от того, что вы пытаетесь сделать, а не от того, на каком языке вы спрашиваете.
- Повышение экономической эффективности благодаря интеллектуальной маршрутизации задач.
Параметры уровня для auto model selection
Доступно три уровня. Используйте эти уровни для настройки auto model selection предпочтительного маршрута моделей для каждого запроса.
| Уровень | Priority | Типичное использование |
|---|---|---|
| Эффективность | Cost | Хорошо подходит для быстрых, простых задач. |
| Остаток на счете | Балансирует затраты, качество и задержку | Хорошо подходит для повседневной работы. |
| Интеллект | Quality | Создано для сложных задач. |
С уровнями auto model selection по-прежнему учитывается запрос для каждой задачи. Одни и те же модели остаются доступными на каждом уровне, но многоуровневая маршрутизация изменяет способ выбора предпочтительных моделей для каждой задачи. Примеры для каждого уровня:
- Эффективность. Все запросы направляются в наиболее эффективную и соответствующую модель для задачи.
- Баланс. Для каждого запроса модель выбирается с учетом затрат, качества и задержки, чтобы обеспечить экономию и эффективную производительность, соответствующую сложности каждого запроса.
- Аналитика: запросы оцениваются для какой модели обеспечивают высокий уровень качества ответа. Простой запрос по-прежнему может быть перенаправлен в меньшую модель, в то время как сложный запрос направляется в наиболее способную модель для этой задачи.
Использование по-прежнему взимается на основе автоматического выбора модели независимо от уровня, а также 10% скидки для пользователей на платные планы. См . раздел "Скидка" для выбора автоматической модели.
Политики и доступность модели
При выборе Автоauto model selection вы выбираете одну из поддерживаемых моделей, в зависимости от ваших полисов и типа подписки. Доступные модели могут меняться со временем. См . раздел AUTOTITLE.
Auto model selection Не включаю эти модели:
- Модели, недоступные в плане.
- Модели, исключённые политиками администратора. См . раздел AUTOTITLE.
- Модели, исключённые политиками, Copilot ограничивающими модели, ориентированные на базу данных или совместимые с FedRAMP.
- Модели, исключённые политиками, ограничивающими модели оценки.
- Модели, которые вы, или администратор вашей организации, установили на локальной сети или локальном компьютере и добавили Copilot для выбора в средство выбора моделей.
Отключение моделей оценки в auto model selection
Auto model selection может предоставлять модели оценки пользователям на Copilot планах для отдельных лиц. Пользователи могут отключить использование этих моделей в любое время. См . раздел AUTOTITLE.