Добавление моделей LLM в интерфейс командной строки GitHub Copilot

Существуют различные способы добавления моделей Copilot CLIв .

• Ollama: Copilot CLI автоматически обнаруживает модели, обслуживаемые Ollama на компьютере, и вы можете добавить эти модели из средства выбора моделей.
• Поставщик моделей, настроенный вручную: добавьте внешний поставщик модели, указав собственные учетные данные в файле конфигурации. Этот метод часто называется собственным ключом (BYOK).
• Установка MAI Code 1.1 Flash локально: Windows пользователи с необходимыми спецификациями системы могут установить эту модель непосредственно из средства выбора моделей и запустить ее на локальном компьютере.

Требования к модели

Выберите модель и конечную точку, поддерживающую вызовы инструментов (также называемые вызовами функций) и потоковую передачу. Эти возможности позволяют Copilot CLI использовать средства и отображать ответы по мере их поступления.

Настройте ограничения маркеров для сопоставления модели, особенно для небольших локальных моделей. Для неизвестной модели Copilot CLI по умолчанию может превышать 128 000 маркеров запроса, что может превышать фактическую емкость модели. Установка более высокого предела не увеличивает окно контекста модели.

Добавление моделей из Ollama

Если Ollama работает на локальном компьютере, и вы уже скачали модель, Copilot CLI сможете обнаружить модель и разрешить добавить ее из средства выбора моделей.

Prerequisite

Необходимо установить Ollama на локальном компьютере и скачать по крайней мере одну модель. Дополнительные сведения см. в разделе "Скачать Ollama " на веб-сайте Ollama.

Добавление модели

1. В интерактивном сеансе введите /model.

2. Найдите модели, предоставляемые Ollama, в разделе "Локальные и локальные".

   Все модели, скачанные из Ollama, но еще не добавлены, отображаются с состоянием "Обнаружено".

3. Выберите обнаруженную модель и нажмите клавишу ВВОД.

4. Нажмите кнопку "Добавить и использовать" для этого сеанса, чтобы перейти к модели или добавить без переключения , чтобы продолжить использование текущей модели.

5. Нажмите Esc , чтобы выйти из пикера.

Интерфейс командной строки сохраняет сведения о модели в providers.json файл, чтобы он был доступен в последующих сеансах.

Добавление конфигурации поставщика моделей вручную

Чтобы использовать поставщик моделей, отличный от Ollama, необходимо вручную добавить сведения о поставщике в providers.json файл.

Prerequisite

Необходимо иметь ключ API для добавления поставщика моделей, требующего проверки подлинности.

Поддерживаемые поставщики

Для подключений к API поставщика моделей доступны следующие типы поставщиков:

Тип поставщика	Совместимые сервисы
openai	OpenAI и службы с API, совместимым с OpenAI, например Ollama, vLLM и Foundry Local. Это тип провайдера по умолчанию.
azure	Служба Azure OpenAI.
anthropic	Anthropic (модели Клода).

Добавление поставщика и модели

В providers.json файле хранятся сведения о настроенных поставщиках и моделях. Обычно он расположен в каталоге ~/.copilotконфигурации CLI. Перед запуском интерфейса командной строки можно использовать другой файл, задав COPILOT_PROVIDERS_CONFIG путь к нему.

Модели, настроенные providers.json в файле, доступны в средстве выбора моделей ИНТЕРФЕЙСА командной строки, а также GitHubдоступные для вашей учетной записи модели.

1. Откройте providers.jsonили создайте его, если он не существует. Добавьте поставщика и модель. Например, эта конфигурация добавляет поставщик моделей OpenAI и одну модель:

   {
      "providers": [
         {
            "name": "my-provider",
            "type": "openai",
            "baseUrl": "https://api.openai.com/v1",
            "apiKey": "YOUR-API-KEY"
         }
      ],
      "models": [
         {
            "id": "YOUR-MODEL-NAME",
            "provider": "my-provider"
         }
      ]
   }
   

   Замените YOUR-API-KEY ключОМ API поставщика и YOUR-MODEL-NAME именем модели, доступной вашей учетной записи. Для другого поставщика, совместимого с OpenAI, перейдите baseUrl по URL-адресу API. Опустить apiKey , если поставщик не требует проверки подлинности.

   Если файл уже содержит поставщиков и моделей, добавьте существующие данные вместо замены.

   Для поставщиков или моделей, которым требуются дополнительные параметры:

   • Задайте для поставщика type``azure значение Azure OpenAI или anthropic для Anthropic и используйте URL-адрес и учетные данные этого поставщика.
   • Для моделей OpenAI или Azure, использующих API ответов, добавьте "wireApi": "responses" в поставщик. Значение по умолчанию — completions.
   • Для развертывания Azure задайте для модели wireModel имя развертывания и modelId имя развернутой модели. Если вам нужна определенная версия API, добавьте "azure": { "apiVersion": "YOUR-API-VERSION" } его в поставщик. Замените YOUR-API-VERSION версию, необходимую конечной точкой.
   • Если выбрано имя модели id , а не имя, принятое поставщиком, задайте wireModel имя модели поставщика. Задайте modelId имя модели, распознаваемое интерфейсом командной строки, чтобы использовать возможности и ограничения этой модели.
   • Задайте maxPromptTokens и maxOutputTokens на модели, чтобы соответствовать поддерживаемым ограничениям. Используйте целые числа больше нуля.
   • Чтобы пройти проверку подлинности с помощью маркера носителя вместо ключа API, задайте bearerToken для поставщика.

   В этом файле можно настроить множество других параметров. Дополнительные сведения см. в разделе Каталог конфигурации CLI GitHub Copilot.

2. Чтобы добавить другую модель из того же поставщика, добавьте другую запись models в другую id и ту же provider.

   Примечание.

   Значение каждой модели provider должно соответствовать значению поставщика name.

3. Чтобы добавить другого поставщика, добавьте запись providers в уникальную name, а затем добавьте ее модели.

4. Сохраните файл и перезапустите ИНТЕРФЕЙС командной строки.

5. Чтобы выбрать пример модели при запуске сеанса, выполните следующую команду:

   copilot --model PROVIDER-NAME/MODEL-NAME
   

6. Чтобы переключить модели во время сеанса, используйте команду косой /model черты. Дополнительные сведения см. в разделе Выбор модели в GitHub Copilot CLI.

7. Чтобы остановить загрузку поставщика из сохраненной конфигурации, удалите запись из providers и ее записи modelsмодели из, а затем перезапустите CLI. Выберите другое значение по умолчанию перед удалением текущей модели по умолчанию /model --global .

Установка локальной модели из средства выбора моделей

Если вы используете Windows и компьютер соответствует следующим предварительным требованиям, вы можете использовать средство выбора моделей CLI для установки и запуска следующих моделей на устройстве:

• MAI Code 1.1 Flash
• Flint NVFP4

Prerequisites

Вам следует иметь:

• Компьютер Windows

• GPU NVIDIA (AMD не поддерживается)

• Минимальная доступная объединенная ОЗУ для каждой модели:

  • MAI Code 1.1 Flash:  96 ГБ
  • Flint NVFP4:  48 ГБ

• Минимально доступное хранилище для каждой модели:

  • MAI Code 1.1 Flash:  60 ГБ
  • Flint NVFP4:  23 ГБ

• llama.cpp версии 0.7.0 или более поздней версии и LLAMACPP_SERVER_PATH задайте путь. Требуемая версия сборки:

  • MAI Code 1.1 Flash: b11669 или более поздней версии
  • Flint NVFP4: b11803 или более поздней версии

  См. раздел об установке llama.cpp для Windows.

Преимущества использования MAI Code 1.1 Flash локально

MAI Code 1.1 Flash— это оптимизированная для программирования модель, которую можно запускать локально на Windows компьютере. Используя модель, которая выполняется локально, вы можете использовать Copilot автономный режим и избежать использования GitHub AI Credits.

После установки MAI Code 1.1 Flashвы можете выбрать его из средства выбора моделей так же, как и любая другая модель. Модель также становится доступной для Copilot FusionFusion Standard использования уровня усилий. При настройке выбора Copilot FusionFusion StandardMAI Code 1.1 Flash модели автоматически выбирается для работы с соответствующими задачами, оставляя облачные модели для задач, требующих большего количества ресурсов или более высокой производительности.

Установка llama.cpp для Windows

Чтобы установить llama.cpp на Windows со сборкой CUDA:

1. В браузере перейдите на страницу выпусков репозитория llama.cpp: https://github.com/ggml-org/llama.cpp/releases

2. Выберите выпуск, который требуется установить, например b11803.

3. Щелкните ссылки, чтобы скачать оба файла для сборк Windows и CUDA 13.4 ARM64:

   • Windows arm64 (CUDA 13)
   • Библиотеки DLL CUDA 13.4

4. Откройте командную строку и создайте папку установки:

   Shell

   mkdir "%LOCALAPPDATA%\Programs\llama.cpp\BUILD-cuda-13.4-arm64"
   

   Замена BUILD номера сборки, например b11803.

5. Извлеките все файлы из ZIP-файлов непосредственно в эту папку. Если вы используете извлечение всех в проводнике, измените назначение на эту папку, так как по умолчанию проводник создает отдельную вложенную папку для каждого ZIP-файла. По завершении папка должна содержать большое количество файлов, включая llama-server.exe, cudart64_13.dll``cublas64_13.dllи cublasLt64_13.dllбез вложенных папок.

6. LLAMACPP_SERVER_PATH Задайте переменную среды:

   Shell

   setx LLAMACPP_SERVER_PATH "%LOCALAPPDATA%\Programs\llama.cpp\BUILD-cuda-13.4-arm64\llama-server.exe"
   

   Замена BUILD номера сборки.

7. Закройте командную строку и откройте новое окно командной строки. Copilot app Если или VS Code он уже открыт, перезапустите его. Если Copilot CLI выполняется, закройте его и запустите его снова из нового окна терминала.

8. Чтобы проверить установку, запустите:

   Shell

   "%LLAMACPP_SERVER_PATH%" --list-devices
   

Установка локальной модели с помощью средства выбора моделей

1. В локальном интерактивном сеансе введите /model.

2. Найдите поддерживаемые локальные модели в разделе "Локальные и локальные".

   Состояние отображается как "Требуется загрузка".

   Примечание.

   Локальные модели доступны только для скачивания, если локальный компьютер является Windows пк, который соответствует требованиям GPU и памяти.

3. Используйте клавишу СТРЕЛКА ВНИЗ, чтобы выбрать локальную модель, а затем нажмите клавишу ВВОД.

   Интерфейс командной строки проверяет, соответствует ли компьютер требованиям к установке. См. предварительные требования , перечисленные ранее в этой статье.

4. Выберите "Скачать и настроить ", чтобы начать загрузку модели.

   Вы можете продолжать использовать другие модели, пока скачивание выполняется. Интерфейс командной строки уведомит вас, в выходных данных беседы, когда скачивание завершится.

Использование локальной модели

После завершения скачивания локальная модель будет доступна для использования в сеансах.

Можно сделать следующее:

• Выберите его из средства выбора моделей, а затем выберите команду "Выбрать эту модель". См . раздел AUTOTITLE.
• MAI Code 1.1 Flash только: выберите Copilot Fusion, затем Fusion Standard в средство выбора модели и Copilot автоматически будет использовать локальную модель при необходимости.
• Назначьте его custom agent для ориентированных задач. Затем вы можете предложить Copilot использовать этот пользовательский агент для части задачи, сохраняя основной сеанс в другой модели в облаке. См . раздел AUTOTITLE.

Работа в офлайн-режиме

Чтобы предотвратить Copilot CLI обращение к GitHubсерверам ( например, для отправки данных телеметрии) задайте COPILOT_OFFLINE для переменной среды значение true перед запуском ИНТЕРФЕЙСА командной строки. Для полной сетевой изоляции поставщик модели также должен быть локальным или в той же изолированной среде. См . раздел AUTOTITLE.

Troubleshooting

• Отсутствует модель Ollama: Убедитесь, что Ollama запущена и модель загружена. Откройте /model и нажмите клавиши CTRL+R , чтобы снова проверить. Для сервера на другом компьютере настройте URL-адрес API, совместимый с OpenAI, вручную, включая /v1.
• Сохраненная модель отсутствует: Убедитесь, что он provider соответствует поставщику name, а затем перезапустите ИНТЕРФЕЙС командной строки. Если при добавлении обнаруженной модели было создано предупреждение о сохранении, выполните предупреждение, чтобы исправить файл или его разрешения.
• Параметры среды не влияют: Проверьте, содержит ли providers.jsonвыбранный COPILOT_PROVIDERS_CONFIGфайл или поставщики или модели. Этот файл имеет приоритет.
• Запросы завершаются ошибкой: Проверьте URL-адрес API, учетные данные, имя модели и выбор API. Для Azure OpenAI проверьте имя развертывания. Для ошибок о размере запроса задайте ограничения маркеров, которые соответствуют модели.