Добавление моделей LLM в приложение Copilot GitHub

Вы можете настроить GitHub Copilot app для включения моделей из выбранного поставщика LLM ( используя собственный ключ (BYOK) в дополнение к GitHubпредоставленным моделям. Вы можете настроить провайдера модели при первом открытии приложения или позже в настройках приложения.

Windows пользователи с GPU NVIDIA и достаточной памяти могут устанавливать MAI Code 1.1 Flash и Flint NVFP4 модели локально на своем устройстве непосредственно изнутриGitHub Copilot app.

Для использования приложения необходимо войти с GitHub помощью учетной записи, но если вы используете собственного модельного провайдера, Copilot план не нужен. Если у вас есть Copilot план, вы можете использовать модели из собственного поставщика моделей и GitHubпредоставленных моделей в том же приложении.

Добавление моделей с помощью BYOK

Для добавления моделей GitHub Copilot appв модель можно использовать метод BYOK.

Поддерживаемые поставщики

Эти GitHub Copilot app поставщики моделей BYOK поддерживают следующие:

• OpenAI
• Azure OpenAI
• Microsoft Foundry
• Anthropic
• Ollama
• Местный литейный завод
• LM Studio
• Любой HTTP-конечный пункт, совместимый с OpenAI,

Prerequisite

Необходимо иметь ключ API для добавления поставщика моделей, требующего проверки подлинности.

Настройте поставщика модели

Если вы настраиваете приложение впервые и у Copilot вас нет плана, вы можете настроить собственного провайдера модели во время онбординга.

Чтобы позже добавить или обновить провайдера модели:

1. Щелкните , чтобы открыть диалоговое окно "Параметры".
2. На боковой панели щелкните "Поставщики моделей".
3. Нажмите «Добавить провайдера».
4. Выберите поставщика.
5. Введите данные провайдера. Это зависит от провайдера, но может включать отображаемое имя, базовый URL и ключ API.
6. Нажмите « Добавить провайдера », чтобы сохранить провайдера.

После добавления провайдера его модели появляются в выборе моделей рядом GitHubс -hosted моделями. Вы можете выбрать модель и использовать её в сессии. Дополнительные сведения см. в разделе Работа с сессиями агентов в приложении GitHub приложение Copilot.

Учетные данные провайдера хранятся в системном хранилище учетных данных и никогда не отображаются в интерфейсе.

Установка локальной модели из средства выбора моделей

Если вы используете Windows и компьютер соответствует следующим предварительным требованиям, вы можете скачать и установить следующие модели локально на устройстве из параметров приложения:

• MAI Code 1.1 Flash
• Flint NVFP4

Prerequisites

Вам следует иметь:

• Компьютер Windows

• GPU NVIDIA (AMD не поддерживается)

• Минимальная доступная объединенная ОЗУ для каждой модели:

  • MAI Code 1.1 Flash:  96 ГБ
  • Flint NVFP4:  48 ГБ

• Минимально доступное хранилище для каждой модели:

  • MAI Code 1.1 Flash:  60 ГБ
  • Flint NVFP4:  23 ГБ

• llama.cpp версии 0.7.0 или более поздней версии и LLAMACPP_SERVER_PATH задайте путь. Требуемая версия сборки:

  • MAI Code 1.1 Flash: b11669 или более поздней версии
  • Flint NVFP4: b11803 или более поздней версии

  См. раздел об установке llama.cpp для Windows.

Преимущества использования MAI Code 1.1 Flash локально

MAI Code 1.1 Flash— это оптимизированная для программирования модель, которую можно запускать локально на Windows компьютере. Используя модель, которая выполняется локально, вы можете использовать Copilot автономный режим и избежать использования GitHub AI Credits.

После установки MAI Code 1.1 Flashвы можете выбрать его из средства выбора моделей так же, как и любая другая модель. Модель также становится доступной для Copilot FusionFusion Standard использования уровня усилий. При настройке выбора Copilot FusionFusion StandardMAI Code 1.1 Flash модели автоматически выбирается для работы с соответствующими задачами, оставляя облачные модели для задач, требующих большего количества ресурсов или более высокой производительности.

Установка llama.cpp для Windows

Чтобы установить llama.cpp на Windows со сборкой CUDA:

1. В браузере перейдите на страницу выпусков репозитория llama.cpp: https://github.com/ggml-org/llama.cpp/releases

2. Выберите выпуск, который требуется установить, например b11803.

3. Щелкните ссылки, чтобы скачать оба файла для сборк Windows и CUDA 13.4 ARM64:

   • Windows arm64 (CUDA 13)
   • Библиотеки DLL CUDA 13.4

4. Откройте командную строку и создайте папку установки:

   Shell

   mkdir "%LOCALAPPDATA%\Programs\llama.cpp\BUILD-cuda-13.4-arm64"
   

   Замена BUILD номера сборки, например b11803.

5. Извлеките все файлы из ZIP-файлов непосредственно в эту папку. Если вы используете извлечение всех в проводнике, измените назначение на эту папку, так как по умолчанию проводник создает отдельную вложенную папку для каждого ZIP-файла. По завершении папка должна содержать большое количество файлов, включая llama-server.exe, cudart64_13.dll``cublas64_13.dllи cublasLt64_13.dllбез вложенных папок.

6. LLAMACPP_SERVER_PATH Задайте переменную среды:

   Shell

   setx LLAMACPP_SERVER_PATH "%LOCALAPPDATA%\Programs\llama.cpp\BUILD-cuda-13.4-arm64\llama-server.exe"
   

   Замена BUILD номера сборки.

7. Закройте командную строку и откройте новое окно командной строки. Copilot app Если или VS Code он уже открыт, перезапустите его. Если Copilot CLI выполняется, закройте его и запустите его снова из нового окна терминала.

8. Чтобы проверить установку, запустите:

   Shell

   "%LLAMACPP_SERVER_PATH%" --list-devices
   

Установка локальной модели в пределах Copilot app

1. Щелкните , чтобы открыть диалоговое окно "Параметры".

2. На боковой панели щелкните "Поставщики моделей".

3. Нажмите «Добавить провайдера».

4. Выберите Windows ML.

   Если локальный компьютер соответствует предварительным требованиям, поддерживаемые локальные модели будут перечислены в разделе "Доступные модели".

5. Нажмите кнопку "Скачать " для модели, которую вы хотите установить.

6. Используйте максимальный % системной памяти, чтобы использовать ползунок для ограничения объема системной памяти, которую можно использовать с помощью моделей машинного обучения Windows.

7. Включите модели перезапуска приложения, чтобы автоматически перезагрузить скачанные Windows модели машинного обучения при перезапускеCopilot app.

8. Измените параметры для конкретной модели по мере необходимости.

Использование скачаной локальной модели

После завершения скачивания локальная модель будет доступна для использования в сеансах.

Вы можете сделать одно из двух:

• Выберите его из средства выбора модели, аналогично любой другой доступной модели. См . раздел AUTOTITLE.
• MAI Code 1.1 Flash только: выберите Copilot Fusion, а затем Fusion Standard уровень усилий в средство выбора модели и Copilot автоматически будет использовать эту модель при необходимости.
• Назначьте его custom agent для ориентированных задач. Затем вы можете предложить Copilot использовать этот пользовательский агент для части задачи, сохраняя основной сеанс в другой модели в облаке. См . раздел AUTOTITLE.