Adicionar modelos LLM ao aplicativo GitHub Copilot

Você pode configurar o GitHub Copilot app para incluir modelos de um provedor LLM de sua escolha — usando Bring Your Own Key (BYOK) — além dos modelos fornecidos por GitHub. Você pode configurar seu provedor de modelos quando abrir o aplicativo pela primeira vez ou mais tarde, nas configurações do aplicativo.

Usuários do Windows com uma GPU NVIDIA e memória suficiente podem instalar os modelos MAI Code 1.1 Flash e Flint NVFP4 localmente em seu dispositivo, diretamente de dentro do GitHub Copilot app.

Você deve fazer login com uma GitHub conta para usar o aplicativo, mas não precisa de um plano Copilot se usar seu próprio provedor de modelos. Se você tiver um Copilot plano, poderá usar modelos de seu próprio provedor de modelos e modelos fornecidos por GitHub no mesmo aplicativo.

Adicionando modelos usando BYOK

Você pode usar o método BYOK para adicionar modelos ao GitHub Copilot app.

Provedores com suporte

O GitHub Copilot app oferece suporte a estes provedores de modelo BYOK:

• OpenAI
• OpenAI do Azure
• Microsoft Foundry
• Anthropic
• Ollama
• Local da Fundição
• LM Studio
• Qualquer endpoint HTTP compatível com OpenAI

Pré-requisito

Você deve ter uma chave de API para adicionar um provedor de modelo que exija autenticação.

Configurar um provedor de modelos

Se você estiver configurando o aplicativo pela primeira vez e não tiver um plano Copilot, poderá escolher configurar seu próprio provedor de modelos durante a configuração inicial.

Para adicionar ou atualizar um provedor de modelo posteriormente:

1. Clique para abrir a caixa de diálogo Configurações.
2. Na barra lateral, clique em Provedores de modelo.
3. Clique em Adicionar provedor.
4. Selecione seu provedor.
5. Insira os detalhes do provedor. Isso varia de acordo com o provedor, mas pode incluir o nome de exibição, a URL base e a chave de API.
6. Clique em Adicionar provedor para salvar o provedor.

Depois de adicionar um provedor, seus modelos aparecem no seletor de modelos ao lado dos modelos hospedados por GitHub. Você pode selecionar o modelo e usá-lo em uma sessão. Para obter mais informações, consulte Trabalhando com sessões de agente no GitHub aplicativo Copilot.

As credenciais do provedor são armazenadas no repositório de credenciais do sistema e nunca são exibidas na interface do usuário.

Instalando um modelo local no seletor de modelos

Se você estiver usando Windows e seu computador atender aos seguintes pré-requisitos, você poderá baixar e instalar os seguintes modelos localmente em seu dispositivo de dentro das configurações do aplicativo:

• MAI Code 1.1 Flash
• Flint NVFP4

Prerequisites

Você deve ter:

• Um computador com Windows

• Uma GPU NVIDIA (AMD não é compatível)

• RAM combinada mínima disponível por modelo:

  • MAI Code 1.1 Flash:  96 GB
  • Flint NVFP4:  48 GB

• Armazenamento mínimo disponível por modelo:

  • MAI Code 1.1 Flash:  60 GB
  • Flint NVFP4:  23 GB

• ter o llama.cpp v0.7.0 ou posterior instalado e LLAMACPP_SERVER_PATH definido para o seu caminho Versão de build necessária:

  • MAI Code 1.1 Flash: b11669 ou posterior
  • Flint NVFP4: b11803 ou mais recente

  Consulte a instalação de llama.cpp para Windows.

Benefícios de usar MAI Code 1.1 Flash localmente

MAI Code 1.1 Flashé um modelo com otimização de codificação que você pode executar localmente em seu computador Windows. Usando um modelo que está sendo executado localmente, você pode usar Copilot offline e evitar o consumo GitHub AI Credits.

Depois de instalar MAI Code 1.1 Flash, você pode selecioná-lo no seletor de modelo, assim como qualquer outro modelo. O modelo também fica disponível para o nível de esforço de Copilot FusionFusion Standard usar. Quando você definir a seleção de modelo para Copilot Fusion com Fusion Standard, MAI Code 1.1 Flash será automaticamente escolhido para trabalhar em tarefas apropriadas, deixando modelos baseados em nuvem para tarefas que exigem mais recursos ou maior desempenho.

Instalando llama.cpp para Windows

Para instalar llama.cpp em Windows com o build cuda:

1. No navegador, vá para a página de versões do repositório de llama.cpp: https://github.com/ggml-org/llama.cpp/releases.

2. Escolha a versão que você deseja instalar, por exemplo, b11803.

3. Clique nos links para baixar os dois arquivos para o Windows build do CUDA 13.4 ARM64:

   • Windows arm64 (CUDA 13)
   • CUDA 13.4 DLLs

4. Abra o Prompt de Comando e crie a pasta de instalação:

   Shell

   mkdir "%LOCALAPPDATA%\Programs\llama.cpp\BUILD-cuda-13.4-arm64"
   

   Substituir BUILD o número da build, por exemplo, b11803.

5. Extraia todos os arquivos de ambos os arquivos ZIP diretamente nessa pasta. Se você usar Extrair Tudo no Explorador de Arquivos, altere o destino para essa pasta, pois, por padrão, o Explorador de Arquivos cria uma subpasta separada para cada arquivo ZIP. Quando terminar, a pasta deverá conter um grande número de arquivos, incluindo llama-server.exe, cudart64_13.dll, cublas64_13.dlle cublasLt64_13.dll, sem subpastas.

6. Defina a variável de LLAMACPP_SERVER_PATH ambiente:

   Shell

   setx LLAMACPP_SERVER_PATH "%LOCALAPPDATA%\Programs\llama.cpp\BUILD-cuda-13.4-arm64\llama-server.exe"
   

   Substituindo BUILD o o número da build.

7. Feche o Prompt de Comando e abra uma nova janela do Prompt de Comando. Se o Copilot app ou VS Code já estiver aberto, reinicie-o. Se Copilot CLI estiver em execução, saia dele e inicie-o novamente em uma nova janela do terminal.

8. Para verificar a instalação, execute:

   Shell

   "%LLAMACPP_SERVER_PATH%" --list-devices
   

Instalando um modelo local de dentro do Copilot app

1. Clique para abrir a caixa de diálogo Configurações.

2. Na barra lateral, clique em Provedores de modelo.

3. Clique em Adicionar provedor.

4. Selecione Windows ML.

   Se o computador local atender aos pré-requisitos, os modelos locais com suporte serão listados em "Modelos disponíveis".

5. Clique em Baixar no modelo que você deseja instalar.

6. Use o controle deslizante Máximo de memória do sistema (%) a usar para limitar a quantidade de memória do sistema que pode ser usada pelos modelos de ML do Windows.

7. Ative Reiniciar modelos ao reiniciar o aplicativo para reiniciar automaticamente os modelos baixados do Windows ML quando você reiniciar o Copilot appaplicativo.

8. Altere as configurações específicas do modelo conforme necessário.

Usando um modelo local baixado

Depois que o download for concluído, o modelo local estará disponível para uso em suas sessões.

Você pode:

• Selecione-o no seletor de modelo, da mesma forma que qualquer outro modelo disponível. Consulte Escolhendo um modelo em Copilot app.
• MAI Code 1.1 Flash somente: escolha Copilot Fusion, em seguidaFusion Standard, o nível de esforço no seletor de modelos e Copilot usará automaticamente esse modelo quando apropriado.
• Atribua-o a um custom agent para tarefas focadas. Em seguida, você pode solicitar a Copilot que use esse agente personalizado para parte de uma tarefa, mantendo sua sessão principal em um modelo diferente na nuvem. Consulte Criando e usando agentes personalizados para GitHub Copilot CLI.