Adicionando modelos LLM à CLI de GitHub Copilot

Há várias maneiras de adicionar modelos a Copilot CLI.

• Ollama: Copilot CLI descobre automaticamente os modelos servidos pelo Ollama em execução em seu computador e você pode adicionar esses modelos do seletor de modelos.
• Provedor de modelo configurado manualmente: adicione um provedor de modelo externo especificando suas próprias credenciais em um arquivo de configuração. Esse método geralmente é chamado BYOK (traga sua própria chave).
• Instalando MAI Code 1.1 Flash localmente: Usuários do Windows com as especificações necessárias do sistema podem instalar esse modelo diretamente do seletor de modelo e executá-lo em seu computador local.

Requisitos de modelo

Escolha um modelo e um endpoint que dão suporte a tool calling (também chamada de function calling) e streaming. Esses recursos permitem Copilot CLI usar ferramentas e exibir respostas à medida que chegam.

Configure os limites de token para corresponder ao seu modelo, especialmente para modelos locais menores. Para um modelo desconhecido, Copilot CLI pode usar como padrão um limite de 128.000 tokens de prompt, que podem exceder a capacidade real do modelo. Definir um limite mais alto não aumenta a janela de contexto do modelo.

Adicionando modelos do Ollama

Se o Ollama estiver em execução no computador local e você já tiver baixado um modelo, Copilot CLI poderá descobrir o modelo e permitir que você o adicione no seletor de modelos.

Pré-requisito

Você deve ter instalado o Ollama em seu computador local e baixado pelo menos um modelo. Para obter informações, consulte Baixar o Ollama no site do Ollama.

Adicionando um modelo

1. Em uma sessão interativa, insira /model.

2. Procure modelos fornecidos pelo Ollama em "Local e auto-hospedado".

   Quaisquer modelos baixados do Ollama, mas ainda não adicionados, são mostrados com o status "Descoberto".

3. Selecione um modelo descoberto e pressione Enter.

4. Escolha Adicionar e usar nesta sessão para alternar para o modelo ou Adicionar sem alternar para continuar usando seu modelo atual.

5. Pressione Esc para sair do seletor.

A CLI salva os detalhes do modelo no providers.json arquivo para que ele fique disponível em sessões posteriores.

Adicionar manualmente uma configuração de provedor de modelo

Para usar um provedor de modelo diferente do Ollama, você precisa adicionar manualmente os detalhes do provedor ao arquivo providers.json.

Pré-requisito

Você deve ter uma chave de API para adicionar um provedor de modelo que exija autenticação.

Provedores com suporte

Para conexões com a API de um provedor de modelo, os seguintes tipos de provedor estão disponíveis:

Tipo de provedor	Serviços compatíveis
openai	OpenAI e serviços com uma API compatível com OpenAI, como Ollama, vLLM e Foundry Local. Esse é o tipo de provedor padrão.
azure	Serviço OpenAI do Azure.
anthropic	Anthropic (modelos de Claude).

Adicionando um provedor e um modelo

O providers.json arquivo armazena detalhes de provedores e modelos configurados. Ele está localizado no diretório de configuração da CLI, normalmente ~/.copilot. Você pode usar outro arquivo definindo COPILOT_PROVIDERS_CONFIG para seu caminho antes de iniciar a CLI.

Os modelos configurados no arquivo providers.json estão disponíveis no seletor de modelos da CLI, juntamente com os modelos fornecidos por GitHub disponíveis para sua conta.

1. Abra providers.jsonou crie-o se ele não existir. Adicione seu provedor e modelo de IA. Por exemplo, essa configuração adiciona o provedor de modelo OpenAI e um modelo:

   {
      "providers": [
         {
            "name": "my-provider",
            "type": "openai",
            "baseUrl": "https://api.openai.com/v1",
            "apiKey": "YOUR-API-KEY"
         }
      ],
      "models": [
         {
            "id": "YOUR-MODEL-NAME",
            "provider": "my-provider"
         }
      ]
   }
   

   Substitua YOUR-API-KEY pela chave de API do provedor e YOUR-MODEL-NAME por um nome de modelo disponível para sua conta. Para outro provedor compatível com OpenAI, altere baseUrl para sua URL de API. Omita apiKey se o provedor não exigir autenticação.

   Se o arquivo já contiver provedores e modelos, adicione aos dados existentes em vez de substituí-los.

   Para provedores ou modelos que precisam de configurações adicionais:

   • Defina o type do provedor como azure para Azure OpenAI ou anthropic para Anthropic e use a URL e as credenciais da API desse provedor.
   • Para modelos OpenAI ou Azure que usam a Responses API, adicione "wireApi": "responses" ao provedor. O padrão é completions.
   • Para uma implantação do Azure, defina wireModel como o nome da implantação e modelId como o nome do modelo que você implantou. Se você precisar de uma versão específica da API, adicione "azure": { "apiVersion": "YOUR-API-VERSION" } ao provider. Substitua YOUR-API-VERSION pela versão exigida pelo seu endpoint.
   • Se o id do modelo for um nome que você escolheu em vez do nome aceito pelo provedor, defina wireModel como o nome do modelo do provedor. Defina modelId para um nome de modelo que a CLI reconhece para que possa usar os limites e funcionalidades desse modelo.
   • Defina maxPromptTokens e maxOutputTokens em um modelo para corresponder aos seus limites suportados. Use números inteiros maiores que zero.
   • Para autenticar com um bearer token em vez de uma chave de API, configure bearerToken no provedor.

   Muitos outros parâmetros podem ser configurados neste arquivo. Para obter mais informações, consulte Diretório de configuração do GitHub Copilot CLI.

2. Para adicionar outro modelo do mesmo provedor, adicione outra entrada a models com um id diferente e o mesmo provider.

   Observação

   O valor de cada modeloprovider deve corresponder ao de um provedorname.

3. Para adicionar um provedor diferente, adicione uma entrada em providers com um name exclusivo, e adicione seus modelos.

4. Salve o arquivo e reinicie a CLI.

5. Para selecionar o modelo de exemplo ao iniciar uma sessão, execute:

   copilot --model PROVIDER-NAME/MODEL-NAME
   

6. Para alternar modelos durante uma sessão, use o /model comando barra. Para obter mais informações, consulte Escolhendo um modelo em GitHub Copilot CLI.

7. Para parar de carregar um provedor de sua configuração salva, remova sua entrada de providers e suas entradas de modelo de models, depois reinicie a CLI. Escolha um padrão diferente /model --global antes de remover o modelo padrão atual.

Instalando um modelo local no seletor de modelos

Se você estiver usando Windows e seu computador atender aos seguintes pré-requisitos, você poderá usar o seletor de modelos da CLI para instalar e executar os seguintes modelos localmente em seu dispositivo:

• MAI Code 1.1 Flash
• Flint NVFP4

Prerequisites

Você deve ter:

• Um computador com Windows

• Uma GPU NVIDIA (AMD não é compatível)

• RAM combinada mínima disponível por modelo:

  • MAI Code 1.1 Flash:  96 GB
  • Flint NVFP4:  48 GB

• Armazenamento mínimo disponível por modelo:

  • MAI Code 1.1 Flash:  60 GB
  • Flint NVFP4:  23 GB

• ter o llama.cpp v0.7.0 ou posterior instalado e LLAMACPP_SERVER_PATH definido para o seu caminho Versão de build necessária:

  • MAI Code 1.1 Flash: b11669 ou posterior
  • Flint NVFP4: b11803 ou mais recente

  Consulte a instalação de llama.cpp para Windows.

Benefícios de usar MAI Code 1.1 Flash localmente

MAI Code 1.1 Flashé um modelo com otimização de codificação que você pode executar localmente em seu computador Windows. Usando um modelo que está sendo executado localmente, você pode usar Copilot offline e evitar o consumo GitHub AI Credits.

Depois de instalar MAI Code 1.1 Flash, você pode selecioná-lo no seletor de modelo, assim como qualquer outro modelo. O modelo também fica disponível para o nível de esforço de Copilot FusionFusion Standard usar. Quando você definir a seleção de modelo para Copilot Fusion com Fusion Standard, MAI Code 1.1 Flash será automaticamente escolhido para trabalhar em tarefas apropriadas, deixando modelos baseados em nuvem para tarefas que exigem mais recursos ou maior desempenho.

Instalando llama.cpp para Windows

Para instalar llama.cpp em Windows com o build cuda:

1. No navegador, vá para a página de versões do repositório de llama.cpp: https://github.com/ggml-org/llama.cpp/releases.

2. Escolha a versão que você deseja instalar, por exemplo, b11803.

3. Clique nos links para baixar os dois arquivos para o Windows build do CUDA 13.4 ARM64:

   • Windows arm64 (CUDA 13)
   • CUDA 13.4 DLLs

4. Abra o Prompt de Comando e crie a pasta de instalação:

   Shell

   mkdir "%LOCALAPPDATA%\Programs\llama.cpp\BUILD-cuda-13.4-arm64"
   

   Substituir BUILD o número da build, por exemplo, b11803.

5. Extraia todos os arquivos de ambos os arquivos ZIP diretamente nessa pasta. Se você usar Extrair Tudo no Explorador de Arquivos, altere o destino para essa pasta, pois, por padrão, o Explorador de Arquivos cria uma subpasta separada para cada arquivo ZIP. Quando terminar, a pasta deverá conter um grande número de arquivos, incluindo llama-server.exe, cudart64_13.dll, cublas64_13.dlle cublasLt64_13.dll, sem subpastas.

6. Defina a variável de LLAMACPP_SERVER_PATH ambiente:

   Shell

   setx LLAMACPP_SERVER_PATH "%LOCALAPPDATA%\Programs\llama.cpp\BUILD-cuda-13.4-arm64\llama-server.exe"
   

   Substituindo BUILD o o número da build.

7. Feche o Prompt de Comando e abra uma nova janela do Prompt de Comando. Se o Copilot app ou VS Code já estiver aberto, reinicie-o. Se Copilot CLI estiver em execução, saia dele e inicie-o novamente em uma nova janela do terminal.

8. Para verificar a instalação, execute:

   Shell

   "%LLAMACPP_SERVER_PATH%" --list-devices
   

Usando o seletor de modelo para instalar um modelo local

1. Em uma sessão interativa local, insira /model.

2. Procure os modelos locais com suporte em "Local and self-hosted".

   O status é mostrado como "Download necessário".

   Observação

   Os modelos locais só estarão disponíveis para download se o computador local for um computador Windows que atenda aos requisitos de GPU e memória.

3. Use a tecla de seta para baixo para selecionar um modelo local e pressione Enter.

   A CLI verifica se o computador atende aos requisitos de instalação. Consulte os pré-requisitos listados anteriormente neste artigo.

4. Selecione Baixar e configurar para começar a baixar o modelo.

   Você pode continuar usando outros modelos enquanto o download está em andamento. A CLI notificará você, na saída da linha de comando, quando o download for concluído.

Usando um modelo local

Depois que o download for concluído, o modelo local estará disponível para uso em suas sessões.

É possível:

• Selecione-o no seletor de modelo e, em seguida, escolha Selecionar este modelo. Consulte Escolhendo um modelo em GitHub Copilot CLI.
• MAI Code 1.1 Flash somente: escolha Copilot Fusion, em seguida Fusion Standard , no seletor de modelo e Copilot usará automaticamente o modelo local quando apropriado.
• Atribua-o a um custom agent para tarefas focadas. Em seguida, você pode solicitar que Copilot use esse agente personalizado para parte de uma tarefa, mantendo sua sessão principal em um modelo diferente na nuvem. Consulte Criando e usando agentes personalizados para GitHub Copilot CLI.

Em execução no modo offline

Para impedir que Copilot CLI entre em contato com os servidores de GitHub — por exemplo, para enviar dados de telemetria —, defina a variável de ambiente COPILOT_OFFLINE como true antes de iniciar a CLI. Para isolamento de rede completo, o provedor de modelos também deve ser local ou dentro do mesmo ambiente isolado. Consulte Autenticando GitHub Copilot CLI.

Troubleshooting

• Um modelo Ollama está ausente: Verifique se o Ollama está em execução e se o modelo foi baixado. Abra /model e pressione Ctrl+R para verificar novamente. Para um servidor em outro computador, configure sua URL de API compatível com OpenAI manualmente, incluindo /v1.
• Um modelo salvo está ausente: Verifique se seu provider corresponde ao name de um provedor e reinicie a CLI. Se a adição de um modelo descoberto produziu um aviso de salvamento, siga o aviso para corrigir o arquivo ou suas permissões.
• As configurações de ambiente não têm efeito: Verifique se providers.json, ou o arquivo selecionado por COPILOT_PROVIDERS_CONFIG, já contém provedores ou modelos. Esse arquivo tem precedência.
• As solicitações falham: Verifique a URL da API, as credenciais, o nome do modelo e a opção de API. Para Azure OpenAI, verifique o nome da implantação. Para erros sobre o tamanho da solicitação, defina os limites de token que se ajustam ao seu modelo.