Añadir modelos LLM a la aplicación GitHub Copilot

Puede configurar GitHub Copilot app para incluir modelos de un proveedor LLM de su elección, mediante Bring Your Own Key (BYOK), además de los modelos proporcionados por GitHub. Puede configurar el proveedor de modelos al abrir la aplicación por primera vez o más adelante en la configuración de la aplicación.

Los usuarios de Windows con una GPU de NVIDIA y suficiente memoria pueden instalar los modelos MAI Code 1.1 Flash y Flint NVFP4 localmente en su dispositivo, directamente desde dentro de GitHub Copilot app.

Debes iniciar sesión con una cuenta de GitHub para usar la aplicación, pero no necesitas un plan de Copilot si usas tu propio proveedor de modelos. Si tiene un plan Copilot, puede usar modelos de su propio proveedor de modelos y modelos proporcionados por GitHub en la misma aplicación.

Adición de modelos mediante BYOK

Puede usar el método BYOK para agregar modelos al GitHub Copilot app.

Proveedores compatibles

GitHub Copilot app admite estos proveedores de modelos BYOK:

• OpenAI
• Azure OpenAI
• Microsoft Foundry
• Anthropic
• Ollama
• Fundición Local
• LM Studio
• Cualquier punto de conexión HTTP compatible con OpenAI

Prerequisite

Debe tener una clave de API para agregar un proveedor de modelos que requiera autenticación.

Configuración de un proveedor de modelos

Si va a configurar la aplicación por primera vez y no tiene un plan Copilot, puede optar por configurar su propio proveedor de modelos durante la configuración inicial.

Para agregar o actualizar un proveedor de modelos más adelante:

1. Haga clic para abrir el cuadro de diálogo Configuración.
2. En la barra lateral, haga clic en Proveedores de modelos.
3. Haga clic en Agregar proveedor.
4. Seleccione el proveedor.
5. Escriba los detalles del proveedor. Esto varía según el proveedor, pero puede incluir el nombre para mostrar, la dirección URL base y la clave de API.
6. Haga clic en Agregar proveedor para guardar el proveedor.

Después de agregar un proveedor, sus modelos aparecen en el selector de modelos junto con GitHublos modelos hospedados. Puede seleccionar el modelo y usarlo en una sesión. Para obtener más información, vea Trabajar con sesiones de agente en la aplicación GitHub Copilot.

Las credenciales del proveedor se almacenan en el almacén de credenciales del sistema y nunca se muestran en la interfaz de usuario.

Instalación de un modelo local desde el selector de modelos

Si usas Windows y tu equipo cumple los siguientes requisitos previos, puedes descargar e instalar los siguientes modelos localmente en el dispositivo desde la configuración de la aplicación:

• MAI Code 1.1 Flash
• Flint NVFP4

Requisitos previos

Debe tener:

• Un PC con Windows

• Una GPU de NVIDIA (NO se admite AMD)

• RAM combinada mínima disponible por modelo:

  • MAI Code 1.1 Flash:  96 GB
  • Flint NVFP4:  48 GB

• Almacenamiento mínimo disponible por modelo:

  • MAI Code 1.1 Flash:  60 GB
  • Flint NVFP4:  23 GB

• llama.cpp v0.7.0 o posterior instalado y LLAMACPP_SERVER_PATH configurado con su ruta. Versión de compilación necesaria:

  • MAI Code 1.1 Flash: b11669 o posterior
  • Flint NVFP4: b11803 o posterior

  Consulte Instalación de llama.cpp para Windows.

Ventajas de usar MAI Code 1.1 Flash localmente

MAI Code 1.1 Flash es un modelo optimizado para codificación que puedes ejecutar localmente en tu PC con Windows. Mediante el uso de un modelo que se ejecuta localmente, puede usar Copilot sin conexión y evitar consumir GitHub AI Credits.

Después de instalar MAI Code 1.1 Flash, puede seleccionarlo en el selector de modelos, al igual que cualquier otro modelo. El modelo también pasa a estar disponible para usar el nivel de esfuerzo de Fusion Standard de Copilot Fusion. Al establecer la selección del modelo en Copilot Fusion con Fusion Standard, MAI Code 1.1 Flash se elegirá automáticamente para trabajar en las tareas adecuadas, dejando los modelos basados en la nube para las tareas que requieren más recursos o un mayor rendimiento.

Instalación de llama.cpp para Windows

Para instalar llama.cpp en Windows con la compilación CUDA:

1. En el explorador, vaya a la página de versiones del repositorio de llama.cpp: https://github.com/ggml-org/llama.cpp/releases.

2. Elija la versión que desea instalar; por ejemplo, b11803.

3. Haga clic en los vínculos para descargar ambos archivos para la compilación de WINDOWS CUDA 13.4 ARM64:

   • Windows arm64 (CUDA 13)
   • DLLs de CUDA 13.4

4. Abra el símbolo del sistema y cree la carpeta de instalación:

   Shell

   mkdir "%LOCALAPPDATA%\Programs\llama.cpp\BUILD-cuda-13.4-arm64"
   

   Reemplazar BUILD el el número de compilación, por ejemplo, b11803.

5. Extraiga todos los archivos de ambos archivos ZIP directamente en esta carpeta. Si usa Extraer todo en el Explorador de archivos, cambie el destino a esta carpeta, ya que, de forma predeterminada, el Explorador de archivos crea una subcarpeta independiente para cada archivo ZIP. Cuando haya terminado, la carpeta debe contener un gran número de archivos, incluidos llama-server.exe, cudart64_13.dll, cublas64_13.dlly cublasLt64_13.dll, sin subcarpetas.

6. Establezca la variable de entorno LLAMACPP_SERVER_PATH.

   Shell

   setx LLAMACPP_SERVER_PATH "%LOCALAPPDATA%\Programs\llama.cpp\BUILD-cuda-13.4-arm64\llama-server.exe"
   

   Reemplazando BUILD el el número de compilación.

7. Cierre el símbolo del sistema y abra una nueva ventana del símbolo del sistema. Si el Copilot app o el VS Code ya está abierto, reinícielo. Si Copilot CLI se está ejecutando, salga de él e inícielo de nuevo desde una nueva ventana de terminal.

8. Para comprobar la instalación, ejecuta:

   Shell

   "%LLAMACPP_SERVER_PATH%" --list-devices
   

Instalar un modelo local desde dentro del Copilot app

1. Haga clic para abrir el cuadro de diálogo Configuración.

2. En la barra lateral, haga clic en Proveedores de modelos.

3. Haga clic en Agregar proveedor.

4. Seleccione Windows ML.

   Si la máquina local cumple los requisitos previos, los modelos locales admitidos se mostrarán en "Modelos disponibles".

5. Haga clic en Descargar en el modelo que desea instalar.

6. Use el control deslizante Porcentaje máximo de memoria del sistema que se usará para limitar la cantidad de memoria del sistema que pueden usar los modelos de ML de Windows.

7. Activa Reiniciar modelos al reiniciar la aplicación para reiniciar automáticamente los modelos de Windows ML descargados al reiniciar la Copilot app.

8. Modifique la configuración específica del modelo según sea necesario.

Uso de un modelo local descargado

Una vez completada la descarga, el modelo local estará disponible para su uso en las sesiones.

Puede hacer una de estas dos cosas:

• Selecciónelo en el selector de modelos, igual que con cualquier otro modelo disponible. Consulte Elegir un modelo en Copilot app.
• MAI Code 1.1 Flash solo: elija Copilot Fusion, luego, el Fusion Standard nivel de esfuerzo en el selector de modelos y Copilot usará automáticamente este modelo cuando corresponda.
• Asígnelo a un custom agent para tareas específicas. A continuación, puede pedir Copilot que use ese agente personalizado para parte de una tarea, al tiempo que mantiene la sesión principal en un modelo diferente en la nube. Consulte Creación y uso de agentes personalizados para GitHub Copilot CLI.