🛠 Configurar la aceleración de IA externa mediante OCuLink en Xerxes Nano

Objetivos

Este tutorial avanzado tiene como objetivo aprovechar la potencia de cálculo externa conectando una GPU o un acelerador de IA mediante el conector OCuLink en la Xerxes Nano. Esta configuración es ideal para la inferencia de LLM o el procesamiento de video en tiempo real, superando las capacidades integradas del Jetson Orin Nano o del Turing RK1.

Materiales necesarios

• Tarjeta portadora Xerxes Nano con un módulo NVIDIA Jetson Orin Nano o Turing RK1 instalado.
• Tarjeta de expansión PCIe con conector OCuLink macho (compatible con los archivos KiCad de código abierto de Xerxes).
• Una carcasa eGPU (tipo OCuLink) o un adaptador PCIe a OCuLink.
• Una GPU o acelerador compatible con PCIe (por ejemplo, tarjeta NVIDIA RTX o acelerador de IA especializado).
• Cable OCuLink de calidad (pasivo o activo según la distancia).
• Fuente de alimentación externa estable para la carcasa de expansión (si es necesario).
• Cables serie USB-C para el acceso por terminal al módulo.

Pasos

1. Preparación del hardware: Apague la Xerxes Nano y desconecte la alimentación. Inserte la tarjeta de expansión OCuLink en el conector dedicado de la tarjeta portadora. Asegúrese de que el conector esté completamente insertado hasta hacer clic.
2. Conexión de la carcasa: Conecte el cable OCuLink entre la tarjeta de expansión y su carcasa eGPU. Inserte la GPU o el acelerador en la ranura PCIe de la carcasa. Conecte la alimentación de la carcasa si la GPU no puede recibir energía a través de la ranura (la mayoría de las GPUs dedicadas requieren alimentación externa).
3. Arranque y detección: Encienda la carcasa de expansión y luego la Xerxes Nano. Abra una sesión de terminal mediante USB-C. Ejecute el siguiente comando para verificar la detección del bus PCIe:

lspci -nn | grep -i nvidia

Si su GPU aparece en la lista, el enlace físico está establecido. Si no aparece nada, verifique la compatibilidad eléctrica y el cableado.

1. Instalación de controladores: Según su módulo (Jetson o Turing), instale los controladores propietarios correspondientes. Para Jetson, asegúrese de que los paquetes NVIDIA estén actualizados:

sudo apt update && sudo apt install nvidia-driver-535

1. Configuración del BIOS/UEFI: Si el sistema no arranca o no detecta la GPU, entre en la UEFI (a menudo mediante F2 o DEL al iniciar). Busque los ajustes de PCIe y active las opciones «Above 4G Decoding» y «Re-allocate BAR Size» para permitir la asignación correcta de memoria para la GPU externa.
2. Prueba de rendimiento: Use nvidia-smi para confirmar que la GPU está operativa y correctamente montada:

nvidia-smi

Verificación

Ejecute un benchmark simple como cuda-memcheck o lance un modelo PyTorch simple forzando el uso de la GPU externa. Compruebe las temperaturas con nvidia-smi para asegurarse de que la refrigeración activa (conector PWM) es suficiente tanto para la GPU externa como para el módulo integrado.

Para ir más allá

Explore la configuración del multiplexado PCIe si desea usar almacenamiento M.2 NVMe y la GPU externa simultáneamente, verificando el ancho de banda disponible (compartido Gen 3 x4). Consulte las discusiones en GitHub del proyecto Xerxes Home Lab para scripts avanzados de gestión térmica.