`npu-inference-qwen35b.py`

LattePanda Sigma 2: Servidor de placa única Intel Core Ultra X7 358H · Archivo : npu-inference-qwen35b.py · Lenguaje : Python · Uso : Exécuter une inférence locale sur le modèle Qwen3.6-35B-A3B en utilisant le NPU Intel pour maximiser l'efficacité énergétique.

Ejemplo de Python que utiliza OpenVINO para cargar un modelo cuantizado en la NPU Intel de la placa.

Este script requiere la biblioteca 'openvino' instalada vía pip. Apunta específicamente al dispositivo NPU para liberar recursos de CPU/GPU. El modelo debe estar preconvertido al formato OpenVINO IR (.xml/.bin). Asegúrese de que el modelo cuantizado Qwen3.6-35B-A3B sea accesible en la ruta especificada. El uso de la NPU permite una inferencia eficiente sin sobrecalentamiento excesivo.

npu-inference-qwen35b.py

import openvino as ov
import numpy as np

# Chargement du modèle quantifié optimisé pour le NPU Intel
# Le chemin dépend de l'installation OVMS, mais OVMS utilise souvent OpenVINO en arrière-plan
# Ici, on simule une interaction directe si le modèle est exporté en IR OpenVINO

MODEL_PATH = "/opt/ovms/models/qwen3-35b-a3b/1/qwen3-35b-a3b-int8-ov.xml"

try:
    core = ov.Core()
    # Sélection du NPU comme périphérique de calcul
    device = "NPU"
    print(f"Initialisation du NPU Intel...")
    
    # Note : Pour les grands modèles LLM, l'inférence directe via OpenVINO Python API 
    # nécessite une gestion manuelle des tokens. Pour la production, OVMS est recommandé.
    # Cet exemple montre comment charger le modèle sur le NPU.
    
    compiled_model = core.compile_model(MODEL_PATH, device)
    print("Modèle chargé sur le NPU avec succès.")
    print("Prêt pour l'inférence (utilise ~50 TOPS).")
    
except Exception as e:
    print(f"Erreur lors du chargement du modèle sur le NPU : {e}")
    print("Vérifiez que le chemin du modèle est correct et que le pilote NPU est installé.")

← Volver a la ficha