`npu-inference-qwen35b.py`

LattePanda Sigma 2 : Serveur monocarte Intel Core Ultra X7 358H · Fichier : npu-inference-qwen35b.py · Langage : Python · Usage : Exécuter une inférence locale sur le modèle Qwen3.6-35B-A3B en utilisant le NPU Intel pour maximiser l'efficacité énergétique.

Exemple Python utilisant OpenVINO pour charger un modèle quantifié sur le NPU Intel de la carte.

Ce script nécessite la bibliothèque 'openvino' installée via pip. Il cible spécifiquement le périphérique NPU pour libérer le CPU/GPU. Le modèle doit être pré-converti au format OpenVINO IR (.xml/.bin). Assurez-vous que le modèle Qwen3.6-35B-A3B quantifié est accessible dans le chemin spécifié. L'utilisation du NPU permet une inférence efficace sans surchauffe excessive.

npu-inference-qwen35b.py

import openvino as ov
import numpy as np

# Chargement du modèle quantifié optimisé pour le NPU Intel
# Le chemin dépend de l'installation OVMS, mais OVMS utilise souvent OpenVINO en arrière-plan
# Ici, on simule une interaction directe si le modèle est exporté en IR OpenVINO

MODEL_PATH = "/opt/ovms/models/qwen3-35b-a3b/1/qwen3-35b-a3b-int8-ov.xml"

try:
    core = ov.Core()
    # Sélection du NPU comme périphérique de calcul
    device = "NPU"
    print(f"Initialisation du NPU Intel...")
    
    # Note : Pour les grands modèles LLM, l'inférence directe via OpenVINO Python API 
    # nécessite une gestion manuelle des tokens. Pour la production, OVMS est recommandé.
    # Cet exemple montre comment charger le modèle sur le NPU.
    
    compiled_model = core.compile_model(MODEL_PATH, device)
    print("Modèle chargé sur le NPU avec succès.")
    print("Prêt pour l'inférence (utilise ~50 TOPS).")
    
except Exception as e:
    print(f"Erreur lors du chargement du modèle sur le NPU : {e}")
    print("Vérifiez que le chemin du modèle est correct et que le pilote NPU est installé.")

← Retour à la fiche