`cm3588-npu-inference.py`

Module SOM FriendlyElec CM3588 (Rockchip RK3588) · Fichier : cm3588-npu-inference.py · Langage : Python · Usage : Exécuter une inférence simple avec la NPU RK3588 via RKNN.

Script Python utilisant la bibliothèque RKNN pour effectuer une inférence sur la NPU 6 TOPS.

Matériel : CM3588 avec NPU activée. Installez rknn-toolkit2 et rknn-rt. Convertissez votre modèle ONNX/TensorFlow en .rknn via rknn-toolkit2. Exécutez avec python3 inference.py. Nécessite des dépendances OpenCV et NumPy.

cm3588-npu-inference.py

import numpy as np
import cv2
from rknn.api import RKNN

# Initialize RKNN
rknn = RKNN()
print('--> Loading model')
ret = rknn.load_rknn('model.rknn')
if ret != 0:
    print('Failed to load rknn model')
    exit(ret)
print('--> Building model')
ret = rknn.build(do_quantization=False)
if ret != 0:
    print('Failed to build model')
    exit(ret)
print('--> Initializing runtime')
ret = rknn.init_runtime()
if ret != 0:
    print('Failed to init runtime')
    exit(ret)

# Preprocess input
img = cv2.imread('input.jpg')
img = cv2.resize(img, (640, 640))
img = np.expand_dims(img, 0)

# Inference
outputs = rknn.inference(inputs=[img])
print('Inference done. Output shape:', outputs[0].shape)
rknn.release()

← Retour à la fiche