Outils DirectML

Les outils suivants sont disponibles pour améliorer DirectML et l’incorporer dans votre application IA.

Démarrer ONNX Runtime (Olive)

Olive est un outil d’optimisation de modèle prenant en charge le matériel simple d’utilisation qui compose des techniques de pointe sur la compression, l’optimisation et la compilation des modèles. Vous pouvez passer un modèle via Olive avec DirectML comme back-end cible et Olive compose les meilleures techniques d’optimisation appropriées pour générer le ou les modèles les plus efficaces. Pour plus d’informations et d’exemples sur l’utilisation d’Olive, consultez la documentation d’Olive.

DxDispatch

DxDispatch est un exécutable de ligne de commande simple pour lancer des programmes de calcul DirectX 12 sans écrire toutes les plaques réutilisables C++. L’entrée de l’outil est un modèle JSON qui définit les ressources, les répartissables (shaders de calcul, opérateurs DirectML et modèles ONNX) et les commandes à exécuter. Pour plus d’informations, consultez le guide DxDispatch sur Github.

DirectMLX

DirectMLX est une bibliothèque d’assistance d’en-tête uniquement C++ pour DirectML, destinée à faciliter la composition d’opérateurs individuels dans des graphes. Pour plus d’informations, consultez la documentation DirectMLX

Tests de performance d’ONNX Runtime

Le test de performance onnxruntime est un outil qui mesure les performances de l’exécution de modèles ONNX avec différents fournisseurs d’exécution (EPs) dans l’infrastructure onnxruntime. Il peut signaler des métriques telles que la latence, le débit, l’utilisation de la mémoire et l’utilisation du processeur/GPU pour chaque EP et modèle. Le test onnxruntime perf peut également comparer les résultats de différents EPs et modèles et générer des graphiques et des tableaux à des fins d’analyse.

Pour utiliser le test perf onnxruntime avec directml ep, installez le package onnxruntime-directml et spécifiez le directml comme EP dans les arguments de ligne de commande. Par exemple, la commande suivante exécute le test perf pour le modèle resnet50 avec directml ep et les paramètres par défaut :

onnxruntime_perf_test -m resnet50 -e directml

Le test de performance produira la latence moyenne, la mémoire de l’ensemble de travail maximale et l’utilisation moyenne du CPU/GPU pour le modèle directml ep et resnet50. Vous pouvez également utiliser d’autres options pour personnaliser le test perf, telles que la modification du nombre d’itérations, la taille du lot, la concurrence, les exécutions de préchauffement, les entrées de modèle et les formats de production. Pour plus d’informations, reportez-vous à la documentation de test de performance onnxruntime.