Entraîner et évaluer votre modèle
L’entraînement et l’évaluation de votre modèle constituent un processus itératif d’ajout de données et d’étiquettes à votre jeu de données d’entraînement pour que le modèle apprenne de façon plus juste. Pour savoir quels types de données et d’étiquettes doivent être améliorés, Language Studio fournit un scoring dans la page Voir les détails du modèle dans le volet gauche.
Les entités individuelles et le score global de votre modèle sont décomposés en trois métriques pour expliquer leurs performances et où elles doivent s’améliorer.
| Metric | Description |
|---|---|
| Precision | Le ratio des reconnaissances réussies par rapport à toutes les tentatives de reconnaissance. Un score élevé signifie que quand l’entité est reconnue, elle est étiquetée correctement. |
| Rappel | Le ratio des reconnaissances d’entités réussies par rapport au nombre réel d’entités du document. Un score élevé signifie qu’il trouve bien la ou les entités, indépendamment du fait qu’il leur affecte l’étiquette appropriée |
| Score F1 | Combinaison de la précision et du rappel fournissant une seule métrique de scoring |
Les scores sont disponibles à la fois par entité et pour le modèle dans son ensemble. Vous pouvez trouver que les scores des entités est satisfaisant, mais pas le score global du modèle.
Comment interpréter les métriques
Dans l’idéal, nous voulons que notre modèle ait un bon score à la fois dans la précision et dans le rappel, ce qui signifie que la reconnaissance d’entités fonctionne bien. Si les deux métriques ont un score faible, cela signifie que le modèle a du mal à reconnaître les entités dans le document et que quand il extrait cette entité, il ne l’affecte pas à l’étiquette correcte avec une confiance élevée.
Si la précision est faible mais que le rappel est élevé, cela signifie que le modèle reconnaît bien l’entité, mais ne l’étiquette pas comme type d’entité correct.
Si la précision est élevée mais que le rappel est faible, cela signifie que le modèle ne reconnaît pas toujours l’entité mais que, quand il l’extrait, l’étiquette correcte est appliquée.
Matrice de confusion
Dans la même page Voir les détails du modèle, il existe un autre onglet en haut pour la Matrice de confusion. Cette vue fournit un tableau visuel de toutes les entités et de la performance de chacune d’elles, donnant une vue complète du modèle et de là où il ne fonctionne pas bien.
La matrice de confusion vous permet d’identifier visuellement où ajouter des données pour améliorer les performances de votre modèle.