Modèles personnalisés Intelligence documentaire

Ce contenu s’applique à : v3.1 (GA) | Dernière version : v4.0 (GA) | Versions précédentes : v3.0 v2.1

Ce contenu s’applique à : v3.0 (GA) | Dernières versions : v4.0 (GA) v3.1 | Version précédente : v2.1

Ce contenu s’applique à : v2.1 | Dernière version : v4.0 (GA)

Types de modèles de document personnalisés

Il existe deux types de modèles de document personnalisés : le modèle personnalisé ou formulaire personnalisé, et le modèle neuronal personnalisé ou modèles de document personnalisés. Le processus d’étiquetage et d’apprentissage est identique pour les deux. Les modèles présentent toutefois plusieurs différences :

Modèles d’extraction personnalisés

Pour créer un modèle d’extraction personnalisé, étiquetez un jeu de données de documents avec les valeurs que vous souhaitez extraire et effectuer l’apprentissage du modèle sur le jeu de données étiqueté. Vous n’avez besoin pour commencer que de cinq exemples du même type de formulaire ou de document.

Modèle neuronal personnalisé

Le modèle neural personnalisé (document personnalisé) est des modèles de Deep Learning et un modèle de base dont l’apprentissage est effectué sur un grand nombre de documents. Ce modèle est ensuite affiné ou adapté à vos données lorsque vous effectuez son apprentissage avec un jeu de données étiqueté. Les modèles neuraux personnalisés prennent en charge l’extraction de champs de données clés à partir de documents structurés, semi-structurés et non structurés. Quand vous choisissez entre les deux types de modèles, commencez avec un modèle neural pour vérifier s’il répond à vos besoins fonctionnels. Pour plus d’informations sur les modèles de documents personnalisés, consultez Modèles neuronaux personnalisés.

Modèle personnalisé

Le modèle personnalisé ou le modèle de formulaire personnalisé s’appuie sur un modèle visuel cohérent pour extraire les données étiquetées. La variance de structure visuelle de vos documents affecte la précision de votre modèle. Les formulaires structurés, comme les questionnaires ou les applications, sont des exemples de modèles visuels cohérents.

Votre jeu d’apprentissage est constitué de documents structurés présentant une mise en forme et une mise en page statiques et constantes d’un document à l’autre. Les modèles personnalisés prennent en charge les paires clé-valeur, les marques de sélection, les tables, les champs de signature et les régions. Le modèle modèle et peut être entraîné sur des documents dans n’importe quel langage pris en charge. Pour plus d’informations, consultez Modèles personnalisés.

Si le langage de vos documents et scénarios d’extraction prend en charge les modèles neuronaux personnalisés, nous vous recommandons d’utiliser des modèles neuronaux personnalisés plutôt que des modèles de modèle pour une plus grande précision.

Critères des entrées

• Pour de meilleurs résultats, fournissez une photo nette ou une copie de qualité par document.

• Formats de fichiers pris en charge :

  Modèle	PDF	Image : jpeg/jpg, png, bmp, tiff, heif	Microsoft Office : Word (docx), Excel (xlsx), PowerPoint (pptx)
  Lire	✔	✔	✔
  Layout	✔	✔	✔
  Document général	✔	✔
  Prédéfinie	✔	✔
  Extraction personnalisée	✔	✔
  Classification personnalisée	✔	✔	✔

  ✱ Les fichiers Microsoft Office ne sont actuellement pas pris en charge pour d’autres modèles ou versions.

• Pour PDF et TIFF, il est possible de traiter jusqu’à 2000 pages (avec un abonnement gratuit, seules les deux premières pages sont traitées).

• La taille de fichier pour l’analyse des documents est de 500 Mo pour le niveau payant (S0) et de 4 Mo pour le niveau gratuit (F0).

• Les dimensions des images doivent être comprises entre 50 x 50 et 10 000 x 10 000 pixels.

• Si vos fichiers PDF sont verrouillés par mot de passe, vous devez supprimer le verrou avant leur envoi.

• La hauteur minimale du texte à extraire est de 12 pixels pour une image de 1024 x 768 pixels. Cette dimension correspond à environ 8 points de texte à 150 points par pouce.

• Pour la formation de modèles personnalisés, le nombre maximal de pages pour les données de formation est de 500 pour le modèle personnalisé et 50 000 pour le modèle neural personnalisé.

• Pour l’entraînement du modèle d’extraction personnalisé, la taille totale des données d’entraînement est de 50 Mo pour le modèle et 1G-Mo pour le modèle neural.

• Pour l’entraînement du modèle de classification personnalisée, la taille totale des données de formation est 1GB, avec un maximum à 10 000 pages.

Données d’entraînement optimales

Les données d’entrée d’entraînement constituent la base de tout modèle Machine Learning. Elles déterminent la qualité, la justesse et les performances du modèle. Par conséquent, il est essentiel de créer les meilleures données d’entrée d’entraînement possibles pour votre projet Intelligence documentaire. Lorsque vous utilisez le modèle personnalisé d’Intelligence documentaire, vous fournissez vos propres données d’apprentissage. Voici quelques conseils pour vous aider à effectuer efficacement l'apprentissage de vos modèles :

• Lorsque cela est possible, utilisez des fichiers PDF textuels plutôt que basés sur une image. Pour identifier un fichier PDF basé sur une image, vous pouvez essayer de sélectionner du texte dans le document. Si vous pouvez uniquement sélectionner la totalité de l’image du texte, cela signifie que le document est basé sur une image et non sur du texte.

• Organisez vos documents d’apprentissage en utilisant un sous-dossier par format (JPEG/JPG, PNG, BMP, PDF ou TIFF).

• Utilisez des formulaires dont tous les champs disponibles sont complétés.

• Utilisez des formulaires comportant des valeurs différentes dans chaque champ.

• Utilisez un jeu de données plus volumineux (plus de cinq documents d’entraînement) si vos images sont de basse qualité.

• Déterminez si vous devez utiliser un seul modèle ou plusieurs modèles composés en un modèle unique.

• Envisagez de segmenter votre jeu de données en plusieurs dossiers, chacun d’eux correspondant à un modèle unique. Effectuez l’apprentissage d’un modèle par dossier et composez les modèles résultants dans un seul point de terminaison. La précision du modèle peut diminuer quand vous avez différents formats à analyser avec ce même modèle.

• Envisagez de segmenter votre jeu de données pour entraîner plusieurs modèles si votre formulaire présente des variations de formats et de sauts de page. Les formulaires personnalisés s’appuient sur un modèle visuel cohérent.

• Vérifiez que vous disposez d’un jeu de données équilibré en tenant compte des formats, des types de documents et de la structure.

Mode de génération

L’opération build custom model ajoute la prise en charge des modèles personnalisés de modèle et neuronaux. Les versions précédentes de l’API REST et des bibliothèques clientes prenaient en charge uniquement un mode de génération unique, désormais appelé mode modèle.

• Les modèles acceptent uniquement les documents présentant une structure de page globalement similaire (apparence uniforme) ou le même positionnement relatif des éléments dans le document.

• Les modèles neuraux prennent en charge des documents qui comportent les mêmes informations, mais des structures de page différentes. Ces documents incluent par exemple les formulaires W2 pour les États-Unis, qui contiennent les mêmes informations mais présentent une apparence différente en fonction de l’entreprise.

Ce tableau fournit des liens vers les références du kit SDK du langage de programmation en mode génération et des exemples de code sur GitHub :

Comparer les fonctionnalités du modèle

Le tableau suivant compare les fonctionnalités des modèles personnalisés et celles des modèles neuraux personnalisés :

Modèle de classification personnalisé

La classification de documents est un nouveau scénario pris en charge par Intelligence documentaire avec l’API 2023-07-31 (v3.1 GA). L’API classifieur de document prend en charge les scénarios de classification et de fractionnement. Effectuez l'apprentissage d’un modèle de classification pour identifier les différents types de documents pris en charge par votre application. Le fichier d’entrée du modèle de classification peut contenir plusieurs documents et classifie chaque document dans une plage de pages associée. Pour en savoir plus, consultez Modèles de classification personnalisés.

Outils de modèles personnalisés

Les modèles Intelligence documentaire v3.1 et versions ultérieures prennent en charge les outils, applications, programmes et bibliothèques suivants :

Cycle de vie de modèle personnalisé

Le cycle de vie d’un modèle personnalisé dépend de la version de l’API utilisée pour l’entraîner. Si la version de l’API est une version en disponibilité générale, le modèle personnalisé a le même cycle de vie que cette version. Le modèle n’est pas disponible pour l’inférence lorsque la version de l’API est déconseillée. Si la version de l’API est une préversion, le modèle personnalisé a le même cycle de vie que la préversion de l’API.

Intelligence documentaire v2.1 prend en charge les outils, applications et bibliothèques suivants :

Outil d’étiquetage d’exemples

• L’outil d’étiquetage des exemples Intelligence documentaire est un outil open source qui vous permet de tester les fonctionnalités les plus récentes d’Intelligence documentaire et de reconnaissance optique de caractères (OCR).

• Essayez le guide de démarrage rapide de l’outil d’étiquetage des exemples pour commencer à créer et à utiliser un modèle personnalisé.

Document Intelligence Studio

1. Sur la page d’accueil de Studio Intelligence documentaire, sélectionnez Modèles d’extraction personnalisés.

2. Sous Mes projets, sélectionnez Créer un projet.

3. Renseignez les champs sur les détails du projet.

4. Configurez la ressource de service en ajoutant votre compte de stockage et votre conteneur d’objets blob dans Connect your training data source (Connecter votre source de données d’entraînement).

5. Passez en revue et créez votre projet.

6. Ajoutez vos exemples de documents pour étiqueter, créer et tester votre modèle personnalisé.

Pour obtenir une procédure pas à pas détaillée pour créer votre premier modèle d’extraction personnalisé, consultez Comment créer un modèle d’extraction personnalisé.

Résumé de l’extraction du modèle personnalisé

Ce tableau compare les zones d’extraction de données prises en charge :

Symboles de tableau :
✔ – pris en charge
**n/a – Actuellement indisponible ;
* – Se comporte différemment selon le modèle. Avec les modèles de modèle, les données synthétiques sont générées au moment de l’entraînement. Avec les modèles neuraux, la sortie du texte reconnu dans la région est sélectionnée.

• Essayez de traiter vos propres formulaires et documents avec l’outil d’étiquetage d’échantillons Intelligence Documentaire.

• Effectuez un démarrage rapide Intelligence Documentaire et commencez à créer une application de traitement de documents dans le langage de développement de votre choix.

• Essayez de traiter vos propres formulaires et documents avec Document Intelligence Studio.

• Effectuez un démarrage rapide Intelligence Documentaire et commencez à créer une application de traitement de documents dans le langage de développement de votre choix.