Personnaliser un modèle avec des réglages

Prérequis

• Lisez le guide expliquant quand utiliser l’ajustement Azure OpenAI.
• Un abonnement Azure. Créez-en un gratuitement.
• Une ressource Azure OpenAI située dans une région qui prend en charge un ajustement du modèle Azure OpenAI. Consultez le tableau récapitulatif des modèles et de leur disponibilité par région pour obtenir la liste des modèles disponibles par région et les fonctionnalités prises en charge. Pour plus d’informations, consultez l’article Créer une ressource et déployer un modèle à l’aide d’Azure OpenAI.
• L’accès au réglage précis nécessite un contributeur OpenAI de Cognitive Services.
• Si vous n’avez pas encore accès au quota d’affichage et que vous déployez des modèles dans le portail Azure AI Foundry, vous aurez besoin d’autorisations supplémentaires.

Modèles

Les modèles suivants prennent en charge le réglage précis :

• babbage-002
• davinci-002
• gpt-35-turbo (0613)
• gpt-35-turbo (1106)
• gpt-35-turbo (0125)
• gpt-4 (0613)^*
• gpt-4o (2024-08-06)
• gpt-4o-mini (18-07-2024)

^* L’optimisation de ce modèle est actuellement en préversion publique.

Vous pouvez également ajuster un modèle précédemment ajusté, formaté comme base-model.ft-{jobid}.

Consultez la page modèles pour vérifier quelles régions prennent actuellement en charge le réglage précis.

Passer en revue le workflow pour Azure AI Foundry

Prenez un moment pour passer en revue le flux de travail de fine-tuning pour une utilisation d’Azure AI Foundry :

1. Préparer vos données d’apprentissage et de validation.
2. Utiliser l’Assistant Créer un modèle personnalisé dans le portail Azure AI Foundry pour entraîner votre modèle personnalisé.
   1. Sélectionner un modèle de base.
   2. Choisir vos données d’apprentissage.
   3. Éventuellement, choisir vos données de validation.
   4. Configurez éventuellement les paramètres de tâche pour votre travail d’ajustement.
   5. Passer en revue vos choix et effectuer l’apprentissage de votre nouveau modèle personnalisé.
3. Vérifier l’état de votre modèle personnalisé et ajusté.
4. Déployer votre modèle personnalisé pour une utilisation.
5. Utiliser votre modèle personnalisé.
6. Éventuellement, analyser les performances et l’ajustement de votre modèle personnalisé.

Préparer vos données d’entraînement et de validation

Vos données d’apprentissage et vos jeux de données de validation se composent d’exemples d’entrée et de sortie de la façon dont vous souhaitez que le modèle fonctionne.

Différents types de modèles nécessitent un format différent de données d’entraînement.

{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Can I play PC games on my Xbox?"}, {"role": "assistant", "content": "While Xbox consoles don't natively support PC games, they can play an array of Xbox games, many of which are also available on PC. Can I assist you with finding games compatible with your Xbox device?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "I'm having trouble connecting my Xbox to the Wi-Fi."}, {"role": "assistant", "content": "No worries, let's go through the network settings on your Xbox. Can you please tell me what happens when you try to connect it to the Wi-Fi?"}]}

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

{"messages": [{"role": "user", "content": [{"type": "text", "text": "What's in this image?"}, {"type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/MicrosoftDocs/azure-ai-docs/main/articles/ai-services/openai/media/how-to/generated-seattle.png"}}]}, {"role": "assistant", "content": "The image appears to be a watercolor painting of a city skyline, featuring tall buildings and a recognizable structure often associated with Seattle, like the Space Needle. The artwork uses soft colors and brushstrokes to create a somewhat abstract and artistic representation of the cityscape."}]}

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

pip install openai==0.28.1

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

Utiliser l’assistant Créer un modèle personnalisé

Azure AI Foundry fournit l’Assistant Créer un modèle personnalisé, qui permet de créer et d’entraîner de manière interactive un modèle réglé avec précision pour votre ressource Azure.

1. Ouvrez Azure AI Foundry à l’adresse https://oai.azure.com/ et connectez-vous avec des informations d’identification vous permettant d’accéder à votre ressource Azure OpenAI. Pendant le flux de travail de connexion, sélectionnez le répertoire approprié, l’abonnement Azure et la ressource Azure OpenAI.

2. Dans le portail Azure AI Foundry, accédez au volet Outils > Réglage précis, puis sélectionnez Réglage précis du modèle.

   

L’assistant Créer un modèle personnalisé s’ouvre.

Sélectionnez le modèle de base

La première étape de la création d’un modèle personnalisé consiste à choisir un modèle de base. Le volet Modèle de base vous permet de choisir un modèle de base à utiliser pour votre modèle personnalisé. Votre choix influence les performances et le coût de votre modèle.

Sélectionnez un modèle de base dans la liste déroulante Type de modèle de base, puis Suivant pour continuer.

Vous pouvez créer un modèle personnalisé à partir de l’un des modèles de base disponibles suivants :

• babbage-002

• davinci-002

• gpt-35-turbo (0613)

• gpt-35-turbo (1106)

• gpt-35-turbo (0125)

• gpt-4 (0613)

• Vous pouvez également ajuster un modèle précédemment ajusté, formaté comme base-model.ft-{jobid}.

Pour plus d’informations sur les modèles de base qui peuvent être affinés, consultez la section Modèles.

Choisir vos données d’entraînement

L’étape suivante consiste à choisir les données d’entraînement préparées existantes ou à charger de nouvelles données d’entraînement préparées à utiliser lors de la personnalisation de votre modèle. Le volet Données d’apprentissage affiche les jeux de données existants précédemment chargés et fournit également des options permettant de charger de nouvelles données d’apprentissage.

• Si vos données d’apprentissage sont déjà chargées sur le service, sélectionnez Fichiers à partir d’une connexion Azure OpenAI.

  • Sélectionnez le fichier dans la liste déroulante affichée.

• Pour charger de nouvelles données d’apprentissage, utilisez l’une des options suivantes :

  • Sélectionnez Fichier local pour charger des données d’apprentissage à partir d’un fichier local.

  • Sélectionnez Blob Azure ou autres emplacements web partagés pour importer des données d’apprentissage à partir du Blob Azure ou d’un autre emplacement web partagé.

Pour des fichiers de données volumineux, nous vous recommandons d’importer à partir d’un magasin Blob Azure. Les fichiers volumineux peuvent devenir instables lors du chargement via des formulaires multipart, car les requêtes sont atomiques et ne peuvent pas être retentées ou reprises. Pour plus d’informations sur le stockage Blob Azure, consultez Qu’est-ce qu’un stockage Blob Azure ?

Charger des données d’apprentissage à partir d’un fichier local

Vous pouvez charger un nouveau jeu de données d’entraînement sur le service à partir d’un fichier local à l’aide de l’une des méthodes suivantes :

• Faites glisser et déposez le fichier dans la zone cliente du volet Données d’apprentissage, puis sélectionnez Charger le fichier.

• Sélectionnez Rechercher un fichier dans la zone cliente du volet Données d’entraînement, choisissez le fichier à charger dans la boîte de dialogue Ouvrir, puis sélectionnez Charger le fichier.

Après avoir sélectionné et chargé le jeu de données d’apprentissage, sélectionnez Suivant pour continuer.

Importer des données d’apprentissage à partir d’un magasin Blob Azure

Vous pouvez importer un jeu de données d’apprentissage à partir d’un Blob Azure ou d’un autre emplacement web partagé en fournissant le nom et l’emplacement du fichier.

1. Entrez le nom de fichier du fichier.

2. Dans l’emplacement du fichier, indiquez l’URL du Blob Azure, la signature d’accès partagé (SAP) du Stockage Azure ou un autre lien vers un emplacement web partagé accessible.

3. Sélectionnez Importer pour importer le jeu de données d’apprentissage dans le service.

Après avoir sélectionné et chargé le jeu de données d’apprentissage, sélectionnez Suivant pour continuer.

Choisir vos données de validation

L’étape suivante fournit des options pour configurer le modèle afin d’utiliser des données de validation dans le processus d’apprentissage. Si vous ne souhaitez pas utiliser de données de validation, vous pouvez choisir Suivant pour continuer vers les options avancées du modèle. Sinon, si vous avez un jeu de données de validation, vous pouvez choisir les données de validation préparées existantes ou charger de nouvelles données de validation préparées à utiliser lors de la personnalisation de votre modèle.

Le volet Données de validation affiche les jeux de données d’apprentissage et de validation existants précédemment chargés et fournit des options vous permettant de charger de nouvelles données de validation.

• Si vos données de validation sont déjà chargées dans le service, sélectionnez Choisir un jeu de données.

  • Sélectionnez le fichier dans la liste affichée dans le volet Données de validation.

• Pour charger de nouvelles données de validation, utilisez l’une des options suivantes :

  • Sélectionnez Fichier local pour charger des données de validation à partir d’un fichier local.

  • Sélectionnez Blob Azure ou autres emplacements web partagés pour importer des données de validation à partir du Blob Azure ou d’un autre emplacement web partagé.

Pour des fichiers de données volumineux, nous vous recommandons d’importer à partir d’un magasin Blob Azure. Les fichiers volumineux peuvent devenir instables lors du chargement via des formulaires multipart, car les requêtes sont atomiques et ne peuvent pas être retentées ou reprises.

Charger des données de validation à partir d’un fichier local

Vous pouvez charger un nouveau jeu de données de validation sur le service à partir d’un fichier local à l’aide de l’une des méthodes suivantes :

• Faites glisser et déposez le fichier dans la zone cliente du volet Données de validation, puis sélectionnez Charger le fichier.

• Sélectionnez Rechercher un fichier dans la zone cliente du volet Données de validation, choisissez le fichier à charger dans la boîte de dialogue Ouvrir, puis sélectionnez Charger le fichier.

Après avoir sélectionné et chargé le jeu de données de validation, sélectionnez Suivant pour continuer.

Importer des données de validation à partir d’un magasin Blob Azure

Vous pouvez importer un jeu de données de validation à partir d’un Blob Azure ou d’un autre emplacement web partagé en fournissant le nom et l’emplacement du fichier.

1. Entrez le nom de fichier du fichier.

2. Dans l’emplacement du fichier, indiquez l’URL du Blob Azure, la signature d’accès partagé (SAP) du Stockage Azure ou un autre lien vers un emplacement web partagé accessible.

3. Sélectionnez Importer pour importer le jeu de données d’apprentissage dans le service.

Après avoir sélectionné et chargé le jeu de données de validation, sélectionnez Suivant pour continuer.

Configurer les paramètres de tâche

L’Assistant Créer un modèle personnalisé présente les paramètres pour l’apprentissage de votre modèle ajusté dans le volet Paramètres de tâche. Les paramètres disponibles sont les suivants :

Sélectionnez Par défaut pour utiliser les valeurs par défaut du travail d’ajustement, ou sélectionnez Personnalisé pour afficher et modifier les valeurs des hyperparamètres. Lorsque les valeurs par défaut sont sélectionnées, nous déterminons la valeur correcte par algorithme en fonction de vos données de formation.

Après avoir configuré les options avancées, sélectionnez Suivant pour passer en revue vos choix et effectuer l’apprentissage de votre modèle ajusté.

Passez en revue vos choix et entraîner votre modèle

Le volet Révision de l’assistant affiche des informations sur vos choix de configuration.

Si vous êtes prêt à effectuer l’apprentissage de votre modèle, sélectionnez Commencer la tâche d’entraînement pour démarrer le travail d’ajustement et revenir au volet Modèles.

Vérifier l’état de votre modèle personnalisé

Le volet Modèles affiche des informations sur votre modèle personnalisé sous l’onglet Modèles personnalisés. L’onglet inclut des informations sur l’état et l’ID de la tâche d’ajustement de votre modèle personnalisé. Une fois la tâche terminée, l’onglet affiche l’ID de fichier du fichier de résultat. Vous devrez peut-être sélectionner Actualiser pour afficher un état mis à jour pour le travail d’entraînement du modèle.

Après avoir démarré une tâche de réglage précis, un certain temps peut être nécessaire pour qu’elle s’achève. Votre tâche peut être mise en file d’attente derrière d’autres tâches sur le système. L’apprentissage de votre modèle peut prendre quelques minutes ou quelques heures selon le modèle et la taille du jeu de données.

Voici quelques-unes des tâches que vous pouvez effectuer dans le volet Modèles :

• Vérifiez l’état de la tâche de réglage précis de votre modèle personnalisé dans la colonne État de l’onglet Modèles personnalisés.

• Dans la colonne Nom du modèle, sélectionner le nom du modèle pour afficher plus d’informations sur le modèle personnalisé. Vous pouvez voir l’état de la tâche de réglage précis, les résultats de la formation, les événements liés à l’entraînement et les hyperparamètres utilisés dans la tâche.

• Sélectionner Télécharger le fichier d’apprentissage pour télécharger les données d’apprentissage que vous avez utilisées pour le modèle.

• Sélectionnez Télécharger les résultats pour télécharger le fichier des résultats joint à la tâche d’ajustement de votre modèle et analyser votre modèle personnalisé pour obtenir ses performances d’apprentissage et de validation.

• Sélectionnez Actualiser pour mettre à jour les informations sur la page.

Points de contrôle

Lorsque chaque époque de formation termine un point de contrôle est généré. Un point de contrôle est une version entièrement fonctionnelle d’un modèle qui peut être déployé et utilisé comme modèle cible pour les travaux d’ajustement suivants. Les points de contrôle peuvent être particulièrement utiles, car ils peuvent fournir un instantané de votre modèle avant le surajustement. Lorsqu’un travail d’ajustement se termine, vous disposez des trois versions les plus récentes du modèle disponibles pour le déploiement.

Évaluation de la sécurité pour l’ajustement de GPT-4, GPT-4o, et GPT-4o-mini – Préversion publique

GPT-4o, GPT-4o-mini et GPT-4 sont nos modèles les plus avancés qui peuvent être ajustés à vos besoins. Comme pour les modèles Azure OpenAI de façon générale, les capacités avancées des modèles ajustés s’accompagnent d’enjeux plus importants en matière d’IA responsable eu égard au contenu nuisible, à la manipulation, au comportement pseudo-humain, aux problèmes de confidentialité, etc. Pour en savoir plus sur les risques, les capacités et les limites, consultez Vue d’ensemble des pratiques de l’IA responsable et Note de transparence. Pour aider à atténuer les risques associés aux modèles ajustés avancés, nous avons mis en place des étapes d’évaluation supplémentaires pour contribuer à la détection et à la prévention des contenus nuisibles dans l’entraînement et les sorties des modèles ajustés. Ces étapes reposent sur le standard Microsoft en matière d’IA responsable et le filtrage de contenu Azure OpenAI Service.

• Les évaluations sont réalisées dans des espaces de travail privés dédiés, spécifiques au client ;
• Les points de terminaison d’évaluation se trouvent dans la même zone géographique que la ressource Azure OpenAI ;
• Les données d’entraînement ne sont pas stockées au cours des évaluations ; seule l’évaluation du modèle final (déployable ou non déployable) est conservée ; et

Les filtres d’évaluation des modèles ajustés de GPT-4o, GPT-4o-mini et GPT-4 sont fixés selon des seuils prédéfinis et ne peuvent pas être modifiés par les clients ; ils ne sont pas liés à une configuration de filtrage de contenu personnalisée que vous auriez pu créer.

Évaluation des données

Avant le commencement de l’entraînement, vos données sont évaluées par rapport à la présence de contenu potentiellement nuisible (violence, contenu sexuel, haine et impartialité, automutilation – voir la définition des différentes catégories ici). Si du contenu nuisible est détecté et qu’il dépasse le niveau de gravité spécifié, votre tâche d’entraînement échoue et vous obtenez un message vous indiquant la raison (catégorie) de l’échec.

Exemple de message :

The provided training data failed RAI checks for harm types: [hate_fairness, self_harm, violence]. Please fix the data and try again.

Vos données d’entraînement sont évaluées automatiquement lors de votre tâche d’importation de données dans le cadre de la capacité de fine-tuning.

Si la tâche de fine-tuning échoue suite à la détection de contenu nuisible dans les données d’entraînement, vous n’êtes pas facturé.

Évaluation du modèle

Une fois l’entraînement terminé, mais avant que le modèle ajusté soit en mesure d’être déployé, le modèle résultant est évalué par rapport à la présence de réponses potentiellement nuisibles à l’aide des métriques de risque et de sécurité intégrées d’Azure. En suivant la même approche de test que celle que nous appliquons aux grands modèles de langage de base, notre fonctionnalité d’évaluation simule une conversation avec votre modèle ajusté pour évaluer le potentiel de génération de contenu nuisible, encore une fois en utilisant les catégories de contenu nuisible spécifiées (violence, contenu sexuel, haine et impartialité, automutilation).

S’il s’avère qu’un modèle génère une sortie dont le contenu est détecté comme présentant un caractère nuisible au-delà d’un niveau acceptable, vous êtes informé que votre modèle ne peut pas être déployé, et vous obtenez des indications sur les catégories spécifiques de nuisances détectées :

Exemple de message :

This model is unable to be deployed. Model evaluation identified that this fine tuned model scores above acceptable thresholds for [Violence, Self Harm]. Please review your training data set and resubmit the job.

Comme pour l’évaluation de données, le modèle est évalué automatiquement lors de votre tâche de fine-tuning dans le cadre de la capacité de fine-tuning. Seule l’évaluation résultante (déployable ou non déployable) est journalisée par le service. Si le déploiement du modèle affiné échoue en raison de la détection de contenu nuisible dans les sorties générées par le modèle, l’entraînement exécuté ne vous est pas facturé.

Déployer un modèle ajusté

Lorsque la tâche de réglage précis réussit, vous pouvez déployer le modèle personnalisé à partir du volet Modèles. Vous devez déployer votre modèle personnalisé pour le rendre disponible pour une utilisation avec des appels d’achèvement.

Pour déployer votre modèle personnalisé, sélectionnez le modèle personnalisé à déployer, puis sélectionnez Déployer le modèle.

La boîte de dialogue Déployer un modèle s’ouvre. Dans la boîte de dialogue, entrez votre Nom de déploiement, puis sélectionnez Créer pour démarrer le déploiement de votre modèle personnalisé.

Vous pouvez surveiller la progression de votre déploiement dans le volet Déploiements du portail Azure AI Foundry.

Déploiement inter-région

L’ajustement prend en charge le déploiement d’un modèle ajusté vers une autre région que celle où il a été ajusté à l’origine. Vous pouvez également déployer vers une autre région/un autre abonnement.

Les seules limitations sont que la nouvelle région doit également prendre en charge l’ajustement et que, lors du déploiement sur plusieurs abonnements, le compte générant le jeton d’autorisation pour le déploiement doit avoir accès aux abonnements source et destination.

Vous pouvez effectuer un déploiement sur plusieurs abonnements/régions via Python ou REST.

Utiliser un modèle personnalisé déployé

Après le déploiement de votre modèle personnalisé, vous pouvez l’utiliser comme n’importe quel autre modèle déployé. Vous pouvez utiliser les Terrains de jeu dans Azure AI Foundry pour tester votre nouveau déploiement. Vous pouvez continuer à utiliser les mêmes paramètres avec votre modèle personnalisé, comme temperature et max_tokens, que vous pouvez utiliser avec d’autres modèles déployés. Pour les modèles babbage-002 et davinci-002 ajustés, vous utiliserez le terrain de jeu d’achèvements et l’API d’achèvements. Pour les modèles gpt-35-turbo-0613 ajustés, vous utiliserez le terrain de jeu de conversation et l’API d’achèvements de conversation.

Analyser votre modèle personnalisé

Azure OpenAI joint un fichier de résultats nommé results.csv à chaque tâche de réglage précis après son achèvement. Vous pouvez utiliser le fichier de résultats pour analyser les performances d’apprentissage et de validation de votre modèle personnalisé. L’ID de fichier du fichier de résultats est listé pour chaque modèle personnalisé dans la colonne ID de fichier de résultats du volet Modèles d’Azure AI Foundry. Vous pouvez utiliser l’ID de fichier pour identifier et télécharger le fichier de résultats à partir du volet Fichiers de données d’Azure AI Foundry.

Le fichier de résultats est un fichier CSV contenant une ligne d’en-tête et une ligne pour chaque étape d’entraînement effectuée par la tâche de réglage précis. Le fichier de résultats contient les colonnes suivantes :

Vous pouvez également afficher les données de votre fichier results.csv sous forme de tracés dans le portail Azure AI Foundry. Sélectionnez le lien pour votre modèle entraîné, et vous verrez trois graphiques : perte, précision moyenne du jeton et précision du jeton. Si vous avez fourni des données de validation, les deux jeux de données apparaissent sur le même tracé.

Les pertes devraient diminuer avec le temps et la précision augmenter. Si vous voyez une divergence entre vos données d’apprentissage et de validation, cela peut indiquer que vous êtes en surajustement. Essayez d’effectuer l’apprentissage avec moins d’époques, ou un multiplicateur de taux d’apprentissage plus petit.

Nettoyer vos déploiements, modèles personnalisés et fichiers d’apprentissage

Lorsque vous en avez terminé avec votre modèle personnalisé, vous pouvez supprimer le déploiement et le modèle. Vous pouvez également supprimer les fichiers d’entraînement et de validation que vous avez chargés sur le service, si nécessaire.

Supprimer votre modèle de déploiement

Vous pouvez supprimer le déploiement de votre modèle personnalisé dans le volet Déploiements du portail Azure AI Foundry. Sélectionnez le déploiement à supprimer, puis sélectionnez Supprimer pour supprimer le déploiement.

Supprimer votre modèle personnalisé

Vous pouvez supprimer un modèle personnalisé dans le volet Modèles du portail Azure AI Foundry. Sélectionnez le modèle personnalisé à supprimer dans l’onglet Modèles personnalisés, puis sélectionnez Supprimer pour supprimer le modèle personnalisé.

Supprimer vos fichiers de formation

Vous pouvez éventuellement supprimer les fichiers de formation et de validation que vous avez chargés pour la formation, ainsi que les fichiers de résultats générés pendant la formation, dans le volet Gestion>Fichiers de données du portail Azure AI Foundry. Sélectionnez le fichier à supprimer, puis sélectionnez Supprimer pour supprimer le fichier.

Ajustement continu

Une fois que vous avez créé un modèle ajusté, vous pouvez continuer à affiner le modèle au fil du temps via un ajustement plus précis. L’ajustement continu correspond au processus itératif de sélection d’un modèle déjà affiné comme modèle de base et à l’ajuster davantage sur de nouveaux ensembles d’exemples d’apprentissage.

Si vous souhaitez effectuer l’ajustement d’un modèle précédemment ajusté, vous utiliserez le même processus décrit dans créer un modèle personnalisé mais, au lieu de spécifier le nom d’un modèle de base générique, vous spécifierez votre modèle déjà ajusté. Un modèle ajusté personnalisé ressemblera à gpt-35-turbo-0613.ft-5fd1918ee65d4cd38a5dcf6835066ed7

Nous vous conseillons également d’inclure le paramètre suffix pour faciliter la distinction entre les différentes itérations de votre modèle ajusté. suffix prend une chaîne et est défini pour identifier le modèle ajusté. Avec l’API Python OpenAI, une chaîne 18 caractères au maximum est prise en charge et est ajoutée au nom de votre modèle ajusté.

Prérequis

• Lisez le guide expliquant quand utiliser l’ajustement Azure OpenAI.

• Un abonnement Azure : créez-en un gratuitement.

• Une ressource de hub Azure AI.

• Un projet Azure AI dans le portail Azure AI Foundry.

• Une connexion Azure OpenAI à une ressource dans une région où le fine-tuning (ajustement) est pris en charge.

  Remarque

  Les régions prises en charge peuvent varier si vous utilisez des modèles Azure OpenAI dans un projet Azure AI Foundry ou en dehors d’un projet.

• L’accès au fine-tuning nécessite un rôle Contributeur OpenAI Cognitive Services sur la ressource Azure OpenAI.

• Si vous ne disposez pas encore de l’accès à l’affichage du quota et au déploiement de modèles dans le portail Azure AI Foundry, vous avez besoin d’autres autorisations.

Modèles

Les modèles suivants prennent en charge le réglage précis :

• babbage-002
• davinci-002
• gpt-35-turbo (0613)
• gpt-35-turbo (1106)
• gpt-35-turbo (0125)
• gpt-4 (0613)^*
• gpt-4o (2024-08-06)
• gpt-4o-mini (18-07-2024)

^* L’optimisation de ce modèle est actuellement en préversion publique.

Vous pouvez également ajuster un modèle précédemment ajusté, formaté comme base-model.ft-{jobid}.

Consultez la page modèles pour vérifier quelles régions prennent actuellement en charge le réglage précis.

Passer en revue le workflow pour Azure AI Foundry

Prenez un moment pour passer en revue le flux de travail de fine-tuning pour une utilisation d’Azure AI Foundry :

1. Préparer vos données d’apprentissage et de validation.
2. Utilisez l’Assistant Modèle 3D ajusté dans le portail Azure AI Foundry pour effectuer l’apprentissage de votre modèle personnalisé.
   1. Sélectionnez un modèle.
   2. Choisir vos données d’apprentissage.
   3. Éventuellement, choisir vos données de validation.
   4. Éventuellement, configurez vos paramètres pour votre travail de fine-tuning.
   5. Passer en revue vos choix et effectuer l’apprentissage de votre nouveau modèle personnalisé.
3. Vérifiez l’état de votre modèle ajusté.
4. Si vous le souhaitez, analysez les performances et l’ajustement de votre modèle personnalisé.
5. Déployez votre modèle ajusté à utiliser.
6. Utilisez votre modèle ajusté.

Préparer vos données d’entraînement et de validation

Vos données d’apprentissage et vos jeux de données de validation se composent d’exemples d’entrée et de sortie de la façon dont vous souhaitez que le modèle fonctionne.

Différents types de modèles nécessitent un format différent de données d’entraînement.

{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Can I play PC games on my Xbox?"}, {"role": "assistant", "content": "While Xbox consoles don't natively support PC games, they can play an array of Xbox games, many of which are also available on PC. Can I assist you with finding games compatible with your Xbox device?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "I'm having trouble connecting my Xbox to the Wi-Fi."}, {"role": "assistant", "content": "No worries, let's go through the network settings on your Xbox. Can you please tell me what happens when you try to connect it to the Wi-Fi?"}]}

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

{"messages": [{"role": "user", "content": [{"type": "text", "text": "What's in this image?"}, {"type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/MicrosoftDocs/azure-ai-docs/main/articles/ai-services/openai/media/how-to/generated-seattle.png"}}]}, {"role": "assistant", "content": "The image appears to be a watercolor painting of a city skyline, featuring tall buildings and a recognizable structure often associated with Seattle, like the Space Needle. The artwork uses soft colors and brushstrokes to create a somewhat abstract and artistic representation of the cityscape."}]}

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

pip install openai==0.28.1

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

Créer votre modèle ajusté

Pour ajuster un modèle Azure OpenAI dans un projet Azure AI Foundry existant, procédez comme suit :

1. Connectez-vous à Azure AI Foundry et sélectionnez votre projet. Si vous n’avez pas encore de projet, commencez par en créer un.

2. Dans le menu de gauche réductible, sélectionnez Fine-tuning>+ Fine-tuning de modèle.

   

Sélectionnez le modèle de base

1. Sélectionnez un modèle de base à ajuster. Votre choix influence le niveau de performance et le coût de votre modèle. Dans cet exemple, nous choisissons le modèle gpt-35-turbo. Ensuite, sélectionnez Confirmer.

   

2. Pour gpt-35-turbo, nous avons différentes versions disponibles pour le fine-tuning. Veuillez donc choisir la version que vous souhaitez ajuster. Nous choisirons (0301).

3. Nous vous conseillons également d’inclure le paramètre suffix pour faciliter la distinction entre les différentes itérations de votre modèle ajusté. suffix prend une chaîne et est défini pour identifier le modèle ajusté. Avec l’API Python OpenAI, une chaîne 18 caractères au maximum est prise en charge et est ajoutée au nom de votre modèle ajusté.

Si vous avez plus d’une connexion Azure OpenAI activée pour le fine-tuning, choisissez la ressource que vous souhaitez utiliser. Veuillez noter que tous les utilisateurs ayant accès à votre ressource Azure OpenAI ont accès à ce modèle ajusté.

1. Sélectionnez ensuite Suivant.

   

Choisir vos données d’entraînement

L’étape suivante consiste à choisir les données d’entraînement préparées existantes ou à charger de nouvelles données d’entraînement préparées à utiliser lors de la personnalisation de votre modèle. Le volet Données d’apprentissage affiche les jeux de données existants précédemment chargés et fournit également des options permettant de charger de nouvelles données d’apprentissage.

• Si vos données d’apprentissage se trouvent déjà dans votre projet, sélectionnez Données dans le portail Azure AI Foundry.

  • Sélectionnez le fichier dans la liste affichée dans le volet Données d’apprentissage.

• Si vos données d’apprentissage sont déjà chargées dans le service Azure OpenAI, sélectionnez votre connexion Azure OpenAI sous Connexion Azure OpenAI.

• Pour charger des données d’apprentissage afin d’ajuster votre modèle, sélectionnez Charger des données, puis Charger un fichier.

  • Assurez-vous que vos exemples d’apprentissage suivent le format attendu pour l’inférence. Pour affiner efficacement des modèles, assurez-vous de disposer d’un jeu de données équilibré et diversifié. Cela implique la maintenance de l’équilibre des données, y compris différents scénarios, et l’affinage périodique des données d’apprentissage afin de les aligner sur les attentes réelles, ce qui aboutit à des réponses de modèle plus précises et équilibrées. Consultez la préparation des données pour plus d’informations.
  • Pour des fichiers de données volumineux, nous vous recommandons d’importer à partir d’un magasin Blob Azure. Les fichiers volumineux peuvent devenir instables lors du chargement via des formulaires multipart, car les requêtes sont atomiques et ne peuvent pas être retentées ou reprises. Pour plus d’informations sur le stockage Blob Azure, consultez Qu’est-ce qu’un stockage Blob Azure ?

Après le chargement des fichiers, un aperçu de vos données d’apprentissage s’affiche. Sélectionnez Suivant pour continuer.

Choisir vos données de validation

Vous pouvez éventuellement choisir de fournir des données de validation pour ajuster votre modèle. Si vous ne souhaitez pas utiliser de données de validation, vous pouvez sélectionner Aucune, puis Suivant pour continuer vers les options avancées du modèle.

Sinon, si vous avez un jeu de données de validation, vous pouvez choisir les données précédemment chargées ou charger les données de validation nouvellement préparées à utiliser lors du fine-tuning de votre modèle.

Configurer vos paramètres

Éventuellement, configurez les paramètres pour votre travail de fine-tuning. Les éléments suivants sont disponibles :

Vous pouvez choisir de conserver la configuration par défaut ou de personnaliser les valeurs en fonction de vos préférences. Une fois vos configurations terminées, sélectionnez Suivant.

Passez en revue vos choix et entraîner votre modèle

Passez en revue vos choix, puis sélectionnez Soumettre pour commencer l’apprentissage de votre nouveau modèle ajusté.

Vérifier l’état de votre modèle ajusté

Après avoir soumis votre modèle ajusté, une page s’affiche avec les informations sur votre modèle ajusté. Vous trouverez l’état et plus d’informations sur votre modèle affiné sur la page Réglage précis>Modèles dans le portail Azure AI Foundry.

Votre tâche peut être mise en file d’attente derrière d’autres tâches sur le système. L’apprentissage de votre modèle peut prendre quelques minutes ou quelques heures selon le modèle et la taille du jeu de données.

Analyser votre modèle ajusté

Une fois le fine-tuning correctement effectué, vous pouvez télécharger un fichier de résultats nommé results.csv à partir de la page du modèle ajusté sous l’onglet Détails. Vous pouvez utiliser le fichier de résultats pour analyser les performances d’apprentissage et de validation de votre modèle personnalisé.

Le fichier de résultats est un fichier CSV contenant une ligne d’en-tête et une ligne pour chaque étape d’entraînement effectuée par la tâche de réglage précis. Le fichier de résultats contient les colonnes suivantes :

Vous pouvez également afficher les données dans votre fichier results.csv en tant que tracés dans le portail Azure AI Foundry sous l’onglet Métriques de votre modèle ajusté. Sélectionnez le lien pour votre modèle entraîné, et vous verrez deux graphiques : perte et précision du jeton. Si vous avez fourni des données de validation, les deux jeux de données apparaissent sur le même tracé.

Les pertes devraient diminuer avec le temps et la précision augmenter. Si vous voyez une divergence entre vos données d’apprentissage et de validation, cela peut indiquer que vous vous trouvez en surajustement. Essayez d’effectuer l’apprentissage avec moins d’époques, ou un multiplicateur de taux d’apprentissage plus petit.

Points de contrôle

Lorsque chaque époque de formation termine un point de contrôle est généré. Un point de contrôle est une version entièrement fonctionnelle d’un modèle qui peut être déployé et utilisé comme modèle cible pour les travaux d’ajustement suivants. Les points de contrôle peuvent être particulièrement utiles, car ils peuvent fournir un instantané de votre modèle avant le surajustement. Lorsqu’un travail d’ajustement se termine, vous disposez des trois versions les plus récentes du modèle disponibles pour le déploiement.

Évaluation de la sécurité pour l’ajustement de GPT-4, GPT-4o, et GPT-4o-mini – Préversion publique

GPT-4o, GPT-4o-mini et GPT-4 sont nos modèles les plus avancés qui peuvent être ajustés à vos besoins. Comme pour les modèles Azure OpenAI de façon générale, les capacités avancées des modèles ajustés s’accompagnent d’enjeux plus importants en matière d’IA responsable eu égard au contenu nuisible, à la manipulation, au comportement pseudo-humain, aux problèmes de confidentialité, etc. Pour en savoir plus sur les risques, les capacités et les limites, consultez Vue d’ensemble des pratiques de l’IA responsable et Note de transparence. Pour aider à atténuer les risques associés aux modèles ajustés avancés, nous avons mis en place des étapes d’évaluation supplémentaires pour contribuer à la détection et à la prévention des contenus nuisibles dans l’entraînement et les sorties des modèles ajustés. Ces étapes reposent sur le standard Microsoft en matière d’IA responsable et le filtrage de contenu Azure OpenAI Service.

• Les évaluations sont réalisées dans des espaces de travail privés dédiés, spécifiques au client ;
• Les points de terminaison d’évaluation se trouvent dans la même zone géographique que la ressource Azure OpenAI ;
• Les données d’entraînement ne sont pas stockées au cours des évaluations ; seule l’évaluation du modèle final (déployable ou non déployable) est conservée ; et

Les filtres d’évaluation des modèles ajustés de GPT-4o, GPT-4o-mini et GPT-4 sont fixés selon des seuils prédéfinis et ne peuvent pas être modifiés par les clients ; ils ne sont pas liés à une configuration de filtrage de contenu personnalisée que vous auriez pu créer.

Évaluation des données

Avant le commencement de l’entraînement, vos données sont évaluées par rapport à la présence de contenu potentiellement nuisible (violence, contenu sexuel, haine et impartialité, automutilation – voir la définition des différentes catégories ici). Si du contenu nuisible est détecté et qu’il dépasse le niveau de gravité spécifié, votre tâche d’entraînement échoue et vous obtenez un message vous indiquant la raison (catégorie) de l’échec.

Exemple de message :

The provided training data failed RAI checks for harm types: [hate_fairness, self_harm, violence]. Please fix the data and try again.

Vos données d’entraînement sont évaluées automatiquement lors de votre tâche d’importation de données dans le cadre de la capacité de fine-tuning.

Si la tâche de fine-tuning échoue suite à la détection de contenu nuisible dans les données d’entraînement, vous n’êtes pas facturé.

Évaluation du modèle

Une fois l’entraînement terminé, mais avant que le modèle ajusté soit en mesure d’être déployé, le modèle résultant est évalué par rapport à la présence de réponses potentiellement nuisibles à l’aide des métriques de risque et de sécurité intégrées d’Azure. En suivant la même approche de test que celle que nous appliquons aux grands modèles de langage de base, notre fonctionnalité d’évaluation simule une conversation avec votre modèle ajusté pour évaluer le potentiel de génération de contenu nuisible, encore une fois en utilisant les catégories de contenu nuisible spécifiées (violence, contenu sexuel, haine et impartialité, automutilation).

S’il s’avère qu’un modèle génère une sortie dont le contenu est détecté comme présentant un caractère nuisible au-delà d’un niveau acceptable, vous êtes informé que votre modèle ne peut pas être déployé, et vous obtenez des indications sur les catégories spécifiques de nuisances détectées :

Exemple de message :

This model is unable to be deployed. Model evaluation identified that this fine tuned model scores above acceptable thresholds for [Violence, Self Harm]. Please review your training data set and resubmit the job.

Comme pour l’évaluation de données, le modèle est évalué automatiquement lors de votre tâche de fine-tuning dans le cadre de la capacité de fine-tuning. Seule l’évaluation résultante (déployable ou non déployable) est journalisée par le service. Si le déploiement du modèle affiné échoue en raison de la détection de contenu nuisible dans les sorties générées par le modèle, l’entraînement exécuté ne vous est pas facturé.

Déployer un modèle ajusté

Une fois votre modèle affiné, vous pouvez le déployer et l’utiliser dans votre propre application. Vous ne pouvez pas déployer un modèle affiné à partir de la page déploiements ou de la page de terrain de jeu dans le portail Azure AI Foundry. Actuellement, la seule façon de déployer un modèle affiné provient de la page détails du modèle pour ce modèle.

Lorsque vous déployez le modèle, vous rendez le modèle disponible pour l’inférence qui entraîne des frais d’hébergement à l’heure. Les modèles ajustés peuvent toutefois être stockés dans le portail Azure AI Foundry sans frais jusqu’à ce que vous soyez prêt à les utiliser.

Vous pouvez surveiller la progression de votre déploiement dans la page Déploiements du portail Azure AI Foundry.

Utiliser un modèle ajusté déployé

Après le déploiement de votre modèle ajusté, vous pouvez l’utiliser comme n’importe quel autre modèle déployé. Vous pouvez utiliser le Terrain de jeu dans Azure AI Foundry pour tester votre nouveau déploiement. Vous pouvez également utiliser l’API REST pour appeler votre modèle ajusté à partir de votre application. Vous pouvez même commencer à utiliser ce nouveau modèle ajusté dans votre flux d’invite pour générer votre application d’IA générative.

Nettoyer vos déploiements, modèles ajustés et fichiers d’apprentissage

Lorsque vous avez terminé avec votre modèle ajusté, vous pouvez supprimer le déploiement et le modèle. Vous pouvez également supprimer les fichiers d’entraînement et de validation que vous avez chargés sur le service, si nécessaire.

Supprimer le déploiement de votre modèle ajusté

Vous pouvez supprimer le déploiement de votre modèle ajusté dans la page Déploiements du portail Azure AI Foundry. Sélectionnez le déploiement à supprimer, puis sélectionnez Supprimer pour supprimer le déploiement.

Supprimer votre modèle ajusté

Vous pouvez supprimer un modèle ajusté dans la page Fine-tuning du portail Azure AI Foundry. Sélectionnez le modèle ajusté à supprimer, puis Supprimer pour supprimer le modèle ajusté.

Supprimer vos fichiers de formation

Vous pouvez éventuellement supprimer les fichiers d’apprentissage et de validation chargés pour l’apprentissage, ainsi que les fichiers de résultats générés pendant ce dernier. Pour cela, vous devez accéder à Azure OpenAI Studio et naviguer jusqu’au volet Gestion>Fichier de données. Sélectionnez le fichier à supprimer, puis sélectionnez Supprimer pour supprimer le fichier.

Les données d’entraînement et de validation que vous utilisez doivent être mises en forme en tant que document JSON Lines (JSONL). Pour gpt-35-turbo-0613 le jeu de données de réglage précis doit être mis en forme dans le format conversationnel utilisé par l’API des achèvements de conversation.

Si vous souhaitez une procédure pas à pas de réglage précis d’un gpt-35-turbo-0613, reportez-vous au didacticiel de réglage détaillé d’Azure OpenAI

Exemple de format de fichier

{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Can I play PC games on my Xbox?"}, {"role": "assistant", "content": "While Xbox consoles don't natively support PC games, they can play an array of Xbox games, many of which are also available on PC. Can I assist you with finding games compatible with your Xbox device?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "I'm having trouble connecting my Xbox to the Wi-Fi."}, {"role": "assistant", "content": "No worries, let's go through the network settings on your Xbox. Can you please tell me what happens when you try to connect it to the Wi-Fi?"}]}

Format de fichier d’invite multitour

Plusieurs tours d’une invite dans une seule ligne de votre fichier de formation jsonl sont également pris en charge. Pour ignorer le fine-tuning sur des messages d’assistant spécifiques, ajoutez la paire clé/valeur facultative weight. Actuellement, weight peut être défini sur 0 ou 1.

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

Saisies semi-automatiques de conversation avec vision

{"messages": [{"role": "user", "content": [{"type": "text", "text": "What's in this image?"}, {"type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/MicrosoftDocs/azure-ai-docs/main/articles/ai-services/openai/media/how-to/generated-seattle.png"}}]}, {"role": "assistant", "content": "The image appears to be a watercolor painting of a city skyline, featuring tall buildings and a recognizable structure often associated with Seattle, like the Space Needle. The artwork uses soft colors and brushstrokes to create a somewhat abstract and artistic representation of the cityscape."}]}

Outre le format JSONL, les fichiers de données d’apprentissage et de validation doivent être encodés en UTF-8 et inclure une marque d’ordre d’octet (BOM). La taille du fichier doit être inférieure à 512 Mo.

Créer vos jeux de données d’apprentissage et de validation

Plus vous avez d’exemples de formation, mieux c’est. Les travaux de fine-tuning ne seront pas effectués sans au moins 10 exemples d’apprentissage, mais un si petit nombre ne suffit pas pour influencer de façon notable les réponses du modèle. Il est recommandé de fournir des centaines, voire des milliers d’exemples d’apprentissage pour obtenir de bons résultats.

En général, le doublement de la taille du jeu de données peut entraîner une augmentation linéaire de la qualité du modèle. Mais gardez à l’esprit que les exemples de faible qualité peuvent avoir un impact négatif sur les performances. Si vous entraînez le modèle sur une grande quantité de données internes, sans élaguer au préalable l’ensemble de données pour ne conserver que les exemples de la plus haute qualité, vous risquez d’obtenir un modèle dont les performances sont bien inférieures à celles attendues.

Les données d’entraînement et de validation que vous utilisez doivent être mises en forme en tant que document JSON Lines (JSONL) dans lequel chaque ligne représente une paire de saisie semi-automatique unique. L’interface de ligne de commande OpenAI inclut un outil de préparation des données qui valide, fournit des suggestions et réforme vos données d’entraînement dans un fichier JSONL prêt pour l’ajustement.

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

Outre le format JSONL, les fichiers de données d’apprentissage et de validation doivent être encodés en UTF-8 et inclure une marque d’ordre d’octet (BOM). La taille du fichier doit être inférieure à 512 Mo.

Créer vos jeux de données d’apprentissage et de validation

Concevoir vos invites et achèvements à des fins d’ajustement est différent de concevoir vos invites à pour une utilisation avec n’importe lequel denos modèles de base GPT-3. Les invites pour les appels d’achèvement utilisent souvent des instructions détaillées ou des techniques d’apprentissage few-shot, et se composent de plusieurs exemples. Pour un ajustement, chaque exemple d’apprentissage doit se composer d’une seule invite d’entrée et de sa sortie d’achèvement souhaitée. Vous n’avez pas besoin de fournir des instructions détaillées ou de nombreux exemples d’achèvement dans la même invite.

Plus vous avez d’exemples de formation, mieux c’est. Les travaux de fine-tuning ne seront pas effectués sans au moins 10 exemples d’apprentissage, mais un si petit nombre ne suffit pas pour influencer de façon notable les réponses du modèle. Il est recommandé de fournir des centaines, voire des milliers d’exemples d’apprentissage pour obtenir de bons résultats.

En général, le doublement de la taille du jeu de données peut entraîner une augmentation linéaire de la qualité du modèle. Mais gardez à l’esprit que les exemples de faible qualité peuvent avoir un impact négatif sur les performances. Si vous entraînez le modèle sur une grande quantité de données internes, sans élaguer au préalable l’ensemble de données pour ne conserver que les exemples de la plus haute qualité, vous risquez d’obtenir un modèle dont les performances sont bien inférieures à celles attendues.

Outil de préparation des données OpenAI CLI

L’outil de préparation des données CLI d’OpenAI a été développé pour la génération précédente de modèles de réglage précis pour faciliter la plupart des étapes de préparation des données. Cet outil fonctionne uniquement pour la préparation des données pour les modèles qui fonctionnent avec l’API d’achèvement comme babbage-002 et davinci-002. L’outil valide, fournit des suggestions et remet en forme vos données dans un fichier JSONL prêt pour le réglage précis.

Pour installer l’interface OpenAI CLI, exécutez la commande Python suivante :

pip install openai==0.28.1

Pour analyser vos données d’apprentissage avec l’outil de préparation des données, exécutez la commande Python suivante. Remplacez l’argument <LOCAL_FILE> par le chemin complet et le nom de fichier du fichier de données d’apprentissage à analyser :

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

Cet outil accepte les fichiers dans les formats de données suivants, s’ils contiennent une invite et une colonne/clé d’achèvement :

• Valeurs séparées par des virgules (CSV)
• Valeurs séparées par des tabulations (TSV)
• Classeur Microsoft Excel (XLSX)
• JSON (JavaScript Object Notation)
• Lignes JSON (JSONL)

Après vous avoir guidé à travers le processus d’implémentation des modifications suggérées, l’outil remet en forme vos données d’apprentissage et enregistre la sortie dans un fichier JSONL prêt pour un ajustement.

# Upload fine-tuning files

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-05-01-preview"  # This API version or later is required to access seed/events/checkpoint capabilities
)

training_file_name = 'training_set.jsonl'
validation_file_name = 'validation_set.jsonl'

# Upload the training and validation dataset files to Azure OpenAI with the SDK.

training_response = client.files.create(
    file=open(training_file_name, "rb"), purpose="fine-tune"
)
training_file_id = training_response.id

validation_response = client.files.create(
    file=open(validation_file_name, "rb"), purpose="fine-tune"
)
validation_file_id = validation_response.id

print("Training file ID:", training_file_id)
print("Validation file ID:", validation_file_id)

# Upload fine-tuning files

import openai
import os

openai.api_key = os.getenv("AZURE_OPENAI_API_KEY") 
openai.api_base =  os.getenv("AZURE_OPENAI_ENDPOINT")
openai.api_type = 'azure'
openai.api_version = '2024-02-01' # This API version or later is required to access fine-tuning for turbo/babbage-002/davinci-002

training_file_name = 'training_set.jsonl'
validation_file_name = 'validation_set.jsonl'

# Upload the training and validation dataset files to Azure OpenAI with the SDK.

training_response = openai.File.create(
    file=open(training_file_name, "rb"), purpose="fine-tune", user_provided_filename="training_set.jsonl"
)
training_file_id = training_response["id"]

validation_response = openai.File.create(
    file=open(validation_file_name, "rb"), purpose="fine-tune", user_provided_filename="validation_set.jsonl"
)
validation_file_id = validation_response["id"]

print("Training file ID:", training_file_id)
print("Validation file ID:", validation_file_id)

Dans cet exemple, nous transmettons également le paramètre de graine. La graine contrôle la reproductibilité du travail. La transmission de la même graine et des mêmes paramètres de travail doit produire les mêmes résultats, mais peut différer dans de rares cas. Si aucune graine n’est spécifiée, une graine sera générée pour vous.

response = client.fine_tuning.jobs.create(
    training_file=training_file_id,
    validation_file=validation_file_id,
    model="gpt-35-turbo-0613", # Enter base model name. Note that in Azure OpenAI the model name contains dashes and cannot contain dot/period characters. 
    seed = 105  # seed parameter controls reproducibility of the fine-tuning job. If no seed is specified one will be generated automatically.
)

job_id = response.id

# You can use the job ID to monitor the status of the fine-tuning job.
# The fine-tuning job will take some time to start and complete.

print("Job ID:", response.id)
print("Status:", response.id)
print(response.model_dump_json(indent=2))

response = openai.FineTuningJob.create(
    training_file=training_file_id,
    validation_file=validation_file_id,
    model="gpt-35-turbo-0613",
)

job_id = response["id"]

# You can use the job ID to monitor the status of the fine-tuning job.
# The fine-tuning job will take some time to start and complete.

print("Job ID:", response["id"])
print("Status:", response["status"])
print(response)

response = client.fine_tuning.jobs.retrieve(job_id)

print("Job ID:", response.id)
print("Status:", response.status)
print(response.model_dump_json(indent=2))

#Retrieve training job ID

response = openai.FineTuningJob.retrieve(job_id)

print("Job ID:", response["id"])
print("Status:", response["status"])
print(response)

Vous devrez peut-être mettre à niveau votre bibliothèque de client OpenAI vers la dernière version avec pip install openai --upgrade pour exécuter cette commande.

response = client.fine_tuning.jobs.list_events(fine_tuning_job_id=job_id, limit=10)
print(response.model_dump_json(indent=2))

Cette commande n’est pas disponible dans la bibliothèque Python OpenAI 0.28.1. Mettez à niveau vers la dernière version.

Vous devrez peut-être mettre à niveau votre bibliothèque de client OpenAI vers la dernière version avec pip install openai --upgrade pour exécuter cette commande.

response = client.fine_tuning.jobs.list_events(fine_tuning_job_id=job_id, limit=10)
print(response.model_dump_json(indent=2))

Cette commande n’est pas disponible dans la bibliothèque Python OpenAI 0.28.1. Mettez à niveau vers la dernière version.

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-02-01"
)

response = client.chat.completions.create(
    model="gpt-35-turbo-ft", # model = "Custom deployment name you chose for your fine-tuning model"
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Does Azure OpenAI support customer managed keys?"},
        {"role": "assistant", "content": "Yes, customer managed keys are supported by Azure OpenAI."},
        {"role": "user", "content": "Do other Azure AI services support this too?"}
    ]
)

print(response.choices[0].message.content)

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-02-01"
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

response = openai.ChatCompletion.create(
    engine="gpt-35-turbo-ft", # engine = "Custom deployment name you chose for your fine-tuning model"
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Does Azure OpenAI support customer managed keys?"},
        {"role": "assistant", "content": "Yes, customer managed keys are supported by Azure OpenAI."},
        {"role": "user", "content": "Do other Azure AI services support this too?"}
    ]
)

print(response)
print(response['choices'][0]['message']['content'])

# Retrieve the file ID of the first result file from the fine-tuning job
# for the customized model.
response = client.fine_tuning.jobs.retrieve(job_id)
if response.status == 'succeeded':
    result_file_id = response.result_files[0]

retrieve = client.files.retrieve(result_file_id)

# Download the result file.
print(f'Downloading result file: {result_file_id}')

with open(retrieve.filename, "wb") as file:
    result = client.files.content(result_file_id).read()
    file.write(result)

# Retrieve the file ID of the first result file from the fine-tune job
# for the customized model.
response = openai.FineTuningJob.retrieve(job_id)
if response["status"] == 'succeeded':
    result_file_id = response.result_files[0].id
    result_file_name = response.result_files[0].filename

# Download the result file.
print(f'Downloading result file: {result_file_id}')
# Write the byte array returned by the File.download() method to 
# a local file in the working directory.
with open(result_file_name, "wb") as file:
    result = openai.File.download(id=result_file_id)
    file.write(result)

Les données d’entraînement et de validation que vous utilisez doivent être mises en forme en tant que document JSON Lines (JSONL). Pour gpt-35-turbo-0613 et les autres modèles liés, le jeu de données de fine-tuning doit être mis en forme dans le format conversationnel utilisé par l’API des achèvements de conversation.

Si vous souhaitez une procédure pas à pas de l’ajustement d’un gpt-35-turbo-0613, reportez-vous au Tutoriel : Ajustement Azure OpenAI.

Exemple de format de fichier

{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Can I play PC games on my Xbox?"}, {"role": "assistant", "content": "While Xbox consoles don't natively support PC games, they can play an array of Xbox games, many of which are also available on PC. Can I assist you with finding games compatible with your Xbox device?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "I'm having trouble connecting my Xbox to the Wi-Fi."}, {"role": "assistant", "content": "No worries, let's go through the network settings on your Xbox. Can you please tell me what happens when you try to connect it to the Wi-Fi?"}]}

Format de fichier d’invite multitour

Plusieurs tours d’une invite dans une seule ligne de votre fichier de formation jsonl sont également pris en charge. Pour ignorer le fine-tuning sur des messages d’assistant spécifiques, ajoutez la paire clé/valeur facultative weight. Actuellement, weight peut être défini sur 0 ou 1.

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

Saisies semi-automatiques de conversation avec vision

{"messages": [{"role": "user", "content": [{"type": "text", "text": "What's in this image?"}, {"type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/MicrosoftDocs/azure-ai-docs/main/articles/ai-services/openai/media/how-to/generated-seattle.png"}}]}, {"role": "assistant", "content": "The image appears to be a watercolor painting of a city skyline, featuring tall buildings and a recognizable structure often associated with Seattle, like the Space Needle. The artwork uses soft colors and brushstrokes to create a somewhat abstract and artistic representation of the cityscape."}]}

Outre le format JSONL, les fichiers de données d’apprentissage et de validation doivent être encodés en UTF-8 et inclure une marque d’ordre d’octet (BOM). La taille du fichier doit être inférieure à 512 Mo.

Créer vos jeux de données d’apprentissage et de validation

Plus vous avez d’exemples de formation, mieux c’est. Les travaux de fine-tuning ne seront pas effectués sans au moins 10 exemples d’apprentissage, mais un si petit nombre ne suffit pas pour influencer de façon notable les réponses du modèle. Il est recommandé de fournir des centaines, voire des milliers d’exemples d’apprentissage pour obtenir de bons résultats.

En général, le doublement de la taille du jeu de données peut entraîner une augmentation linéaire de la qualité du modèle. Mais gardez à l’esprit que les exemples de faible qualité peuvent avoir un impact négatif sur les performances. Si vous effectuez l’apprentissage du modèle sur une grande quantité de données internes, sans nettoyer au préalable le jeu de données pour ne conserver que les exemples de la plus haute qualité, vous risquez d’obtenir un modèle dont les performances sont bien inférieures à celles attendues.

Les données d’entraînement et de validation que vous utilisez doivent être mises en forme en tant que document JSON Lines (JSONL) dans lequel chaque ligne représente une paire de saisie semi-automatique unique. L’interface de ligne de commande OpenAI inclut un outil de préparation des données qui valide, fournit des suggestions et réforme vos données d’entraînement dans un fichier JSONL prêt pour l’ajustement.

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

Outre le format JSONL, les fichiers de données d’apprentissage et de validation doivent être encodés en UTF-8 et inclure une marque d’ordre d’octet (BOM). La taille du fichier doit être inférieure à 512 Mo.

Créer vos jeux de données d’apprentissage et de validation

Concevoir vos invites et achèvements à des fins d’ajustement est différent de concevoir vos invites à pour une utilisation avec n’importe lequel denos modèles de base GPT-3. Les invites pour les appels d’achèvement utilisent souvent des instructions détaillées ou des techniques d’apprentissage few-shot, et se composent de plusieurs exemples. Pour un ajustement, chaque exemple d’apprentissage doit se composer d’une seule invite d’entrée et de sa sortie d’achèvement souhaitée. Vous n’avez pas besoin de fournir des instructions détaillées ou de nombreux exemples d’achèvement dans la même invite.

Plus vous avez d’exemples de formation, mieux c’est. Les travaux de fine-tuning ne seront pas effectués sans au moins 10 exemples d’apprentissage, mais un si petit nombre ne suffit pas pour influencer de façon notable les réponses du modèle. Il est recommandé de fournir des centaines, voire des milliers d’exemples d’apprentissage pour obtenir de bons résultats.

En général, le doublement de la taille du jeu de données peut entraîner une augmentation linéaire de la qualité du modèle. Mais gardez à l’esprit que les exemples de faible qualité peuvent avoir un impact négatif sur les performances. Si vous effectuez l’apprentissage du modèle sur une grande quantité de données internes, sans nettoyer au préalable le jeu de données pour ne conserver que les exemples de la plus haute qualité, vous risquez d’obtenir un modèle dont les performances sont bien inférieures à celles attendues.

Outil de préparation des données OpenAI CLI

L’outil de préparation des données CLI d’OpenAI a été développé pour la génération précédente de modèles de réglage précis pour faciliter la plupart des étapes de préparation des données. Cet outil fonctionne uniquement pour la préparation des données pour les modèles qui fonctionnent avec l’API d’achèvement comme babbage-002 et davinci-002. L’outil valide, fournit des suggestions et remet en forme vos données dans un fichier JSONL prêt pour le réglage précis.

Pour installer l’interface OpenAI CLI, exécutez la commande Python suivante :

pip install openai==0.28.1

Pour analyser vos données d’apprentissage avec l’outil de préparation des données, exécutez la commande Python suivante. Remplacez l’argument <LOCAL_FILE> par le chemin complet et le nom de fichier du fichier de données d’apprentissage à analyser :

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

Cet outil accepte les fichiers dans les formats de données suivants, s’ils contiennent une invite et une colonne/clé d’achèvement :

• Valeurs séparées par des virgules (CSV)
• Valeurs séparées par des tabulations (TSV)
• Classeur Microsoft Excel (XLSX)
• JSON (JavaScript Object Notation)
• Lignes JSON (JSONL)

Après vous avoir guidé à travers le processus d’implémentation des modifications suggérées, l’outil remet en forme vos données d’apprentissage et enregistre la sortie dans un fichier JSONL prêt pour un ajustement.