Utiliser des modèles de conversation compatibles avec vision

Les modèles de chat basés sur la vision sont de grands modèles multimodaux (LMM) développés par OpenAI qui peuvent analyser des images et fournir des réponses textuelles aux questions qui leur sont posées. Ils incorporent à la fois le traitement du langage naturel et la compréhension visuelle. Les modèles de vision actuels sont GPT-4 Turbo avec Vision, GPT-4o et GPT-4o-mini.

Les modèles compatibles avec la vision répondent à des questions générales sur les éléments présents dans les images que vous chargez.

Mise à niveau d’un modèle GPT-4 Turbo

La dernière version en disponibilité générale de GPT-4 Turbo est :

• gpt-4 Version : turbo-2024-04-09

Il s’agit du remplacement des modèles en préversion suivants :

• gpt-4 Version : 1106-Preview
• gpt-4 Version : 0125-Preview
• gpt-4 Version : vision-preview

Différences entre les modèles OpenAI et OpenAI GPT-4 Turbo GA

• La version d’OpenAI du dernier modèle 0409 Turbo prend en charge le mode JSON et l’appel de fonction pour toutes les requêtes d’inférence.
• La version d’Azure OpenAI du dernier turbo-2024-04-09 ne prend actuellement pas en charge l’utilisation du mode JSON et l’appel de fonction lors de l’exécution de requêtes d’inférence avec une entrée d’image (vision). Les requêtes d’entrée basées sur du texte (requêtes sans image_url et images incluses) prennent par contre en charge le mode JSON et l’appel de fonction.

Différences par rapport à gpt-4 vision-preview

• L’intégration des améliorations de Vision propres à Azure AI à GPT-4 Turbo avec Vision n’est pas prise en charge pour gpt-4 Version : turbo-2024-04-09. Cela inclut la reconnaissance optique de caractères (OCR), l’ancrage d’objets, les invites vidéo et la gestion améliorée de vos données avec des images.

Disponibilité managée approvisionnée de GPT-4 Turbo

• gpt-4 Version : turbo-2024-04-09 est disponible pour les déploiements standard et approvisionnés. Actuellement, la version approvisionnée de ce modèle ne prend pas en charge les requêtes d’inférence d’image/vision. Les déploiements approvisionnés de ce modèle acceptent uniquement les entrées de texte. Les déploiements de modèles standard acceptent les requêtes d’inférence de texte et d’image/vision.

Déploiement de la disponibilité générale de GPT-4 Turbo avec Vision

Pour déployer le modèle en disponibilité générale à partir du portail Azure AI Foundry, sélectionnez GPT-4, puis choisissez la version turbo-2024-04-09 dans le menu déroulant. Le quota par défaut pour le modèle gpt-4-turbo-2024-04-09 est le même que le quota actuel pour GPT-4-Turbo. Voir les limites de quota régionales.

Appeler les API de saisie semi-automatique de conversation

La commande suivante montre la manière la plus élémentaire d'utiliser le modèle GPT-4 Turbo avec Vision avec du code. Si c’est la première fois que vous utilisez ces modèles programmatiquement, nous vous recommandons de commencer par notre guide Démarrage rapide avec GPT-4 Turbo avec Vision.

{
    "messages": [ 
        {
            "role": "system", 
            "content": "You are a helpful assistant." 
        },
        {
            "role": "user", 
            "content": [
	            {
	                "type": "text",
	                "text": "Describe this picture:"
	            },
	            {
	                "type": "image_url",
	                "image_url": {
                        "url": "<image URL>"
                    }
                } 
           ] 
        }
    ],
    "max_tokens": 100, 
    "stream": false 
} 

import base64
from mimetypes import guess_type

# Function to encode a local image into data URL 
def local_image_to_data_url(image_path):
    # Guess the MIME type of the image based on the file extension
    mime_type, _ = guess_type(image_path)
    if mime_type is None:
        mime_type = 'application/octet-stream'  # Default MIME type if none is found

    # Read and encode the image file
    with open(image_path, "rb") as image_file:
        base64_encoded_data = base64.b64encode(image_file.read()).decode('utf-8')

    # Construct the data URL
    return f"data:{mime_type};base64,{base64_encoded_data}"

# Example usage
image_path = '<path_to_image>'
data_url = local_image_to_data_url(image_path)
print("Data URL:", data_url)

...
"type": "image_url",
"image_url": {
   "url": "data:image/jpeg;base64,<your_image_data>"
}
...

Sortie

La réponse de l’API doit ressembler à ce qui suit.

{
    "id": "chatcmpl-8VAVx58veW9RCm5K1ttmxU6Cm4XDX",
    "object": "chat.completion",
    "created": 1702439277,
    "model": "gpt-4",
    "prompt_filter_results": [
        {
            "prompt_index": 0,
            "content_filter_results": {
                "hate": {
                    "filtered": false,
                    "severity": "safe"
                },
                "self_harm": {
                    "filtered": false,
                    "severity": "safe"
                },
                "sexual": {
                    "filtered": false,
                    "severity": "safe"
                },
                "violence": {
                    "filtered": false,
                    "severity": "safe"
                }
            }
        }
    ],
    "choices": [
        {
            "finish_reason":"stop",
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "The picture shows an individual dressed in formal attire, which includes a black tuxedo with a black bow tie. There is an American flag on the left lapel of the individual's jacket. The background is predominantly blue with white text that reads \"THE KENNEDY PROFILE IN COURAGE AWARD\" and there are also visible elements of the flag of the United States placed behind the individual."
            },
            "content_filter_results": {
                "hate": {
                    "filtered": false,
                    "severity": "safe"
                },
                "self_harm": {
                    "filtered": false,
                    "severity": "safe"
                },
                "sexual": {
                    "filtered": false,
                    "severity": "safe"
                },
                "violence": {
                    "filtered": false,
                    "severity": "safe"
                }
            }
        }
    ],
    "usage": {
        "prompt_tokens": 1156,
        "completion_tokens": 80,
        "total_tokens": 1236
    }
}

Chaque réponse inclut un champ "finish_reason". Il contient les valeurs possibles suivantes :

• stop : l’API a retourné la sortie complète du modèle.
• length : sortie de modèle incomplète en raison du paramètre d’entrée max_tokens ou de la limite de jetons du modèle.
• content_filter : contenu omis en raison d’un indicateur de nos filtres de contenu.

Paramètres de détail dans le traitement d’images : Low, High, Auto

Le paramètre detail du modèle offre trois choix : low, high ou auto, pour ajuster la façon dont le modèle interprète et traite les images. Le paramètre par défaut est auto ; le modèle décide alors entre low ou high en fonction de la taille de l’entrée d’image.

• Paramètre low : le modèle n’active pas le mode « résolution élevée ». Au lieu de cela, il traite une version de résolution inférieure 512x512, ce qui entraîne des réponses plus rapides et une consommation de jeton réduite pour les scénarios où des détails précis ne sont pas essentiels.
• Paramètre high : le modèle active le mode « résolution élevée ». Ici, le modèle affiche initialement l’image à faible résolution, puis il génère des segments détaillés 512x512 à partir de l’image d’entrée. Chaque segment utilise deux fois le budget du jeton, ce qui permet une interprétation plus détaillée de l’image.

Pour plus d’informations sur l’impact des paramètres d’image sur les jetons utilisés et les tarifs, consultez Qu’est-ce qu’Azure OpenAI ? Jetons d’image

Sortie

Les réponses au chat que vous recevez du modèle devraient maintenant inclure des informations améliorées sur l'image, telles que les étiquettes d'objet et les cadres englobants, ainsi que les résultats de l'OCR. La réponse de l’API doit ressembler à ce qui suit.

{
    "id": "chatcmpl-8UyuhLfzwTj34zpevT3tWlVIgCpPg",
    "object": "chat.completion",
    "created": 1702394683,
    "model": "gpt-4",
    "choices":
    [
        {
            "finish_reason": {
                "type": "stop",
                "stop": "<|fim_suffix|>"
            },
            "index": 0,
            "message":
            {
                "role": "assistant",
                "content": "The image shows a close-up of an individual with dark hair and what appears to be a short haircut. The person has visible ears and a bit of their neckline. The background is a neutral light color, providing a contrast to the dark hair."
            }
        }
    ],
    "usage":
    {
        "prompt_tokens": 816,
        "completion_tokens": 49,
        "total_tokens": 865
    }
}

Chaque réponse inclut un champ "finish_reason". Il contient les valeurs possibles suivantes :

• stop : l’API a retourné la sortie complète du modèle.
• length : sortie de modèle incomplète en raison du paramètre d’entrée max_tokens ou de la limite de jetons du modèle.
• content_filter : contenu omis en raison d’un indicateur de nos filtres de contenu.

Étapes suivantes

• En savoir plus sur Azure OpenAI.
• Démarrage rapide des conversations avec vision
• Questions fréquentes sur GPT-4 Turbo avec Vision
• Référence API GPT-4 Turbo avec Vision