Schnellstart: Vektorisieren von Text und Bildern mithilfe des Azure-Portals

Dieser Schnellstart hilft Ihnen bei den ersten Schritten mit der integrierten Vektorisierung mithilfe des Assistenten zum Importieren und Vektorisieren von Daten im Azure-Portal. Dieser Assistent teilt Ihren Inhalt auf und ruft ein Einbettungsmodell auf, um Inhalte während der Indizierung und für Abfragen zu vektorisieren.

Voraussetzungen

• Ein Azure-Abonnement. Erstellen Sie ein kostenloses Konto.

• Ein Dienst Azure KI-Suche in derselben Region wie Azure KI. Wir empfehlen den Tarif „Basic“ oder höher.

• Eine unterstützte Datenquelle mit PDF-Beispieldokumenten für den Integritätsplan

• Ein unterstütztes Einbettungsmodell.

• Vertrautheit mit dem Assistenten. Weitere Informationen finden Sie unter Importieren von Daten-Assistenten im Azure-Portal.

Unterstützte Datenquellen

Der Assistent zum Importieren und Vektorisieren von Daten unterstützt eine Vielzahl von Azure-Datenquellen. Diese Schnellstartanleitung bietet jedoch nur Schritte für die Datenquellen, die mit ganzen Dateien arbeiten:

• Azure Blob Storage für Blobs und Tabellen. Azure Storage muss ein Konto mit Standardleistung (universell v2) sein. Sie können die heiße oder kalte Zugriffsebene oder eine Zugriffsebene vom Typ „Cold“ verwenden.

• Azure Data Lake Storage (ADLS) Gen2 (ein Azure Storage-Konto mit einem aktivierten hierarchischen Namespace). Sie können bestätigen, dass Sie über Data Lake Storage verfügen, indem Sie die Registerkarte Eigenschaften auf der Seite Übersicht überprüfen.

  

• OneLake Lakehouse (Vorschau).

Unterstützte Einbettungsmodelle

Verwenden Sie ein Einbettungsmodell auf einer Azure KI-Plattform in der gleichen Region wie Azure KI-Suche. Eine Bereitstellungsanleitung finden Sie in diesem Artikel.

Wenn Sie den Azure OpenAI-Dienst verwenden, muss der Endpunkt über eine zugeordnete benutzerdefinierte Unterdomäne verfügen. Eine benutzerdefinierte Unterdomäne ist ein Endpunkt, der einen eindeutigen Namen enthält (z. B. https://hereismyuniquename.cognitiveservices.azure.com). Wenn der Dienst über das Azure-Portal erstellt wurde, wird diese Unterdomäne automatisch im Rahmen Ihres Dienstsetups generiert. Stellen Sie sicher, dass Ihr Dienst eine benutzerdefinierte Unterdomäne enthält, bevor Sie ihn mit der Integration der Azure KI-Suche verwenden.

In KI Foundry erstellte Azure OpenAI Service-Ressourcen (mit Zugriff auf Einbettungsmodelle) werden nicht unterstützt. Nur die im Azure-Portal erstellten Azure OpenAI Service-Ressourcen sind mit der Skillintegration Azure OpenAI-Einbettung kompatibel.

Anforderungen an öffentliche Endpunkte

Für diesen Schnellstart muss für alle vorherigen Ressourcen der öffentliche Zugriff aktiviert sein, damit die Azure-Portal-Knoten darauf zugreifen können. Andernfalls tritt im Assistenten ein Fehler auf. Sobald der Assistent ausgeführt wird, können Sie Firewalls und private Endpunkte für die Integrationskomponenten für die Sicherheit aktivieren. Weitere Informationen finden Sie unter Sichere Verbindungen in den Import-Assistenten.

Wenn private Endpunkte bereits vorhanden sind und Sie diese nicht deaktivieren können, besteht die alternative Option darin, den entsprechenden End-to-End-Flow von einem Skript oder Programm auf einer VM auszuführen. Die VM muss sich im selben virtuellen Netzwerk wie der private Endpunkt befinden. Hier ist ein Python-Codebeispiel für die integrierte Vektorisierung. Im gleichen GitHub-Repository gibt es Beispiele in anderen Programmiersprachen.

Berechtigungen

Sie können Schlüsselauthentifizierung und Vollzugriffsverbindungszeichenfolgen oder Microsoft Entra ID mit Rollenzuweisungen verwenden. Wir empfehlen Rollenzuweisungen für Suchdienstverbindungen mit anderen Ressourcen.

1. Aktivieren Sie Rollen in Azure KI-Suche.

2. Konfigurieren Sie Ihren Suchdienst für die Verwendung einer verwalteten Identität.

3. Erstellen Sie auf Ihrer Datenquellenplattform und beim Anbieter des Einbettungsmodells Rollenzuweisungen, mit denen der Suchdienst auf Daten und Modelle zugreifen kann. Der Abschnitt Aufbereiten von Beispieldaten bietet Anweisungen zum Einrichten von Rollen für jede unterstützte Datenquelle.

Ein kostenloser Suchdienst unterstützt rollenbasierte Verbindungen zu Azure KI-Suche, jedoch keine verwalteten Identitäten bei ausgehenden Verbindungen zu Azure Storage oder Azure KI Vision. Diese Ebene des Supports bedeutet, dass Sie die schlüsselbasierte Authentifizierung für Verbindungen zwischen einem kostenlosen Suchdienst und anderen Azure-Diensten verwenden müssen.

Für sicherere Verbindungen:

• Verwenden Sie den Tarif „Basic“ oder höher.
• Konfigurieren Sie eine verwaltete Identität, und verwenden Sie Rollen für den autorisierten Zugriff.

Überprüfen des Speicherplatzes

Wenn Sie mit dem kostenlosen Dienst beginnen, können Sie maximal drei Indizes, Datenquellen, Skillsets und Indexer verwenden. Beim Basic-Tarif ist die Einschränkung auf 15 festgelegt. Stellen Sie sicher, dass Sie über ausreichend Platz für zusätzliche Elemente verfügen, bevor Sie beginnen. In diesem Schnellstart wird jeweils eines dieser Objekte erstellt.

Vorbereiten der Beispieldaten

Dieser Abschnitt verweist auf den Inhalt, der für diese Schnellstartanleitung funktioniert.

Einrichten von Einbettungsmodellen

Der Assistent kann Einbettungsmodelle verwenden, die aus Azure OpenAI, Azure KI Vision oder aus dem Modellkatalog im Azure KI Foundry-Portal bereitgestellt werden.

Starten des Assistenten

1. Melden Sie sich mit Ihrem Azure-Konto beim Azure Portal an und wechseln Sie zu Ihrem Azure AI Search-Dienst.

2. Wählen Sie auf der Seite Übersicht die Option Importieren und Vektorisieren von Daten aus.

   

Herstellen einer Verbindung mit Ihren Daten

Der nächste Schritt besteht darin, eine Verbindung mit einer Datenquelle herzustellen, die für den Suchindex verwendet werden soll.

Vektorisieren Ihres Texts

Geben Sie in diesem Schritt das Einbettungsmodell für die Vektorisierung der in Blöcke aufgeteilten Daten an.

Eine Segmentierung ist integriert und kann nicht konfiguriert werden. Die effektiven Einstellungen sind:

"textSplitMode": "pages",
"maximumPageLength": 2000,
"pageOverlapLength": 500,
"maximumPagesToTake": 0, #unlimited
"unit": "characters"

1. Wählen Sie auf der Seite Ihren Text vektorisieren die Quelle des Einbettungsmodells aus:

   • Azure OpenAI
   • Modellkatalog von Azure KI Foundry
   • Eine vorhandene multimodale Azure KI Vision-Ressource in derselben Region wie Azure KI-Suche. Sollte kein Azure KI Services-Konto mit mehreren Diensten in derselben Region vorhanden sein, ist diese Option nicht verfügbar.

2. Wählen Sie das Azure-Abonnement.

3. Treffen Sie die Auswahlen entsprechend der Ressource:

   • Wählen Sie für Azure OpenAI eine vorhandene Bereitstellung von text-embedding-ada-002, text-embedding-3-large oder text-embedding-3-small aus.

   • Wählen Sie für den KI Foundry-Katalog eine vorhandene Bereitstellung eines Azure- oder Cohere-Einbettungsmodells aus.

   • Wählen Sie für multimodale KI Vision-Einbettungen das Konto aus.

   Weitere Informationen finden Sie weiter oben in diesem Artikel unter Einrichten von Einbettungsmodellen.

4. Geben Sie an, ob sich Ihr Suchdienst mithilfe eines API-Schlüssels oder einer verwalteten Identität authentifizieren soll.

   • Die Identität sollte für das Azure KI-Konto mit mehreren Diensten über die Rolle Cognitive Services OpenAI-Benutzer verfügen.

5. Aktivieren Sie das Kontrollkästchen, das die Auswirkungen der Nutzung dieser Ressourcen auf die Abrechnung bestätigt.

   

6. Wählen Sie Weiter aus.

Vektorisieren und Anreichern Ihrer Bilder

Die PDFs für den Integritätsplan enthalten ein Unternehmenslogo, aber darüber hinaus keine weiteren Bilder. Sie können diesen Schritt überspringen, wenn Sie die Beispieldokumente verwenden.

Wenn Sie jedoch mit Inhalten arbeiten, die hilfreiche Bilder enthalten, können Sie KI auf zwei Arten anwenden:

• Verwenden Sie ein unterstütztes Bildeinbettungsmodell aus dem Katalog, oder wählen Sie die Azure KI Vision-API für multimodale Einbettungen aus, um Bilder zu vektorisieren.

• Verwenden Sie die optische Zeichenerkennung (Optical Character Recognition, OCR), um Text in Bildern zu erkennen. Diese Option ruft den Skill OCR zum Lesen von Text aus Bildern auf.

Azure KI-Suche und Ihre Azure KI-Ressource müssen sich in derselben Region befinden oder für schlüssellose Abrechnungsverbindungen konfiguriert sein.

1. Geben Sie auf der Seite Vektorisieren Ihrer Bilder die Art der Verbindung an, die der Assistent erstellen soll. Für die Bildvektorisierung kann der Assistent eine Verbindung mit Einbettungsmodellen im Azure KI Foundry-Portal oder in Azure KI Vision herstellen.

2. Geben Sie das Abonnement an.

3. Geben Sie für den Azure KI Foundry-Modellkatalog das Projekt und die Bereitstellung an. Weitere Informationen finden Sie weiter oben in diesem Artikel unter Einrichten von Einbettungsmodellen.

4. Optional können Sie binäre Bilder (z. B. gescannte Dokumentdateien) knacken und OCR verwenden, um Text zu erkennen.

5. Aktivieren Sie das Kontrollkästchen, das die Auswirkungen der Nutzung dieser Ressourcen auf die Abrechnung bestätigt.

   

6. Wählen Sie Weiter aus.

Hinzufügen der Zuweisung einer semantischen Rangfolge

Auf der Seite Erweiterte Einstellungen können Sie optional eine semantische Rangfolge hinzufügen, um die Ergebnisse am Ende der Abfrageausführung erneut zu rangieren. Die erneute Rangierung verschiebt die semantisch relevantesten Übereinstimmungen nach oben.

Zuordnen neuer Felder

Wichtige Informationen zu diesem Schritt:

• Das Indexschema bietet Vektor- und Nichtvektorfelder für aufgeteilte Daten.
• Sie können Felder hinzufügen, aber keine generierten Felder löschen oder ändern.
• Der Modus „Dokumentanalyse“ erstellt Blöcke (ein Suchdokument pro Block).

Auf der Seite Erweiterte Einstellungen können Sie optional neue Felder hinzufügen, sofern die Datenquelle Metadaten oder Felder bereitstellt, die beim ersten Durchlauf nicht erfasst wurden. Standardmäßig generiert der Assistent die folgenden Felder mit diesen Attributen:

Sie können die generierten Felder oder deren Attribute nicht ändern, aber Sie können neue Felder hinzufügen, wenn ihre Datenquelle sie bereitstellt. Beispielsweise stellt Azure Blob Storage eine Sammlung von Metadatenfeldern bereit.

1. Wählen Sie Neue hinzufügen aus.

2. Wählen Sie ein Quellfeld aus der Liste der verfügbaren Felder aus, geben Sie einen Feldnamen für den Index ein, und übernehmen Sie den Standarddatentyp, oder überschreiben Sie Ihn nach Bedarf.

   Metadatenfelder sind durchsuchbar und abrufbar, aber nicht filterbar, facettierbar oder sortierbar.

3. Wählen Sie Zurücksetzen aus, wenn Sie das Schema auf die ursprüngliche Version wiederherstellen möchten.

Planen der Indizierung

Auf der Seite Erweiterte Einstellungen können Sie optional einen Ausführungszeitplan für den Indexer angeben.

1. Wählen Sie Weiter aus, wenn Sie mit der Seite Erweiterte Einstellungen fertig sind.

Beenden Sie den Assistenten.

1. Geben Sie auf der Seite Überprüfen Ihrer Konfiguration ein Präfix für die Objekte an, die der Assistent erstellt. Ein allgemeines Präfix hilft Ihnen, den Überblick zu behalten.

2. Klicken Sie auf Erstellen.

Wenn der Assistent die Konfiguration abschließt, erstellt er die folgenden Objekte:

• Datenquellenverbindung

• Index mit Vektorfeldern, Vektorisierern, Vektorprofilen, Vektoralgorithmen. Sie können den Standardindex während des Assistentenworkflows nicht entwerfen oder ändern. Indizes entsprechen der REST-API „2024-05-01-preview“.

• Skillset mit dem Skill „Textaufteilung“ für die Blockerstellung und dem Skill „Einbettung“ für die Vektorisierung. Der Skill „Einbettung“ ist entweder der AzureOpenAIEmbeddingModel-Skill für Azure OpenAI oder der AML-Skill für den Azure KI Foundry-Modellkatalog. Das Skillset verfügt außerdem über die Indexprojektionen-Konfiguration, mit der Daten aus einem Dokument in der Datenquelle den entsprechenden Blöcken in einem untergeordneten Index zugeordnet werden können.

• Indexer mit Feldzuordnungen und Ausgabefeldzuordnungen (falls zutreffend).

Überprüfen der Ergebnisse

Der Suchexplorer akzeptiert Textzeichenfolgen als Eingabe und vektorisiert dann den Text für die Ausführung von Vektorabfragen.

1. Wechseln Sie im Azure-Portal zu Suchverwaltung>Indizes, und wählen Sie dann den von Ihnen erstellten Index aus.

2. Wählen Sie Abfrageoptionen aus, und blenden Sie Vektorwerte in den Suchergebnissen aus. Durch diesen Schritt werden die Suchergebnisse übersichtlicher.

   

3. Wählen Sie im Menü Ansicht die JSON-Ansicht aus, damit Sie Text für Ihre Vektorabfrage im Vektorabfrageparameter text eingeben können.

   

   Die Standardabfrage ist eine leere Suche ("*"), die jedoch Parameter für das Zurückgeben der Anzahl von Übereinstimmungen enthält. Es handelt sich um eine Hybridabfrage, die Text- und Vektorabfragen parallel ausführt. Sie umfasst eine semantische Sortierung. Es gibt an, welche Felder in den Ergebnissen der select-Anweisung zurückgegeben werden sollen.

    {
      "search": "*",
      "count": true,
      "vectorQueries": [
        {
          "kind": "text",
          "text": "*",
          "fields": "text_vector,image_vector"
        }
      ],
      "queryType": "semantic",
      "semanticConfiguration": "my-demo-semantic-configuration",
      "captions": "extractive",
      "answers": "extractive|count-3",
      "queryLanguage": "en-us",
      "select": "chunk_id,text_parent_id,chunk,title,image_parent_id"
    }
   

4. Ersetzen Sie beide Sternchenplatzhalter (*) durch eine Frage im Zusammenhang mit Integritätsplänen, z. B. Which plan has the lowest deductible?.

    {
      "search": "Which plan has the lowest deductible?",
      "count": true,
      "vectorQueries": [
        {
          "kind": "text",
          "text": "Which plan has the lowest deductible?",
          "fields": "text_vector,image_vector"
        }
      ],
      "queryType": "semantic",
      "semanticConfiguration": "my-demo-semantic-configuration",
      "captions": "extractive",
      "answers": "extractive|count-3",
      "queryLanguage": "en-us",
      "select": "chunk_id,text_parent_id,chunk,title"
    }
   

5. Wählen Sie Suchen aus, um die Abfrage auszuführen.

   

   Jedes Dokument ist ein Block der ursprünglichen PDF-Datei. Das Feld title zeigt an, aus welcher PDF-Datei der Block stammt. Jeder chunk ist relativ lang. Sie können einen kopieren und in einen Text-Editor einfügen, um den gesamten Wert zu lesen.

6. Um alle Blöcke aus einem bestimmten Dokument anzuzeigen, fügen Sie einen Filter für das Feld title_parent_id für eine bestimmte PDF-Datei hinzu. Auf der Registerkarte Felder Ihres Index können Sie überprüfen, ob dieses Feld gefiltert werden kann.

   {
      "select": "chunk_id,text_parent_id,chunk,title",
      "filter": "text_parent_id eq 'aHR0cHM6Ly9oZWlkaXN0c3RvcmFnZWRlbW9lYXN0dXMuYmxvYi5jb3JlLndpbmRvd3MubmV0L2hlYWx0aC1wbGFuLXBkZnMvTm9ydGh3aW5kX1N0YW5kYXJkX0JlbmVmaXRzX0RldGFpbHMucGRm0'",
      "count": true,
      "vectorQueries": [
          {
             "kind": "text",
             "text": "*",
             "k": 5,
             "fields": "text_vector"
          }
       ]
   }
   

Bereinigung

Azure AI Search ist eine abrechenbare Ressource. Wenn Sie dies nicht mehr benötigen, löschen Sie es aus Ihrem Abonnement, um Gebühren zu vermeiden.

Nächster Schritt

In diesem Schnellstart haben Sie den Assistenten zum Importieren und Vektorisieren von Daten kennengelernt, der alle für die integrierte Vektorisierung erforderlichen Objekte erstellt. Wenn Sie jeden Schritt im Detail untersuchen möchten, probieren Sie eines der integrierten Vektorisierungsbeispiele aus.