Der Skill „Text teilen“

Der Skill Text teilen unterteilt den Text in Blöcke. Sie können festlegen, ob Sie den Text in Sätze oder in Seiten einer bestimmten Länge aufteilen möchten. Diese Fähigkeit ist nützlich, wenn in anderen Fähigkeiten nachgelagerte Textlängenanforderungen bestehen, z. B. Einbettungsfertigkeiten, die Datenblöcke an das Einbetten von Modellen in Azure OpenAI und andere Modellanbieter übergeben. Weitere Informationen zu diesem Szenario finden Sie unter "Blockdokumente für die Vektorsuche".

Mehrere Parameter sind versionsspezifisch. In der Tabelle mit den Fähigkeitenparametern wird die API-Version aufgeführt, in der ein Parameter eingeführt wurde, damit Sie wissen, ob ein Versionsupgrade erforderlich ist. Um versionsspezifische Features wie Tokenabschnitte in 2024-09-01-preview zu verwenden, können Sie die Azure-Portal oder eine REST-API-Version verwenden oder ein Azure SDK-Änderungsprotokoll überprüfen, um festzustellen, ob es das Feature unterstützt.

Die Azure-Portal unterstützt die meisten Vorschaufeatures und kann zum Erstellen oder Aktualisieren eines Skillsets verwendet werden. Bearbeiten Sie die JSON-Definition des Skillset für die Textteilung, um neue Vorschauparameter hinzuzufügen.

@odata.type

Microsoft.Skills.Text.SplitSkill

Skillparameter

Bei den Parametern wird zwischen Groß- und Kleinschreibung unterschieden.

Skilleingaben

Skillausgaben

Beispieldefinition

{
    "name": "SplitSkill", 
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill", 
    "description": "A skill that splits text into chunks", 
    "context": "/document", 
    "defaultLanguageCode": "en", 
    "textSplitMode": "pages", 
    "unit": "azureOpenAITokens", 
    "azureOpenAITokenizerParameters":{ 
        "encoderModelName":"cl100k_base", 
        "allowedSpecialTokens": [ 
            "[START]", 
            "[END]" 
        ] 
    },
    "maximumPageLength": 512,
    "inputs": [
        {
            "name": "text",
            "source": "/document/text"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "pages"
        }
    ]
}

Beispieleingabe

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several pages...",
                "languageCode": "en"
            }
        }
    ]
}

Beispielausgabe

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "textItems": [
                    "This is the loan...",
                    "In the next section, we continue..."
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "textItems": [
                    "This is the second document...",
                    "In the next section of the second doc..."
                ]
            }
        }
    ]
}

Beispiel für Chunking und Vektorisierung

Dieses Beispiel dient der integrierten Vektorisierung.

• pageOverlapLength: Überlappender Text ist in Daten-Chunking-Szenarien nützlich, da er die Kontinuität zwischen den aus demselben Dokument generierten Chunks bewahrt.

• maximumPagesToTake: Begrenzungen der Seitenaufnahme sind in Vektorisierungsszenarien nützlich, da sie Ihnen helfen, unter den maximalen Eingabegrenzen der Einbettungsmodelle zu bleiben, die die Vektorisierung liefern.

Beispieldefinition

Diese Definition fügt pageOverlapLength von 100 Zeichen und maximumPagesToTake von einem hinzu.

Wenn es maximumPageLength sich um 5.000 Zeichen (Standardeinstellung) handelt, werden dann "maximumPagesToTake": 1 die ersten 5.000 Zeichen jedes Quelldokuments verarbeitet.

In diesem Beispiel wird auf "myPagesThroughtargetName" festgelegttextItems. Da targetName festgelegt ist, ist der Wert, myPages den Sie zum Auswählen der Ausgabe aus der Textteilungsfertigkeit verwenden sollten. Verwendung /document/mypages/* in nachgelagerten Fähigkeiten, Indexerausgabefeldzuordnungen, Wissensspeicherprojektionen und Indexprojektionen.

{
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill",
    "textSplitMode" : "pages", 
    "maximumPageLength": 1000,
    "pageOverlapLength": 100,
    "maximumPagesToTake": 1,
    "defaultLanguageCode": "en",
    "inputs": [
        {
            "name": "text",
            "source": "/document/content"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "mypages"
        }
    ]
}

Beispieleingabe (wie im vorherigen Beispiel)

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several sections...",
                "languageCode": "en"
            }
        }
    ]
}

Beispielhafte Ausgabe (beachten Sie die Überlappung)

Innerhalb jedes „textItems“-Arrays wird der Text am Ende des ersten Eintrags an den Anfang des zweiten Eintrags kopiert.

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "textItems": [
                    "This is the loan...Here is the overlap part",
                    "Here is the overlap part...In the next section, we continue..."
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "textItems": [
                    "This is the second document...Here is the overlap part...",
                    "Here is the overlap part...In the next section of the second doc..."
                ]
            }
        }
    ]
}

Auftretende Fehler

Wenn eine Sprache nicht unterstützt wird, wird eine Warnung ausgegeben.

Siehe auch

• Integrierte Qualifikationen
• Definieren eines Skillsets