텍스트 분할 인식 기술

분할 텍스트 기술은 텍스트를 텍스트의 청크로 나눕니다. 텍스트를 문장으로 나눌지 또는 특정 길이의 페이지로 나눌지 지정할 수 있습니다. 이 기술은 Azure OpenAI 및 기타 모델 공급자에 모델을 포함하기 위해 데이터 청크를 전달하는 기술 포함과 같은 다른 기술 다운스트림에 최대 텍스트 길이 요구 사항이 있는 경우에 유용합니다. 이 시나리오에 대한 자세한 내용은 벡터 검색을 위한 청크 문서를 참조하세요.

몇 가지 매개 변수는 버전별로 다릅니다. 기술 매개 변수 테이블은 버전 업그레이드가 필요한지 여부를 알 수 있도록 매개 변수가 도입된 API 버전을 기록합니다. 2024-09-01-preview에서 토큰 청크와 같은 버전별 기능을 사용하려면 Azure Portal을 사용하거나 REST API 버전을 대상으로 지정하거나 Azure SDK 변경 로그를 확인하여 기능을 지원하는지 확인할 수 있습니다.

Azure Portal은 대부분의 미리 보기 기능을 지원하며 기술 세트를 만들거나 업데이트하는 데 사용할 수 있습니다. 텍스트 분할 기술에 대한 업데이트의 경우 기술 세트 JSON 정의를 편집하여 새 미리 보기 매개 변수를 추가합니다.

@odata.type

Microsoft.Skills.Text.SplitSkill

기술 매개 변수

매개 변수는 대/소문자를 구분합니다.

기술 입력

기술 출력

샘플 정의

{
    "name": "SplitSkill", 
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill", 
    "description": "A skill that splits text into chunks", 
    "context": "/document", 
    "defaultLanguageCode": "en", 
    "textSplitMode": "pages", 
    "unit": "azureOpenAITokens", 
    "azureOpenAITokenizerParameters":{ 
        "encoderModelName":"cl100k_base", 
        "allowedSpecialTokens": [ 
            "[START]", 
            "[END]" 
        ] 
    },
    "maximumPageLength": 512,
    "inputs": [
        {
            "name": "text",
            "source": "/document/text"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "pages"
        }
    ]
}

샘플 입력

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several pages...",
                "languageCode": "en"
            }
        }
    ]
}

샘플 출력

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "textItems": [
                    "This is the loan...",
                    "In the next section, we continue..."
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "textItems": [
                    "This is the second document...",
                    "In the next section of the second doc..."
                ]
            }
        }
    ]
}

청크 및 벡터화 예제

이 예제는 통합 벡터화를 위한 것입니다.

• pageOverlapLength: 겹치는 텍스트는 동일한 문서에서 생성된 청크 간의 연속성을 유지하므로 데이터 청크 시나리오에서 유용합니다.

• maximumPagesToTake: 페이지 유입 제한은 벡터화를 제공하는 포함 모델의 최대 입력 한도를 유지하는 데 도움이 되므로 벡터화 시나리오에서 유용합니다.

샘플 정의

이 정의는 100자 및 maximumPagesToTake 1자를 추가합니다pageOverlapLength.

maximumPageLength 5,000자(기본값)라고 가정하면 "maximumPagesToTake": 1 각 원본 문서의 처음 5,000자를 처리합니다.

이 예제에서는 다음을 통해 myPages targetName설정합니다textItems. targetName 설정 myPages 되므로 텍스트 분할 기술에서 출력을 선택하는 데 사용해야 하는 값입니다. 다운스트림 기술, 인덱서 출력 필드 매핑, 지식 저장소 프로젝션 및 인덱스 프로젝션에 사용합니다/document/mypages/*.

{
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill",
    "textSplitMode" : "pages", 
    "maximumPageLength": 1000,
    "pageOverlapLength": 100,
    "maximumPagesToTake": 1,
    "defaultLanguageCode": "en",
    "inputs": [
        {
            "name": "text",
            "source": "/document/content"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "mypages"
        }
    ]
}

샘플 입력(이전 예제와 동일)

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several sections...",
                "languageCode": "en"
            }
        }
    ]
}

샘플 출력(겹침 확인)

각 "textItems" 배열 내에서 첫 번째 항목의 후행 텍스트가 두 번째 항목의 시작 부분에 복사됩니다.

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "textItems": [
                    "This is the loan...Here is the overlap part",
                    "Here is the overlap part...In the next section, we continue..."
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "textItems": [
                    "This is the second document...Here is the overlap part...",
                    "Here is the overlap part...In the next section of the second doc..."
                ]
            }
        }
    ]
}

오류 사례

언어가 지원되지 않으면 경고가 생성됩니다.

참고 항목

• 기본 제공 기술
• 기술 집합을 정의하는 방법