통합 벡터화를 위해 Azure AI Foundry 모델 카탈로그의 포함 모델 사용

이 AML 기술 페이로드는 Azure AI Foundry의 다음 이미지 포함 모델에서 작동합니다.

• Facebook-DinoV2-Image-Embeddings-ViT-Base
• Facebook-DinoV2-Image-Embeddings-ViT-Giant

이미지가 기본 제공 이미지 추출을 사용하도록 설정하여 만든 /document/normalized_images/* 경로에서 온 것으로 가정합니다. 이미지가 다른 경로에서 오거나 URL로 저장된 경우 /document/normalized_images/* 경로에 대한 모든 참조를 적절하게 업데이트합니다.

URI 및 키는 카탈로그에서 모델을 배포할 때 생성됩니다. 이러한 값에 대한 자세한 내용은 Azure AI Foundry를 사용하여 대규모 언어 모델을 배포하는 방법을 참조 하세요.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/normalized_images/*",
  "uri": "https://myproject-1a1a-abcd.eastus.inference.ml.azure.com/score",
  "timeout": "PT1M",
  "key": "bbbbbbbb-1c1c-2d2d-3e3e-444444444444",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/normalized_images/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[[$(/document/normalized_images/*/data), '']]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "image_features"
    }
  ]
}

이 AML 기술 페이로드는 Azure AI Foundry의 다음 텍스트 포함 모델에서 작동합니다.

• Cohere-embed-v3-english
• Cohere-embed-v3-multilingual

텍스트 분할 기술을 사용하여 콘텐츠를 청크하는 것으로 가정하므로 벡터화할 텍스트가 경로에 /document/pages/* 있다고 가정합니다. 텍스트가 다른 경로에서 오는 경우 /document/pages/* 경로에 대한 모든 참조를 적절하게 업데이트합니다.

Azure AI Foundry 배포에서 복사한 URL의 끝에 경로를 추가 /v1/embed 해야 합니다. 사용 사례에 맞게 input_type, truncate 및 embedding_types 입력 값을 변경할 수도 있습니다. 사용 가능한 옵션에 대한 자세한 내용은 Cohere Embed API 참조를 검토하세요.

URI 및 키는 카탈로그에서 모델을 배포할 때 생성됩니다. 이러한 값에 대한 자세한 내용은 Azure AI Foundry를 사용하여 Cohere Embed 모델을 배포하는 방법을 참조 하세요.

이미지 URI는 현재 이 통합에서 지원되지 않습니다.

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "https://cohere-embed-v3-multilingual-hin.eastus.models.ai.azure.com/v1/embed",
  "key": "aaaaaaaa-0b0b-1c1c-2d2d-333333333333",
  "inputs": [
    {
      "name": "texts",
      "source": "=[$(/document/pages/*)]"
    },
    {
      "name": "input_type",
      "source": "='search_document'"
    },
    {
      "name": "truncate",
      "source": "='NONE'"
    },
    {
      "name": "embedding_types",
      "source": "=['float']"
    }
  ],
  "outputs": [
    {
      "name": "embeddings",
      "targetName": "aml_vector_data"
    }
  ]
}

또한 Cohere 모델의 출력은 포함 배열이 아니라 이를 포함하는 JSON 개체입니다. indexProjections 또는 outputFieldMappings를 통해 인덱스 정의에 매핑할 때 적절하게 선택해야 합니다. 다음은 이 매핑을 구현할 수 있는 샘플 indexProjections 페이로드입니다.

기술 정의에서 다른 embedding_types를 선택한 경우 대신 source 경로의 float를 선택한 적절한 형식으로 변경해야 합니다.

"indexProjections": {
  "selectors": [
    {
      "targetIndexName": "<YOUR_TARGET_INDEX_NAME_HERE>",
      "parentKeyFieldName": "ParentKey", // Change this to the name of the field in your index definition where the parent key will be stored
      "sourceContext": "/document/pages/*",
      "mappings": [
        {
          "name": "aml_vector", // Change this to the name of the field in your index definition where the Cohere embedding will be stored
          "source": "/document/pages/*/aml_vector_data/float/0"
        }
      ]
    }
  ],
  "parameters": {}
}