統合ベクトル化に Azure AI Foundry モデルカタログからの埋め込みモデルを使用する

この AML スキル ペイロードは、Azure AI Foundry の以下の画像埋め込みモデルで動作します。

• Facebook-DinoV2-Image-Embeddings-ViT-Base
• Facebook-DinoV2-Image-Embeddings-ViT-Giant

画像は、組み込みの画像抽出を有効にして作成された /document/normalized_images/* パスから取得されることを前提としています。 画像が別のパスから取得された場合、または URL として保存されている場合は、/document/normalized_images/* パスへのすべての参照を更新します。

URI とキーは、カタログからモデルをデプロイするときに生成されます。 これらの値の詳細については、「Azure AI Foundry を使用して大規模言語モデルをデプロイする方法」を参照してください。

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/normalized_images/*",
  "uri": "https://myproject-1a1a-abcd.eastus.inference.ml.azure.com/score",
  "timeout": "PT1M",
  "key": "bbbbbbbb-1c1c-2d2d-3e3e-444444444444",
  "inputs": [
    {
      "name": "input_data",
      "sourceContext": "/document/normalized_images/*",
      "inputs": [
        {
          "name": "columns",
          "source": "=['image', 'text']"
        },
        {
          "name": "index",
          "source": "=[0]"
        },
        {
          "name": "data",
          "source": "=[[$(/document/normalized_images/*/data), '']]"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "image_features"
    }
  ]
}

この AML スキル ペイロードは、Azure AI Foundry の以下のテキスト埋め込みモデルで動作します。

• Cohere-embed-v3-english
• Cohere-embed-v3-multilingual

TextSplit スキルを使用してコンテンツをチャンクしていることを前提としているため、ベクトル化するテキストは /document/pages/* パス内にあります。 テキストが別のパスから取得されている場合は、それに応じて /document/pages/* パスへのすべての参照を更新します。

実際の Azure AI Foundry デプロイからコピーした URL の末尾に /v1/embed というパスを追加する必要があります。 また、ユース ケースに合わせて、input_type、truncate、embedding_types の入力の値を変更することもできます。 使用可能なオプションの詳細については、Cohere Embed API リファレンスを参照してください。

URI とキーは、カタログからモデルをデプロイするときに生成されます。 これらの値の詳細については、「Azure AI Foundry を使用して Cohere Embed モデルをデプロイする方法」を参照してください。

現時点では、この統合では画像 URI はサポートされていないことに注意してください。

{
  "@odata.type": "#Microsoft.Skills.Custom.AmlSkill",
  "context": "/document/pages/*",
  "uri": "https://cohere-embed-v3-multilingual-hin.eastus.models.ai.azure.com/v1/embed",
  "key": "aaaaaaaa-0b0b-1c1c-2d2d-333333333333",
  "inputs": [
    {
      "name": "texts",
      "source": "=[$(/document/pages/*)]"
    },
    {
      "name": "input_type",
      "source": "='search_document'"
    },
    {
      "name": "truncate",
      "source": "='NONE'"
    },
    {
      "name": "embedding_types",
      "source": "=['float']"
    }
  ],
  "outputs": [
    {
      "name": "embeddings",
      "targetName": "aml_vector_data"
    }
  ]
}

さらに、Cohere モデルの出力は、直接埋め込み配列ではなく、それを含む JSON オブジェクトです。 indexProjections または outputFieldMappings を介してインデックス定義にマッピングするときに、適切に選択する必要があります。 このマッピングを実装できるサンプル indexProjections ペイロードを次に示します。

スキル定義で別の embedding_types を選択した場合は、source パスの float を、代わりに選択した適切な種類に変更する必要があります。

"indexProjections": {
  "selectors": [
    {
      "targetIndexName": "<YOUR_TARGET_INDEX_NAME_HERE>",
      "parentKeyFieldName": "ParentKey", // Change this to the name of the field in your index definition where the parent key will be stored
      "sourceContext": "/document/pages/*",
      "mappings": [
        {
          "name": "aml_vector", // Change this to the name of the field in your index definition where the Cohere embedding will be stored
          "source": "/document/pages/*/aml_vector_data/float/0"
        }
      ]
    }
  ],
  "parameters": {}
}