共用方式為

使用文字摘要 （預覽）

  • 發行項

本文說明如何搭配 Azure AI 影片索引器使用文字摘要。 此範例使用 Azure OpenAI 模型部署。

注意

此功能僅適用於標準帳戶。 建立 標準帳戶。

必要條件

  • 檢閱材質摘要的概觀。

雲端

  • 連線至 Azure OpenAI 帳戶的 Azure AI 影片索引器帳戶。

  • 在所需的 Azure 訂用帳戶中授與 Azure OpenAI 的存取權。 目前只有應用程式會授予此服務的存取權。 您可以透過填寫表單來申請 Azure OpenAI 的存取權。

  • Azure OpenAI gpt-35-turbo 或 gpt-4 部署。 若要受益於以主要畫面格為基礎的摘要，您必須選取接受視覺輸入的 Azure Open AI 模型。 如需詳細資訊，請參閱： Azure OpenAI 服務模型。

  • 應將直接攻擊的提示盾牌（越獄）篩選器新增至部署。 如需詳細資訊， 請參閱：搭配 Azure OpenAI 服務使用內容篩選器（預覽）。

  • 建議您針對「暴力」、「仇恨」、「性」和「自我傷害」等類別設定有害內容篩選。 雖然這些篩選並非必要條件，但您應該將它們設定為「中」或「低」，以篩選出至少「中等」有害程度的內容。 此設定可確保已封鎖具有中等或更高等級之有害評等的內容。 為了提高安全性，您可以選擇更嚴格的設定。 設定之後，請儲存內容篩選設定。

  • 上傳至 Azure AI 影片索引器連結庫的影片。

注意

Azure AI 影片索引器無法連線到微調的模型。

Edge

Arc 所啟用的 Azure AI 影片索引器可讓您在邊緣裝置上使用 Azure AI 影片索引器。 以下是此使用案例的技術需求：

  • 視訊索引器 由版本號碼 1.1.23 或更高版本的 Arc 啟用。
  • 硬體需求：GPU 或 Intel CPU。 在CPU上執行可能非常慢，不建議這麼做。我們建議使用 Nvidia V100 或更高版本。 如果有多個 GPU 節點，您可以新增節點選取器來選取所需的節點。
  • 使用 主要畫面格 做為摘要的一部分需要 Nvidia A100 或更高版本。
  • Edge 上的文字影片摘要只會使用 Phi3.5 模型。 如需更多硬體資訊，請參閱 Phi 3.5 官方版本資訊。

在瀏覽器中開啟網頁

如果您已開啟所需的網頁，請更輕鬆地遵循這些指示。 將下列參數複製並貼到您慣用的文字編輯器中。 以下是一份協助您開始的清單：

  • VI 帳戶識別碼：
  • 視訊檔案識別碼：
  • 部署名稱：
  • 存取權杖：
  1. 在一個索引標籤或視窗中開啟 Azure 入口網站，然後登入。
    1. 流覽至帳戶標識碼的 Azure AI 影片索引器帳戶頁面。
    2. 流覽至 Azure OpenAI 帳戶頁面
      1. 從功能表中，選取 [模型部署]，然後選取 [管理部署]。 Azure OpenAI Studio 隨即開啟。 複製您想要使用的部署名稱。
  2. 在另 一個索引標籤或視窗中開啟 Azure AI 影片索引器入口網站 並登入。
    1. 流覽至文檔庫頁面，選擇影片，然後在影片檔案標識符上按下滑鼠右鍵。
  3. 在另 一個索引標籤或視窗中開啟 Azure AI 影片索引器 API 並登入。

產生包含或不含主要畫面格的文字摘要

您可以使用 Azure AI 影片索引器入口網站來摘要文字。

  1. 如果您尚未開啟入口網站，請開啟 Azure AI 影片索引器入口網站。
  2. 上傳檔案並等候檔案編製索引。
  3. 選取影片以流覽至媒體頁面。
  4. 如果您想要使用主要畫面格來產生摘要，請選取 [包含視覺主要畫面格深入解析] 以取得更好的品質摘要複選框。
  5. 選取 [ 產生摘要]。 會產生文字摘要。

注意

如果您沒有看到 [產生摘要] 按鈕，您可能會使用試用帳戶。 建立 標準帳戶 以使用這項功能。

摘要自定義

產生摘要之後，您可以藉由自定義摘要樣式或變更模型部署來調整摘要。

自訂摘要樣式

您也可以選取 [自定義摘要] 圖示來 自定義摘要 。 您可以選擇 [簡短]、[中] 或 [長摘要長度]，然後選擇 [中性]、[休閒] 或 [正式] 做為摘要樣式。 一旦您做出選擇，請再次選取 [產生]。

變更模型部署

  1. 選取 [ 自定義摘要 ] 圖示。
  2. 從 [模型部署] 下拉式清單中選取您想要使用的模型部署 。
  3. 再次選取 [產生]。

注意

請記住，模型部署是模型和篩選的組合。 此外，每次自定義文字摘要時，它都代表 API PUT 要求。

疑難排解

尋找特定解決方案之前，請確定您已在檔的必要條件一節中建立資源。

[產生摘要] 未出現

您可能尚未正確將 Azure OpenAI 帳戶連線至 Azure AI 影片索引器帳戶。

無法產生摘要

  • 您必須將內容篩選新增至部署，以避免顯示有害內容。 返回 Azure OpenAI Studio，並將篩選新增至您的部署。
  • 您可能已針對具有敏感性或有害內容的內容建立寬鬆的內容篩選。 內容篩選條件至少必須是 [中]。 如果您將內容篩選設定為 [中] 和 [有害內容] 會保留在影片中，則會觸發篩選。 在此情況下，沒有解決方案。
  • 您可能尚未要求文字記錄，或索引編製程式期間可能沒有足夠的信息產生。
  • 您可能使用進階預設。
  • 影片中可能沒有足夠的音訊來建立轉換。

無法使用缺少模型部署或部署

  • 您可能尚未建立部署。
  • 有人可能已變更或刪除已部署的模型。

節流

傳送至 VI 的要求可能會太多。 稍候幾分鐘，然後再試一次。

您收到錯誤「找不到篩選」

如果您收到找不到篩選錯誤，您將會收到描述遺漏項目的詳細錯誤。 此錯誤看起來會像這樣，但可能會有其他遺漏項目的詳細數據：

ErrorType":"SUMMARY_FILTERS_NOT_FOUND","Message":"Couldn't generate a summary because the model needs to be set with the right content filters to avoid showing harmful content. Input filter 'Jailbreak' must be enabled with action set to 'Annotate and block'. Trace id: '00000000-0000-0000-0000-000000000000'.

注意

自 2024 年 11 月 1 日起，只有在使用以主要畫面格為基礎的摘要或一般摘要時，才需要越獄篩選條件。

若要解決越獄問題：

  1. 選取 [移至 Azure Open AI Studio]。
  2. 選取 [部署]。
  3. 選取您正在使用的部署。
  4. 選取編輯。
  5. 將篩選設定為每個類別至少具有 [中] 層級。
  6. 套用 提示盾牌以進行越獄攻擊。
  7. 選取 [建立篩選]。

其他考量

建議您在相同區域中建立 Azure AI 影片索引器和 Azure OpenAI 帳戶，或可能會遇到效能問題。