已開啟 Arc 的 Azure AI 影片索引器 （預覽）
Arc 所啟用的 Azure AI 影片索引器是已啟用 Azure Arc 延伸模組的服務，可在邊緣裝置上執行視訊和音訊分析，以及 產生 AI 。 此解決方案的設計目的是在已啟用 Azure Arc 的 Kubernetes 上執行，並支援許多視訊格式，包括 MP4 和其他常見格式。 其支援所有基本音訊相關模型中的數種語言。 它假設一個影片索引器資源對應至一個延伸模組。
如果您還 不熟悉 Azure AI 影片索引器，建議您先熟悉雲端服務。
此外，在開始使用 Arc 所啟用的 Azure AI 影片索引器之前，請先檢閱 透明度附註 以瞭解使用限制。
重要
若要成功部署 Azure AI 影片索引器延伸模組， 您必須 事先核准您的 Azure 訂用帳戶標識碼。 您必須先使用此 表單註冊。
什麼是已啟用 Azure Arc 和 Azure Arc 的 Kubernetes？
Azure Arc 藉由提供一致的多雲端和內部部署管理平臺，簡化跨數據中心、多個雲端和邊緣延伸的複雜環境的治理和管理。
已啟用 Azure Arc 的 Kubernetes 可讓您連結在任何地方執行的 Kubernetes 叢集，以便在 Azure 中進行管理和設定。 藉由在單一控制平面中管理所有 Kubernetes 資源，您可以實現更一致的開發和作業體驗，在任何地方和任何 Kubernetes 平台上執行雲端原生應用程式。
當 Azure Arc 代理程式部署至叢集時，會使用業界標準 SSL 來起始對 Azure 的輸出連線，以保護傳輸中的資料。
一旦叢集連線到 Azure，它們就會在 Azure Resource Manager 中以自己的資源表示，而且可以使用資源群組和標記加以組織。
請參閱這些文章，以深入瞭解已啟用 Azure Arc 和已啟用 Azure Arc 的 Kubernetes。
什麼是 Azure Arc 延伸模組？
虛擬機器 (VM) 擴充功能是小型的應用程式，可在 Azure 虛擬機器上提供部署後設定及自動化工作。 例如，如果虛擬機器要求安裝軟體、防毒保護，或要求執行其中的指令碼，便可使用虛擬機器延伸模組。 若要深入瞭解擴充功能，請參閱 使用已啟用 Azure Arc 的伺服器來管理虛擬機擴充功能。
Azure AI 影片索引器擴充功能會將 Azure AI 影片索引器安裝並部署至 Kubernetes 叢集。
Arc 啟用的所有 Azure AI 影片索引器僅支援 Azure Resource Manager （ARM） 帳戶。 ARM 作業與影片深入解析作業分離。 此設計可讓您在邊緣裝置上執行分析，而不需要將媒體資產上傳至 Azure。
Arc 所啟用的 Azure AI 影片索引器不支援傳統帳戶。 如需淘汰傳統帳戶的詳細資訊，請參閱 準備AMS淘汰：VI移轉和更新指南
只有直接連線模式案例才支持擴充功能。 控制平面資訊會傳送至雲端，例如監視、使用量。 新的擴充功能版本會從雲端下載。 沒有客戶數據，例如哪些影片已編製索引，會從邊緣位置傳送至雲端。
語言模型
包含 Phi 3 語言模型，並自動與您的 VI 延伸模組連線。 您可以立即開始使用。 如需搭配 VI 使用語言模型的詳細資訊，請參閱：
另請參閱 Transparancy 附注， 以瞭解 Arc 針對硬體需求、限制和已知問題啟用 Vi 的文字摘要。
使用案例
- 數據控管 – 您可以將 AI 帶入內容，而不是反之亦然。 當您因為下列原因而無法將索引內容從內部部署移至雲端時，請使用 Arc 所啟用的 Azure AI 影片索引器：
- 調節。
- 架構決策。
- 數據存放區太大，因此會大幅提升和轉移。
- 內部部署工作流程 – 您的編製索引程式是內部部署工作流程的一部分，而您想要降低影響流程的編製索引持續時間延遲。
- 預先編製 索引 – 您想要先編製索引，再將內容上傳至雲端。 為了清楚起見，您可以預先排序內部部署視訊和/或音訊封存，然後只上傳它在雲端中的標準和/或進階索引。
範例部署
下圖顯示在 Azure Arc 上執行的 Azure AI 影片索引器擴充功能。有三種類型：
- 儲存類型 A 會同時使用視覺和音訊預設值。
- 儲存類型 B 只使用視覺預設值。 它也具有自定義模型。 如需搭配 Arc 啟用的 Azure AI 影片索引器使用自定義模型的詳細資訊，請參閱 自備 AI 模型。
- 市集 C 只會使用音訊預設值。
擴充功能會儲存在每個邊緣裝置上，而且每個裝置都會與與 Azure Arc 和雲端介面的單一 Azure AI 影片索引器帳戶相關聯。
支援的 AI 預設
Arc 啟用的 Azure AI 影片索引器支援下列索引預設值：
| Model | 基本影片 | 基本音訊 | 基本視訊和音訊 |
|---|---|---|---|
| 謄寫 | ✔️ | ✔️ | |
| 翻譯 | ✔️ | ✔️ | |
| 輔助字幕 | ✔️ | ✔️ | |
| 主要畫面格偵測 | ✔️ | ✔️ | |
| OCR | ✔️ | ✔️ | |
| 物件偵測 | ✔️ | ✔️ | |
| 場景偵測 | ✔️ | ✔️ | |
| 拍攝偵測 | ✔️ | ✔️ | |
| 摘要 | ✔️ | ✔️ |
最小硬體需求
Arc 所啟用的影片索引器的設計目的是在任何已啟用 Arc 的 Kubernetes 環境中執行。
如果延伸模組包含單一語言支援，則下列清單是最低且建議的需求。 如果您使用數種語言安裝多個語音和翻譯容器，請據以增加硬體需求。
注意
這些是生產環境的最低需求。 建議至少使用 2 個節點的叢集，以達到高可用性和延展性。 建議的設定是指整個叢集設定，例如，如果您有 2 個節點，則每個節點都應該有 16 個核心和 32 GB 的 RAM。 建議您建立專用的節點集區/自動調整群組來裝載VI解決方案。
| 組態 | VM 計數 | 節點 CPU 核心計數 | 節點 Ram | 節點記憶體 | 備註 |
|---|---|---|---|---|---|
| 最小值 | 1 | 32 核心 | 64 GB | 50 GB | 記憶體需要支援 ReadWriteMany 記憶體類別 |
| 建議需求 | 2 | 48-64 核心 | 256 GB | 100 GB | 記憶體需要支援 ReadWriteMany 記憶體類別 |
最低軟體需求
| 元件 | 最低需求 |
|---|---|
| 作業系統 | Ubuntu 22.04 LTS 或任何Linux相容作業系統 |
| Kubernetes | 1.26 |
| Azure CLI | 2.48.0 |
支援的輸入格式和編解碼器
視訊格式
- AVI （.avi）
- FLV （具有 H.264 和 AAC 編解碼器） （.flv）
- ISMV （.isma， .ismv）
- Matroska/WebM （.mkv）
- MP4 （.mp4，.m4a，.m4v）
- MXF （.mxf）
- MPEG2-TS
- QuickTime （.mov）
- WAVE/WAV （.wav）
- Webm
- Windows Media Video （WMV）/ASF （.wmv，.asf）
視訊轉碼器
以下是依字母順序排列的清單：
- AVC 8 位/10 位，最多 4：2：2，包括 AVCIntra
- 數位視訊 （DV） （在 AVI 檔案中）
- DVCPro/DVCProHD （在 MXF 容器中）
- HEVC/H.265
- MPEG-1
- MPEG-2 （最高 422 配置檔和高階;包括索尼 XDCAM、索尼 XDCAM HD、索尼 XDCAM IMX、CableLabs® 和 D10 等變體）
- MPEG-4 第 2 部分
- VC-1/WMV9
最多兩個曲目的音訊編解碼器
- AAC （AAC-LC、AAC-HE 和 AAC-HEv2）
- FLAC
- MPEG 第 2 層
- MP3 （MPEG-1 音訊層 3）
- VORBIS
- WAV/PCM
- Windows 媒體音訊
支援的語言
- 阿拉伯文 (沙烏地阿拉伯)
- 阿拉伯文埃及
- 中文 (簡體)
- 英文 (美國)
- 法文
- 德文
- 義大利文
- 西班牙文
自備模型
Arc 所啟用的 Azure AI 影片索引器也支援自備模型。 如需詳細資訊，請參閱自備模型 （BYO） 文章。
限制
- 索引編製支持的檔案大小上限為 2 GB。
- 升級延伸模組：
- 延伸模組支援僅適用於最新版本。
- 建議將該
auto-upgrade屬性設定為true。 此設定會讓延伸模組保持最新狀態。 - 如果自動升級設定設定為 false，應該以累加方式完成版本升級。 在版本之間跳躍可能會導致索引處理失敗。
- 擴充功能安裝或升級之後，預期 第一個 index\translation 進程持續時間會更長。 較長的持續時間是由於 AI 模型映像下載所造成。 持續時間會根據網路速度而有所不同。
- 每個已啟用 Arc 的 Kubernetes 叢集只能部署一個影片索引器擴充功能。
- 叢集的磁碟區效能（根據儲存類別）對於編製索引作業的營業額持續時間有重大影響，特別是因為畫面擷取會將所有畫面寫入磁碟區。
- 您只能使用透過 Azure 入口網站 取得的雲端帳戶存取令牌。 不支援雲端視訊存取令牌，但透過 API，延伸模組存取令牌可供使用，且我們支援所有類型的令牌。
- 視訊錯誤訊息不會因為記憶體限制而儲存。