場景、拍攝、主要畫面格偵測深入解析概觀

發行項
10/15/2024

場景、拍攝、主要畫面格偵測

場景偵測會根據視覺提示，偵測影片中的場景何時變更。

場景描述單一事件，由一系列相關拍攝所組成。

拍攝是一系列以視覺提示區分的畫面，例如相鄰畫面格色彩配置的突然和漸進式轉換。拍攝的元數據包括開始和結束時間，以及鏡頭中包含的主要畫面格清單。

主要 畫面格 是從最能代表拍攝的畫面格。

場景、拍攝和主要畫面格偵測使用案例

根據不同的粒度，輕鬆地流覽、管理及編輯您的影片內容。
使用編輯拍攝類型偵測，將影片編輯成剪輯、預告片，或搜尋特定主要畫面格樣式時。

場景偵測

Azure AI Video Indexer 根據視覺提示來判斷影片中的場景何時變更。場景會描述單一事件，並且會由一系列與語義相關的連續鏡頭組成。

場景縮圖是其基礎擷取畫面的第一個主要畫面格。

Azure AI Video Indexer 會根據連續鏡頭的色彩連貫性，將影片分割成場景，並擷取每個場景的開始和結束時間。

影片必須包含至少三個場景。

分鏡偵測

Azure AI 影片索引器會藉由偵測色彩配置和相鄰畫面畫面的其他視覺功能突然和漸進轉換，判斷視訊中的鏡頭何時變更。擷取畫面的中繼資料包含開始和結束時間，以及該擷取畫面中包含的主要畫面格清單。擷取畫面是同時從相同相機拍攝的連續畫面格。

注意

鏡頭之間可能會有間距，包括屬於轉換的畫面格。因此，這些畫面不會被視為拍攝的一部分。

主要畫面格編輯拍攝類型偵測

拍攝類型是根據每個拍攝的第一個主要畫面格分析所決定。擷取畫面是由第一個主要畫面格中顯示的臉部縮放、大小和位置所識別。

擷取畫面大小和縮放是根據相機與出現在畫面格中的臉部之間的距離來決定。使用這些屬性，Azure AI Video Indexer 會偵測下列鏡頭類型：

寬：顯示整個人員的身體。
中：顯示人員的上半身和臉部。
特寫：主要顯示人員的臉部。
極端特寫：顯示填滿螢幕的人員臉部。

擷取畫面類型也可以由與畫面格中央相關的主旨字元位置來決定。此屬性會在 Azure AI Video Indexer 中定義下列鏡頭類型：

臉部靠左：人員會出現在畫面格的左側。
臉部置中：人員會出現在畫面格的中央區域。
臉部靠右：人員會出現在畫面格的右側。
室外：人員會出現在室外場景。
室內：人員會出現在室內場景。

其他特性：

雙人擷取畫面：顯示中等大小的兩個人員臉部。
多人擷取畫面：兩個以上的人員。

使用入口網站檢視深入解析 JSON

上傳影片並編製索引之後，您可以使用入口網站以 JSON 格式下載深入解析。

選取 [連結 庫] 索引標籤 。
選取您想要使用的媒體。
選取 [下載] 和 [深入解析] [JSON]。 JSON 檔案會在新的瀏覽器索引標籤開啟。
尋找範例回應中所述的密鑰組。

使用 API

使用取得影片索引要求。我們建議傳遞 &includeSummarizedInsights=false。
尋找範例回應中所述的密鑰組。

範例回應

"scenes": [
                    {
                        "id": 1,
                        "instances": [
                            {
                                "adjustedStart": "0:00:00",
                                "adjustedEnd": "0:00:09.1333333",
                                "start": "0:00:00",
                                "end": "0:00:09.1333333"
                            }
                        ]
                    },
                    {
                        "id": 2,
                        "instances": [
                            {
                                "adjustedStart": "0:00:09.1333333",
                                "adjustedEnd": "0:00:10.8",
                                "start": "0:00:09.1333333",
                                "end": "0:00:10.8"
                            }
                        ]
                    },
                    {
                        "id": 3,
                        "instances": [
                            {
                                "adjustedStart": "0:00:10.8",
                                "adjustedEnd": "0:00:26.9333333",
                                "start": "0:00:10.8",
                                "end": "0:00:26.9333333"
                            }
                        ]
                    }...
                    {
                        "id": 31,
                        "instances": [
                            {
                                "adjustedStart": "0:18:45",
                                "adjustedEnd": "0:18:50.2",
                                "start": "0:18:45",
                                "end": "0:18:50.2"
                            }
                        ]
                    }
                ],
                "shots": [
                    {
                        "id": 1,
                        "tags": [
                            "Wide",
                            "Medium"
                        ],
                        "keyFrames": [
                            {
                                "id": 1,
                                "instances": [
                                    {
                                        "thumbnailId": "60152925-0e6d-48cf-be33-aa6c00dfb334",
                                        "adjustedStart": "0:00:00.1666667",
                                        "adjustedEnd": "0:00:00.2",
                                        "start": "0:00:00.1666667",
                                        "end": "0:00:00.2"
                                    }
                                ]
                            },
                            {
                                "id": 2,
                                "instances": [
                                    {
                                        "thumbnailId": "f1a09cdf-b42b-45f5-bc69-5292d1216e50",
                                        "adjustedStart": "0:00:00.2333333",
                                        "adjustedEnd": "0:00:00.2666667",
                                        "start": "0:00:00.2333333",
                                        "end": "0:00:00.2666667"
                                    }
                                ]
                            }
                        ],
                        "instances": [
                            {
                                "adjustedStart": "0:00:00",
                                "adjustedEnd": "0:00:01.9333333",
                                "start": "0:00:00",
                                "end": "0:00:01.9333333"
                            }
                        ]
                    },
                    {
                        "id": 2,
                        "tags": [
                            "Medium"
                        ],
                        "keyFrames": [
                            {
                                "id": 3,
                                "instances": [
                                    {
                                        "thumbnailId": "b17774d0-41cf-4174-9c41-6bc2f17c86e2",
                                        "adjustedStart": "0:00:02",
                                        "adjustedEnd": "0:00:02.0333333",
                                        "start": "0:00:02",
                                        "end": "0:00:02.0333333"
                                    }
                                ]
                            }
                        ],
                        "instances": [
                            {
                                "adjustedStart": "0:00:01.9333333",
                                "adjustedEnd": "0:00:02.9666667",
                                "start": "0:00:01.9333333",
                                "end": "0:00:02.9666667"
                            }
                        ]
                    }...

使用 API 下載主要畫面格

若要下載每個主要畫面格，請使用主要畫面格標識元搭配取得縮圖要求。

警告

不建議您因生產目的直接在成品資料夾中使用資料。成品是編製索引流程的中繼輸出。成品基本上是分析影片的各種 AI 引擎的原始輸出；成品架構可能會隨著時間變更。

重要

請務必閱讀所有 VI 功能的透明度附注概觀。每個深入解析也有自己的透明度注意事項：

場景、拍攝和主要畫面格偵測注意事項

偵測器最適合在具有鏡頭和場景的媒體檔案上運作。
如果影片是用一台從未移動的相機拍攝的，拍攝分割效果不佳，而且主要畫面格可能不具代表性。
主要畫面格會藉由考慮畫面格的模糊層級來選取。如果大部分的鏡頭模糊，例如動作，主要畫面格可能也會模糊。
視覺品質不佳的影片會產生不良的結果。
每個拍攝/場景/主要畫面格的時間可能會改變（不到一秒）。

場景、拍攝和主要畫面格元件

未定義任何元件。

範例指令碼

查看 VI 的所有範例

共用方式為

場景、拍攝、主要畫面格偵測深入解析概觀