智慧型影片分析簡介

• 5 分鐘

攝影機每天都會在熱門的商業領域中產生大量資料。 這些區域包含醫院、製造業、零售業和智慧城市環境。 其中許多部署都可以藉由加入 AI 來強化，該 AI 會即時處理相機感應器所產生的資料。

想看看，我們將能監視健康情況諮詢的執行狀況，或工作場所中安全規範的遵守狀況、根據客戶人口統計資料適應調整，或以自動化方式回應交通事件。 您可以使用將 AI 套用至物聯網裝置 (部署在邊緣) 的影片型解決方案來完成這些案例。

我們將這些類型的解決方案稱為 智慧型影片分析 (IVA) 應用程式。 他們會透過在即時影片畫面上運作的電腦視覺演算法應用程式，擷取可操作的深入解析。 下表描述了三種類型的電腦視覺演算法：

電腦視覺演算法	功能
物件偵測	定型物件偵測模型以分類影像中的個別物件，並使用週框方塊來識別其位置。 例如，交通監視解決方案可能會使用物件偵測來識別各種車輛類別的位置。
影像分類	影像分類需要定型機器學習模型，以根據影像的內容來分類影像。 例如，假設有一個交通監視解決方案。 您可使用影像分類模型，根據其所包含的車輛類型 (例如計程車、公車、腳踏車等) 來分類影像。
物件追蹤	您可以將物件追蹤套用至透過物件偵測所偵測到的物件。 物件會獲派一個身分識別，您可以透過 IVA 管線中連續的推斷傳遞來參考該身份識別。 例如，您可以使用物件追蹤來計算區域中人們的唯一執行個體。

您可以結合使用這些演算法，達成稱為串聯推斷的功能，藉此進行有力的評估。 這個技術的範例如下：

1. 使用物件偵測來識別車輛及其在畫面中的位置。
2. 使用可將唯一識別碼指派給每個車輛，並以此計算區域中車輛數目的追蹤器。
3. 使用影像分類模型來判斷每個車輛的顏色。

設定好以這種方式產生深入解析之後，您便可以透過卸載至 Microsoft Azure 中的雲端服務，來利用更多使用此資料的服務。 在 Azure 上，資料可以即時處理、觸發自動化工作，或封存以供歷程記錄分析。

使用 NVIDIA DeepStream 和 Azure 讓智慧型影片分析應用程式的開發得以進行

NVIDIA DeepStream 可讓您開發智慧型影片分析應用程式，其使用可在邊緣部署的多平台架構，並連線到雲端服務。 此架構可讓您使用名為 NVIDIA Graph Composer 的開發工具，以視覺化的方式定義 IVA 管線。 此工具可讓您定義檔案、本地相機或網路 RTSP 視訊串流的影片來源，這些串流可以直接饋送至單一或串聯推斷作業。 這些作業會產生深入解析，您可以接著轉寄到雲端服務，做進一步的處理。 藉由在邊緣的本地執行需要大量運算的推斷工作，您將深入解析和遙測資料傳輸至雲端時，可以減少所需的資料量。

硬體和作業系統需求

若要繼續本課程模組，您必須使用執行 Ubuntu 18.04 的 x86/AMD64 型電腦。 您也必須確定自己的開發電腦已經安裝下列其中一種顯示卡。

與 DeepStream 6.0 相容的 GPU

• RTX 2080

• RTX 3080

• Tesla T4

• Ampere A100

  注意

  如果您打算使用虛擬機器來滿足這些需求，那麼若您嘗試於遠端工作階段中連線到 VM，在嘗試啟動 NVIDIA Graph Composer　時，您可能會在此學習路徑上遇到問題。 您仍然可以繼續此課程模組，但我們想確定您知道這個問題。

請嘗試這樣做

您可以使用電腦視覺來協助您將工作自動化或簡化傳統上複雜的程式，請考慮這個案例。 您的影片中需要看到什麼？ 您需要使用哪些電腦視覺演算法來實作解決方案 (物件偵測、影像分類、物件追蹤)？