LLM 프롬프트가 있는 Azure AI Video Indexer

개요

Azure AI Video Indexer는 LLM(대규모 언어 모델)과 통합됩니다. LLM은 비디오 콘텐츠 등에 대한 질문을 하는 데 사용할 수 있는 자연어 AI 모델입니다. AZURE AI Video Indexer의 인사이트를 LLM에서 쉽게 사용할 수 있는 프롬프트 준비 형식으로 추출합니다. 비디오의 프롬프트 준비 형식을 만들기 위해 비디오를 다시 인덱싱할 필요가 없습니다.

사용 사례

비디오 요약 생성: LLM 모델에 전체 비디오 또는 비디오 세그먼트의 요약을 생성하도록 요청할 수 있습니다. 이러한 세그먼트를 결합하여 필요에 따라 정보 요약, 티저 또는 기타 요약과 같은 여러 유형의 요약을 만들 수 있습니다.

검색 기능: 비디오 콘텐츠를 텍스트 기반 프롬프트 준비 형식으로 변환하여 비디오 콘텐츠 내에서 자세한 자연어 검색을 수행할 수 있습니다. 이렇게 하면 특정 쿼리에 따라 큰 비디오 라이브러리 내에서 검색 가능성이 크게 향상될 수 있습니다.

콘텐츠 만들기: 특정 감정 또는 이벤트와 관련된 비디오의 특정 순간에 대해 비디오 라이브러리를 쿼리할 수 있습니다. 예를 들어 비디오 시리즈에서 '재미있다' 또는 '슬픈' 순간을 검색하고 이를 사용하여 프로모션 또는 하이라이트를 만들 수 있습니다. 마찬가지로 ,"지난 10 년 동안 과거 지진"과 같은 관심있는 특정 사건과 관련된 순간을 검색 할 수 있습니다.

교육 목적: 강의 비디오에서 요약을 만들어 학생들이 자료를 더 쉽게 검토하고 이해할 수 있도록 합니다. 학생들은 강의 자료와 관련된 구체적인 질문을 할 수도 있습니다. 학습 환경을 보다 효율적으로 만드는 문서에 대해 설명하는 비디오의 정확한 부분을 참조할 수 있습니다.

대화형 환경: 비디오 콘텐츠에 따라 사용자 쿼리에 응답할 수 있는 비디오 기반 챗봇 또는 가상 도우미와 같은 대화형 환경을 만들 수 있습니다.

작동 방식

출력이 프롬프트 준비되도록 비디오는 비디오의 본질과 프롬프트 크기에 모두 맞는 일관된 섹션으로 분할됩니다. 섹션은 Azure AI Video Indexer 장면 세분화 및 기타 인사이트를 기반으로 구분됩니다. 프롬프트 콘텐츠의 결과는 세그먼트별로 개별적으로 통합 및 생성됩니다. 예시:

Insights

다음 표에는 프롬프트 생성에 사용되는 인사이트가 포함되어 있습니다.

비디오에 대한 프롬프트 콘텐츠 만들기

각 세그먼트당 프롬프트 준비 형식을 얻으려면 인덱싱된 비디오에서 프롬프트 콘텐츠 API를 사용합니다.

• 프롬프트 콘텐츠 API를 생성하려면 POST 프롬프트 콘텐츠 만들기 요청을 사용합니다.
• 프롬프트 콘텐츠를 보려면 PromptContent 가져오기 요청을 사용합니다.

예제 요청

AVI 계정 ID 및 비디오 ID를 사용합니다.

POST https://api.videoindexer.ai/trial/Accounts/{accountId}/Videos/{videoId}/PromptContent

예제 응답

index
{
  "algoVersion": "2.0.0",
  "schemaVersion": "0.0.1",
  "partition": null,
  "name": "10_best_dressed_grammy",
  "sections": [
    {
      "id": 0,
      "start": "0:00:00",
      "end": "0:00:40.915875",
      "content": "[Video title] 10_best_dressed_grammy\n[Detected objects] necktie\n[Visual labels] human face, clothing, person, woman, suit, wedding dress, dress, indoor, wall, carpet, rug, fashion, lady, long hair, fashion accessory, fashion design\n[OCR] TROPHy, LIFE, SPECIAL, EDITION, news FEED, BY

 CLEVVER, CLEVVER, @NazPerez, BEST DRESSED CELEBS AT 2018 GRAMMYS\n[Transcript] Check out the 10 best dressed celebs from the 2018 Grammy Awards and don't forget to subscribe to our channel to get all the latest celebrity updates.\nFrom white roses to white hot looks, this year's Grammy Awards was a feast of fashion thanks to so many celebs bringing their A game to the show.\nSo let's kick off this list of the best dress from the red carpet, starting with Lady Gaga.\nGaga looked like a gothic Princess in her dramatic all black ball gown.\nThe Armani Preve dress featured A Lacy bodysuit and billowing black skirt with a huge train.\nAga's black heeled boots were also some of the highest we've ever seen, like ever, but we wouldn't expect anything less from Mama Monster.\nAnother look we love from the carpet was Anna Kendrick's sexy suit by Belmont."
    },
    {
      "id": 1,
      "start": "0:00:40.915875",
      "end": "0:01:17.202125",
      "content": "[Video title] 10_best_dressed_grammy\n[Detected objects] remote\n[Visual labels] human face, clothing, person, dress, carpet, rug, fashion, lady, furniture, female person, fashion model, model, haute couture, smile\n[OCR] TROPHy, LIFE, news FEED, BEST DRESSED CELEBS AT 2018 GRAMMYS, D CELEBS AT 2018 GRAMMYS, BEST DRESSED\n[Transcript] Anna gave the structured look a sexy feminine touch by wearing a Lacy strapless top underneath and some pale pink stilettos.\nHer suit may have said business, but her relaxed WAVY hairstyle said I came to get down.\nNext on our list is the literally red hot Camila Cabello.\nCamila was all glitzing glam in her strapless Vivian Westwood gown.\nThat humped her curves perfectly.\nCamila opted to wear her hair up and accessorized with some serious bling, but it's that plunging neckline that has this unable to look away.\nAnother look we loved came courtesy of Miley Cyrus, who absolutely slayed in this black velvet bodysuit.\nMiley looked beyond chic, from her classic Hollywood hairstyle to her glitter heels."
    },
}

작업 상태 확인

프롬프트 작업이 완료되는 데 몇 분 정도 걸립니다. 작업 상태를 확인하려면 작업 상태 가져오기 요청을 사용할 수 있습니다.

키 프레임을 사용하여 큰 언어 모델을 시각적으로 표시

프롬프트 콘텐츠 요청은 프롬프트에서 시각적 입력을 사용할 수 있는 언어 모델을 지원합니다. GPT-4V 모델을 선택할 때 모델에 제공된 프롬프트의 일부로 키 프레임을 포함할 수 있습니다. 프롬프트 콘텐츠 응답에 반환된 프레임은 비디오의 키 프레임을 나타냅니다. 이 기능은 비디오의 대본이 제한되거나 없는 비디오 또는 결과를 개선하기 위해 언어 모델에 더 많은 컨텍스트를 제공하려는 경우 권장됩니다.

프롬프트 콘텐츠 요청 만들기 및 보내기

위에서 설명한 대로 프롬프트에 대한 텍스트 콘텐츠는 JSON 응답에 있습니다. JSON 응답의 "프레임" 부분에 있는 각 문자열은 키 프레임의 ID입니다. 비디오 미리 보기 가져오기 사용 미리 보기는 프롬프트 콘텐츠의 FrameId입니다. 텍스트 콘텐츠와 키 프레임 아티팩트가 모두 있으면 원하는 AI 모델에 대한 프롬프트로 결합할 수 있습니다.

제한 사항

프롬프트 기능은 가능한 한 많은 인사이트를 포함하는 비디오에 최적화되어 있습니다.