Azure AI Foundry를 사용하여 AI21의 Jamba 제품군 모델을 배포하는 방법

이 문서에서는 Azure AI Foundry를 사용하여 종량제 청구를 통해 AI21의 Jamba 제품군 모델을 서버리스 API로 배포하는 방법을 알아봅니다.

Jamba 제품군 모델은 AI21의 하이브리드 Mamba-Transformer 아키텍처를 활용하는 AI21의 프로덕션 등급 Mamba 기반 LLM(대규모 언어 모델)입니다. AI21의 하이브리드 SSM(구조화 상태 공간 모델) 변환기 Jamba 모델의 명령 조정 버전입니다. Jamba 제품군 모델은 품질 및 성능과 관련하여 안정적인 상업적 사용을 위해 제작되었습니다.

AI21의 블로그 및 Microsoft Tech Community 블로그를 통해 Azure AI 모델 카탈로그에서 현재 사용할 수 있는 AI21의 Jamba 제품군 모델에 대한 공지 사항을 확인하세요.

Jamba 제품군 모델을 서버리스 API로 배포

모델 카탈로그의 특정 모델은 종량제 청구를 통해 서버리스 API로 배포할 수 있으므로 구독에서 호스트하지 않고 API로 사용하는 방법을 제공하면서 조직에 필요한 엔터프라이즈 보안 및 규정 준수를 유지할 수 있습니다. 이 배포 옵션에는 구독으로부터의 할당량이 필요하지 않습니다.

필수 조건

• 유효한 결제 방법을 사용하는 Azure 구독입니다. 무료 또는 평가판 Azure 구독은 작동하지 않습니다. Azure 구독이 없으면 유료 Azure 계정을 만들어 시작합니다.

• Azure AI Foundry 프로젝트입니다. Jamba 제품군 모델에 대한 서버리스 API 모델 배포 제품은 다음 지역에서 만든 프로젝트에서만 사용할 수 있습니다.

  • 미국 동부
  • 미국 동부 2
  • 미국 중북부
  • 미국 중남부
  • 미국 서부
  • 미국 서부 3
  • 스웨덴 중부

  서버리스 API 엔드포인트 배포를 지원하는 각 모델에 사용할 수 있는 지역 목록은 서버리스 API 엔드포인트의 모델에 대한 지역 가용성을 참조하세요.

• Azure RBAC(Azure 역할 기반 액세스 제어)는 Azure AI Foundry 포털에서 작업에 대한 액세스 권한을 부여하는 데 사용됩니다. 이 문서의 단계를 수행하려면 사용자 계정에 Azure 구독에 대한 소유자 또는 기여자 역할이 할당되어야 합니다. 또는 계정에 다음 권한이 있는 사용자 지정 역할을 할당할 수 있습니다.

  • Azure 구독에서 Azure AI Foundry 프로젝트를 Azure Marketplace 제품에 구독하려면 각 프로젝트에 대해 제품별로 한 번씩 다음을 수행합니다.

    • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
    • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
    • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
    • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
    • Microsoft.SaaS/register/action

  • 리소스 그룹에서 SaaS 리소스를 만들고 사용하려면 다음을 수행합니다.

    • Microsoft.SaaS/resources/read
    • Microsoft.SaaS/resources/write

  • Azure AI Foundry 프로젝트에서 엔드포인트를 배포합니다(Azure AI 개발자 역할에는 이미 이러한 권한이 포함되어 있음).

    • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
    • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

  권한에 대한 자세한 내용은 Azure AI Foundry 포털의 역할 기반 액세스 제어를 참조 하세요.

새 배포 만들기

이러한 단계에서는 AI21 Jamba 1.5 Large 또는 AI21 Jamba 1.5 Mini 모델의 배포를 보여 줍니다. 배포를 만들려면 다음을 수행합니다.

1. Azure AI Foundry에 로그인합니다.
2. 프로젝트에 아직 없는 경우 선택합니다.
3. 왼쪽 탐색 창에서 모델 카탈로그를 선택합니다.

4. AI21 모델을 AI21 Jamba 1.5 Large 검색하여 선택하거나 AI21 Jamba 1.5 Mini AI21 Jamba Instruct 세부 정보 페이지를 엽니다.

5. 배포를 선택하여 모델에 대한 서버리스 API 배포 창을 엽니다.

6. 또는 Azure AI Foundry 포털의 모델 + 엔드포인트 페이지에서 시작하여 배포를 시작할 수 있습니다.

   1. 프로젝트의 왼쪽 탐색 창에서 내 자산>모델 + 엔드포인트를 선택합니다.
   2. + 모델>배포 기본 모델을 선택합니다.
   3. 모델의 세부 정보 페이지와 같은 AI21 Jamba 1.5 Large AI21 모델을 검색하여 선택하거나 AI21 Jamba 1.5 Mini AI21 Jamba Instruct 엽니다.
   4. 확인을 선택하여 모델에 대한 서버리스 API 배포 창을 엽니다.

7. 현재 프로젝트는 배포에 대해 지정됩니다. AI21-Jamba 제품군 모델을 성공적으로 배포하려면 프로젝트가 필수 구성 요소 섹션에 나열된 지역 중 하나에 있어야 합니다.

8. 배포 마법사에서 Azure Marketplace 사용 약관 링크를 선택하여 사용 약관에 대해 자세히 알아봅니다.

9. 가격 책정 및 약관 탭을 선택하여 선택한 모델의 가격 책정에 대해 알아봅니다.

10. 구독 및 배포 단추를 선택합니다. 프로젝트에 모델을 처음 배포하는 경우 특정 제품에 대한 프로젝트를 구독해야 합니다. 이 단계를 수행하려면 계정에 필수 구성 요소에 나열된 Azure 구독 권한 및 리소스 그룹 권한이 있어야 합니다. 각 프로젝트에는 지출을 제어하고 모니터링할 수 있는 모델의 특정 Azure Marketplace 제품에 대한 자체 구독이 있습니다. 현재는 프로젝트 내의 각 모델에 대해 하나의 배포만 가질 수 있습니다.

11. 특정 Azure Marketplace 제공 사항에 대한 프로젝트를 구독하고 나면 이후에 동일 프로젝트에서 동일 제품을 배포할 때 다시 구독할 필요가 없습니다. 이 시나리오에 해당하는 경우 계속 배포 옵션을 선택할 수 있습니다.

12. 배포에 이름을 지정합니다. 이 이름은 배포 API URL의 일부가 됩니다. 이 URL은 각 Azure 지역에서 고유해야 합니다.

13. 배포를 선택합니다. 배포가 준비되고 배포 페이지로 리디렉션될 때까지 기다립니다.

14. 배포 페이지로 돌아가서 배포를 선택하고 엔드포인트의 대상 URI 및 비밀 키를 확인합니다. API 사용에 대한 자세한 내용은 참조 섹션을 참조하세요.

15. 왼쪽 탐색 창에서 프로젝트의 관리 센터로 이동하여 엔드포인트의 세부 정보, URL 및 액세스 키를 항상 찾을 수 있습니다. 그런 다음 모델 + 엔드포인트를 선택합니다.

종량제 토큰 기반 청구를 사용하여 서버리스 API로 배포된 AI21-Jamba 제품군 모델에 대한 청구에 대해 알아보려면 서버리스 API로 배포된 Jamba Instruct에 대한 비용 및 할당량 고려 사항을 참조하세요.

서버리스 API로 Jamba 제품군 모델 사용

다음과 같이 Jamba 제품군 모델을 사용할 수 있습니다.

1. 프로젝트의 왼쪽 탐색 창에서 내 자산>모델 + 엔드포인트를 선택합니다.

2. 만든 배포를 찾아 선택합니다.

3. 대상 URI 및 키 값을 복사합니다.

4. API 요청을 만듭니다.

API 사용에 대한 자세한 내용은 참조 섹션을 참조하세요.

서버리스 API로 배포된 Jamba 제품군 모델에 대한 참조

Jamba 제품군 모델은 다음 API를 모두 허용합니다.

• 멀티 턴 채팅 또는 단일 턴 질문 답변을 위한 /chat/completions 경로의 Azure AI 모델 유추 API. Jamba 제품군 모델은 채팅 완료를 위해 미세 조정되므로 이 API가 지원됩니다.
• AI21의 Azure 클라이언트. 호출되는 REST 엔드포인트에 대한 자세한 내용은 AI21의 REST 설명서을(를) 참조하세요.

Azure AI 모델 유추 API

Azure AI 모델 유추 API 스키마는 채팅 완료 참조 문서에서 찾을 수 있으며 OpenAPI 사양은 엔드포인트 자체에서 가져올 수 있습니다.

단일 턴 및 멀티 턴 채팅은 요청 및 응답 형식이 동일합니다. 단, 질문 답변(단일 턴)에는 요청에 단일 사용자 메시지만 포함되는 반면 멀티 턴 채팅에는 각 요청에서 전체 채팅 메시지 기록을 보내야 합니다.

멀티 턴 채팅에서 메시지 스레드에는 다음과 같은 특성이 있습니다.

• 사용자와 모델의 모든 메시지를 가장 오래된 것부터 최신 것 순으로 포함합니다.
• user 및 assistant 역할 메시지 간의 메시지 대체어
• 선택적으로 메시지 스레드는 컨텍스트를 제공하기 위해 시스템 메시지로 시작됩니다.

다음 의사 코드는 초기 시스템 메시지가 포함된 채팅 요청의 네 번째 호출에 대한 메시지 스택의 예입니다.

[
    {"role": "system", "message": "Some contextual information here"},
    {"role": "user", "message": "User message 1"},
    {"role": "assistant", "message": "System response 1"},
    {"role": "user", "message": "User message 2"},
    {"role": "assistant"; "message": "System response 2"},
    {"role": "user", "message": "User message 3"},
    {"role": "assistant", "message": "System response 3"},
    {"role": "user", "message": "User message 4"}
]

AI21의 Azure 클라이언트

메서드 POST를 사용하여 요청을 /v1/chat/completions 경로로 보냅니다.

요청

POST /v1/chat/completions HTTP/1.1
Host: <DEPLOYMENT_URI>
Authorization: Bearer <TOKEN>
Content-type: application/json

요청 스키마

페이로드는 다음 매개 변수를 포함하는 JSON 형식 문자열입니다.

messages 개체에는 다음 필드가 있습니다.

• role: [문자열, 필수] 메시지의 작성자 또는 목적입니다. 다음 값 중 하나입니다.
  • user: 사용자가 제공한 입력입니다. 여기에 제공된 지침 중 system 프롬프트에 제공된 지침과 충돌하는 모든 지침은 system 프롬프트 지침보다 우선합니다.
  • assistant: 모델이 생성한 응답입니다.
  • system: 생성된 메시지의 톤과 음성에 대한 일반적인 지침을 제공하는 초기 지침입니다. 초기 시스템 메시지는 선택 사항이지만 채팅 분위기에 대한 지침을 제공하는 것이 좋습니다. 예를 들어, "당신은 지구 과학에 대한 배경 지식과 매력적인 프랑스어 악센트를 사용하는 유용한 챗봇입니다."
• content: [문자열, 필수] 메시지 콘텐츠입니다.

tool 개체에는 다음 필드가 있습니다.

• type(필수; str) - 도구의 형식입니다. 현재는 "함수"만 지원됩니다.
• function(필수; 개체) - 함수 세부 정보입니다.
  • name(필수; str) - 호출할 함수의 이름입니다.
  • description(선택 사항; str) - 함수가 수행하는 기능에 대한 설명입니다.
  • parameters(선택 사항; 개체) - JSON 스키마 개체로 설명된 함수가 허용하는 매개 변수입니다.

document 개체에는 다음 필드가 있습니다.

• id(선택 사항; str) - 고유 식별자입니다. 인용문으로 연결됩니다. 최대 128자입니다.
• content(필수; str) - 문서의 콘텐츠
• metadata(선택 사항; 메타데이터의 배열)
  • key (필수; str) - 'author', 'date', 'url' 등과 같은 메타데이터 형식입니다. 모델이 이해하는 것이어야 합니다.
  • value(필수; str) - 메타데이터 값

요청 예제

단일 턴 예제 Jamba 1.5 대형 및 Jamba 1.5 미니

{
   "model":"jamba-1.5-large",  <jamba-1.5-large|jamba-1.5-mini>
   "messages":[
      {
         "role":"user",
         "content":"I need help with your product. Can you please assist?"
      }
   ],
   "temperature":1,
   "top_p":1,
   "n":1,
   "stop":"\n",
   "stream":false
}

단일 턴 예제 Jamba 1.5 대형 및 Jamba 1.5 미니와 문서

{
   "model":"jamba-1.5-large",  <jamba-1.5-large|jamba-1.5-mini>
   "messages":[
      {
         "role":"system",
         "content":'''<documents>
          # Documents

          You can use the following documents for reference:

          ## Document ID: 0
          Text: Harry Potter is a series of seven fantasy novels written by British author J. K. Rowling.

          ## Document ID: 1
          Text: The Great Gatsby is a novel by American writer F. Scott Fitzgerald.
          </documents>'''},

       {
           "role":"user",
           "content":"Who wrote Harry Potter?"
       }
   ],
   "temperature":0.4,
   "top_p":1,
   "n":1,
   "stop":"\n",
   "stream":false
}

채팅 예(세 번째 사용자 응답을 포함하는 네 번째 요청)

{
  "model": "jamba-instruct",
  "messages": [
     {"role": "system",
      "content": "You are a helpful genie just released from a bottle. You start the conversation with 'Thank you for freeing me! I grant you one wish.'"},
     {"role":"user",
      "content":"I want a new car"},
     {"role":"assistant",
      "content":"🚗 Great choice, I can definitely help you with that! Before I grant your wish, can you tell me what kind of car you're looking for?"},
     {"role":"user",
      "content":"A corvette"},
     {"role":"assistant",
      "content":"Great choice! What color and year?"},
     {"role":"user",
      "content":"1963 black split window Corvette"}
  ],
  "n":3
}

응답 스키마

응답은 결과가 스트리밍되는지 여부에 따라 약간 다릅니다.

스트리밍되지 않은 결과에서는 모든 응답이 단일 응답으로 함께 배달되며 여기에는 usage 속성도 포함됩니다.

스트리밍된 결과의

• 각 응답에는 choices 필드에 단일 토큰이 포함됩니다.
• choices 개체 구조가 다릅니다.
• 마지막 응답에만 usage 개체가 포함됩니다.
• 전체 응답은 data 개체에 래핑됩니다.
• 최종 응답 개체는 data: [DONE]입니다.

응답 페이로드는 다음 필드가 있는 사전입니다.

choices 응답 개체에는 모델 생성 응답이 포함되어 있습니다. 개체에는 다음 필드가 있습니다.

message 응답 개체에는 모델 생성 응답이 포함되어 있습니다. 개체에는 다음 필드가 있습니다.

tool_calls 응답 개체에는 모델 생성 응답이 포함되어 있습니다. 개체에는 다음 필드가 있습니다.

function 응답 개체에는 모델 생성 응답이 포함되어 있습니다. 개체에는 다음 필드가 있습니다.

usage 응답 개체에는 다음 필드가 포함되어 있습니다.

비스트리밍 응답 예

{
  "id":"cmpl-524c73beb8714d878e18c3b5abd09f2a",
  "choices":[
    {
      "index":0,
      "message":{
        "role":"assistant",
        "content":"The human nose can detect over 1 trillion different scents, making it one of the most sensitive smell organs in the animal kingdom."
      },
      "finishReason":"stop"
    }
  ],
  "created": 1717487036,
  "usage":{
    "promptTokens":116,
    "completionTokens":30,
    "totalTokens":146
  }
}

스트리밍 응답 예

data: {"id": "cmpl-8e8b2f6556f94714b0cd5cfe3eeb45fc", "choices": [{"index": 0, "delta": {"role": "assistant"}, "created": 1717487336, "finish_reason": null}]}
data: {"id": "cmpl-8e8b2f6556f94714b0cd5cfe3eeb45fc", "choices": [{"index": 0, "delta": {"content": ""}, "created": 1717487336, "finish_reason": null}]}
data: {"id": "cmpl-8e8b2f6556f94714b0cd5cfe3eeb45fc", "choices": [{"index": 0, "delta": {"content": " The"}, "created": 1717487336, "finish_reason": null}]}
data: {"id": "cmpl-8e8b2f6556f94714b0cd5cfe3eeb45fc", "choices": [{"index": 0, "delta": {"content": " first e"}, "created": 1717487336, "finish_reason": null}]}
data: {"id": "cmpl-8e8b2f6556f94714b0cd5cfe3eeb45fc", "choices": [{"index": 0, "delta": {"content": "mpe"}, "created": 1717487336, "finish_reason": null}]}
... 115 responses omitted for sanity ...
data: {"id": "cmpl-8e8b2f6556f94714b0cd5cfe3eeb45fc", "choices": [{"index": 0, "delta": {"content": "me"}, "created": 1717487336, "finish_reason": null}]}
data: {"id": "cmpl-8e8b2f6556f94714b0cd5cfe3eeb45fc", "choices": [{"index": 0, "delta": {"content": "."}, "created": 1717487336,"finish_reason": "stop"}], "usage": {"prompt_tokens": 107, "completion_tokens": 121, "total_tokens": 228}}
data: [DONE]

비용 및 할당량

서버리스 API로 배포된 Jamba 제품군 모델에 대한 비용 및 할당량 고려 사항

Jamba 제품군 모델은 서버리스 API로 배포되며, Azure Marketplace를 통해 AI21에서 제공되며 사용할 Azure AI Foundry와 통합됩니다. 모델을 배포하거나 미세 조정하는 경우 Azure Marketplace 가격 책정을 찾을 수 있습니다.

작업 영역이 Azure Marketplace에서 지정된 모델 제품을 구독할 때마다 사용에 연결된 비용을 추적하기 위해 새 리소스가 만들어집니다. 유추 및 미세 조정과 관련된 비용을 추적하는 데는 동일한 리소스가 사용되지만 여러 미터를 사용하여 각 시나리오를 독립적으로 추적할 수 있습니다.

비용을 추적하는 방법에 대한 자세한 내용은 Azure Marketplace를 통해 제공되는 모델에 대한 비용 모니터링을 참조하세요.

할당량은 배포당 관리됩니다. 각 배포에는 분당 200,000개의 토큰과 분당 1,000개의 API 요청의 속도 제한이 있습니다. 그러나 현재는 프로젝트별 모델당 하나의 배포로 제한됩니다. 현재 속도 제한이 시나리오에 충분하지 않은 경우 Microsoft Azure 지원에 문의하세요.

콘텐츠 필터링

서버리스 API로 배포된 모델은 Azure AI 콘텐츠 보안으로 보호됩니다. Azure AI 콘텐츠 보안을 사용하도록 설정한 경우 유해한 콘텐츠의 출력을 탐지하고 방지하기 위한 분류 모델의 앙상블을 통해 프롬프트와 완료가 모두 실행됩니다. 콘텐츠 필터링(미리 보기) 시스템은 입력 프롬프트와 출력 완성 모두에서 잠재적으로 유해한 콘텐츠의 특정 범주를 검색하고 조치를 취합니다. Azure AI 콘텐츠 보안에 대해 자세히 알아보기.

관련 콘텐츠

• Azure AI Foundry란?
• Azure AI FAQ 문서
• 서버리스 API 엔드포인트의 모델에 대한 지역별 제공 여부