다음을 통해 공유

Microsoft 클라우드를 사용하여 생성 AI 환경 만들기: ISV 가이드

  • 아티클

Microsoft Cloud를 사용하여 고유한 GenAI(생성 AI) 환경을 만드는 가이드를 시작합니다. ISV(독립 소프트웨어 공급업체)는 GenAI의 기능을 활용하여 고객에게 매력적인 솔루션을 혁신하고 제공할 수 있는 최고의 위치에 있습니다.

Microsoft Cloud란?
Microsoft Cloud는 광범위한 기능과 서비스를 제공하는 포괄적이고 통합된 플랫폼입니다. 여기에는 Azure AI, Microsoft 365, Microsoft Fabric 등이 포함되어 있어 글로벌 생성 AI 혁명의 최전선에 서게 됩니다.

이 플랫폼을 사용하면 수백만 명이 액세스하는 생산성 및 공동 작업의 허브인 Microsoft 365를 비롯한 다양한 영역에 독점 데이터 및 기능을 노출할 수 있습니다.

이 가이드는 Microsoft 클라우드 에코시스템에서 사용할 수 있는 광범위한 가능성을 탐색하는 데 도움이 됩니다.

부조종사란?
우리는 인간에게 복잡한 인지 작업을 지원하고, 상황에 맞는 제안을 제공하고, 데이터가 풍부한 인사이트를 유도하여 사용자 생산성을 향상시키는 AI 기반 가상 도우미라고 부조종사라고 합니다. 이러한 부조종사들은 특정 고객 또는 ISV 데이터 및 컨텍스트에 기반하여 ISV가 비즈니스별 데이터를 이해하는 생성 AI 환경을 만들 수 있는 기회를 제공합니다.

시나리오 및 접근 방식

Microsoft Copilot 구성 요소, AI 오케스트레이션 및 기본 Microsoft 클라우드 인프라를 보여 주는 다이어그램

이 가이드에서는 ISV가 Microsoft Cloud에서 GenAI의 광범위한 필드를 탐색할 수 있도록 지원하는 시나리오 기반 지침을 제공합니다. 우리의 목표는 AI 환경을 만들기 위한 세 가지 높은 수준의 접근 방식으로 정렬된 고유한 요구 사항에 가장 적합한 패턴과 기술을 선택할 수 있도록 돕는 것입니다.

이 접근 방식은 시나리오 및 요구 사항에 가장 적합한 경로를 탐색하는 데 도움이 되는 시나리오에 따라 패턴으로 나뉩니다.

Important

이러한 접근 방식과 패턴은 상호 배타적이지 않습니다. 이러한 솔루션을 결합하여 고유한 요구 사항 및 시나리오에 가장 적합한 맞춤형 솔루션을 만들 수 있습니다.

방법 1: Microsoft의 코필로트에 데이터 및 서비스를 표시합니다.

이 방법은 데이터와 서비스를 Microsoft의 코필로트에 통합하고자 하는 ISV를 위해 설계되었습니다. 플러그 인 및 그래프 커넥터를 사용하여 사용자 환경을 개선하는 데 중점을 둡니다.

시나리오: 최종 사용자가 Teams, Word, Outlook과 같은 Microsoft 앱에서 작업을 수행하고 다음 작업을 수행해야 하는 ISV입니다.

... 자연어 인터페이스를 사용하여 정보에 액세스하고 이러한 Microsoft 365 앱을 통해 사용할 수 있도록 하려는 기존 서비스가 있습니다.

패턴 A: ISV 데이터 및 기능을 사용하여 Copilot의 기능을 보강하는 플러그 인 만들기

... 사용자 중심 Microsoft Graph 데이터 및 조직의 비즈니스 데이터 라인과 결합된 ISV 데이터 원본에서 인사이트를 가져옵니다.

패턴 B: Graph 커넥터를 사용하여 부조종사 환경에서 ISV 데이터를 사용할 수 있도록 합니다.

방법 2: 최소한의 코딩 및 선택적 Microsoft 데이터 통합을 사용하여 어디서나 부조종사 만들기:

이 방법은 Microsoft의 데이터 및 도구를 사용하여 앱을 보강하거나 Azure를 사용하여 자체 AI 도우미를 만들려는 ISV를 위한 것입니다. 여기에는 Microsoft Graph API, Copilot Studio 플러그 인, Teams AI 라이브러리를 사용하거나 고객이 커넥터를 통해 데이터에 대한 자체 부조종사 환경을 만들 수 있도록 하는 작업이 포함됩니다.

시나리오: 최종 사용자가 어디서나 작업하는 ISV입니다.

... 데이터 및 서비스를 사용하여 자체 부조종사 환경을 만들 수 있도록 하고 싶습니다.

패턴 C: Copilot Studio에서 고객 기반 부조종사로 사용할 수 있도록 Power Platform 커넥터 개발

시나리오: 최종 사용자가 기존 애플리케이션 및 UI에서 작업하는 ISV입니다.

... Microsoft 사용자 중심 그래프 데이터를 내 부조종사에 통합합니다.

패턴 D: 부조종사에서 Microsoft Graph API 사용

... 에서는 기존 애플리케이션 내에서 질문에 답변하고 대화를 작업으로 전환할 수 있는 대화 환경을 제공합니다.

패턴 E: Azure를 사용하여 사용자 고유의 AI 도우미 만들기

시나리오: Microsoft Teams를 대상으로 하고 다음 요구 사항을 포함하는 부조종사 환경의 ISV입니다.

... GenAI에 통합되고, Teams에서 봇을 실행하고, 컨텍스트 인식 대화를 하거나, Teams 채팅 환경을 사용하는 스마트 Teams 봇을 만들고, 복잡한 비즈니스 논리에 대한 ISV 포커스로 사용합니다.

패턴 F: Teams AI 라이브러리를 사용하여 사용자 고유의 부조종사 빌드

접근 방식 3: 모든 권한: BYO(사용자 고유) 엔드투엔드 AI 환경 빌드:

이 접근 방식은 Azure AI Studio 및 의미 체계 커널과 같은 도구를 사용하여 완전히 새로운 AI 환경 또는 부조종사로 만들려는 ISV를 위한 것입니다. 최대 제어 및 사용자 지정 기능을 제공하여 무한한 가능성을 제공합니다.

시나리오: 저는 최첨단 상호 운용 가능한 AI 환경을 개발하고자 하는 ISV입니다.

... 에는 복잡한 다중 모달 데이터를 특수하게 처리해야 합니다. 여기에는 특정 정확도 요구 사항을 충족하는 미세 조정 AI 모델이 포함될 수 있습니다.

... 맞춤형 솔루션에 ISV의 사용자 지정 AI 모델 및 서비스를 사용합니다.

... 시스템 프롬프트, 온도, 톤 및 사용자 지정 안전 요구 사항을 포함하여 대화형 환경을 완벽하게 제어할 수 있습니다.

패턴 G: Azure AI Studio를 사용하여 기존 API를 사용하여 상호 운용 가능한 새로운 AI 환경 또는 부조종사 빌드

패턴 H: 의미 체계 커널을 사용하여 사용자 고유의 부조종사 빌드

팁

자세히 이해하려면 각 패턴에 제공된 시작 링크에서 사용할 수 있는 자세한 콘텐츠를 살펴보는 것이 좋습니다.

Microsoft Copilot 스택은 백 엔드(데이터가 각 리포지토리에 있음), 중간에 AI 오케스트레이션 계층 및 프런트 엔드(부조종사 UI 환경)의 세 가지 고유 계층으로 구성됩니다. 각 계층 내에는 부조종사 빌드 시 고려해야 하는 권장 계층이 있습니다.

ISV가 접근 방식 1에서 접근 방식 3으로 이동함에 따라 더 큰 개발 책임을 맡아 각 계층에 더 깊이 관여합니다. 예를 들어 접근 방식 1에서 플러그 인을 만들면 Microsoft가 데이터 통합 및 책임 있는 AI를 비롯한 AI 오케스트레이션을 처리합니다. 반대로 사용자 지정 부조종사 개발을 위해서는 사용자 환경, 오케스트레이션 계층, 데이터 관리 및 책임 있는 AI에 대한 모든 권한이 필요할 수 있습니다.

Microsoft Copilot Stack 구성 요소, AI 오케스트레이션 및 기본 Microsoft 클라우드 인프라를 보여 주는 다이어그램

참고 항목

"부조종사"는 생성 AI 도우미의 일반적인 개념을 의미하지만, "Copilot"는 ISV가 통합할 수 있는 Microsoft 365 Copilot 또는 Dynamics 365 Copilot와 같은 특정 Microsoft 제품을 나타냅니다.

각 옵션은 복잡성과 노력에 따라 다릅니다. 기존 Microsoft Copilot를 채택하는 것은 간단하며 플러그 인으로 확장하려면 최소한의 노력이 필요하며 새로운 부조종사 환경을 만들려면 디자인, 과학 및 엔지니어링이 필요할 수 있습니다.

AI 솔루션은 모델을 접지하고 컨텍스트로 사용하는 데이터만큼 좋다는 점을 기억해야 합니다. 즉시 사용할 수 있는 Microsoft Copilots는 이미 다양한 시나리오를 지원하며 데이터, 함수 및 프로세스로 확장할 수 있습니다. 그러나 사용자 인터페이스는 확장할 수 없습니다. 따라서 특정 시나리오, GenAI 알고리즘을 적용하는 방법 및 사용자("파일럿")가 부조종사 기능의 이점을 어떻게 활용할 수 있는지 신중하게 고려해야 합니다.

방법 1: Microsoft의 코필로트에 데이터 및 서비스 노출

기존 서비스, 데이터 및 프로세스를 Microsoft의 Copilots 또는 Microsoft 365 애플리케이션에 노출하려는 ISV는 플러그 인 및 커넥터를 빌드하여 이 작업을 수행할 수 있습니다.

예를 들어 Microsoft 365 Copilot는 다른 소프트웨어 및 서비스의 API와 상호 작용하고, 최신 정보를 표시하고, 작업을 실행하고, 새로운 유형의 계산을 수행할 수 있습니다.

패턴 A: 플러그 인을 만들어 기존 코필로트의 기능을 향상시킵니다.

플러그 인은 기존 Copilot의 기능을 보강하여 ISV 앱 및 서비스와 상호 작용할 수 있도록 하는 확장입니다. 자연어 대화를 통해 API와의 상호 작용을 사용하도록 설정하여 사용자의 기능을 확장할 수 있습니다. 예를 들어 플러그 인을 사용하면 Copilot가 유용한 정보를 검색하거나, 새 계산을 수행하거나, 사용자를 대신하여 작업을 안전하게 실행할 수 있습니다.

플러그 인을 통한 ISV 애플리케이션 및 데이터와 Microsoft Copilot의 상호 연결된 구성 요소를 보여 주는 다이어그램

ISV는 Copilot Studio를 통해 Teams 메시지 확장 및 Power Platform 플러그 인을 비롯한 다양한 도구를 사용하여 플러그 인을 만들 수 있습니다. 새로운 플러그 인은 파트너 센터를 통해 Microsoft의 Copilot 에코시스템에 게시할 수 있으며, 여기서 IT 관리자는 최종 사용자가 사용하도록 승인할 수 있습니다.

ISV 시나리오:

  • Microsoft 365 클라이언트 앱에서 기존 서비스를 노출하려는 ISV
  • 사용자는 ISV 애플리케이션 또는 Microsoft 365 클라이언트 앱(예: Teams, Outlook, Word 등)에서 작업을 검색, 업데이트 및 수행할 수 있습니다.
  • Teams의 사용자는 시스템 내에서 사용자 대신 작업을 실행하는 것을 포함하여 고객이 사용하는 외부 티켓 또는 CRM 시스템에서 관련 정보를 찾을 수 있습니다.

파트너 이점:

  • Microsoft 365 클라이언트 앱을 사용하여 수백만 명의 사용자 및 회사에 서비스를 제공하고 현재 작업하는 사용자를 만나세요.
  • Microsoft 365 클라이언트 앱에서 표시하여 솔루션 서비스의 가시성을 높입니다.
  • 여러 앱과 캔버스를 탐색할 필요가 없도록 하여 사용자의 마찰을 줄입니다.
  • Microsoft 365 앱에서 범용 통합 및 연속성을 갖춘 Microsoft 365 앱에서 일관된 사용자 환경
  • 예를 들어 Contoso 사용자는 Teams를 떠나지 않고 Outlook, SharePoint 및 Fabrikam의 외부 시스템에서 들어오는 데이터로 요약된 최신 고객 계정을 검색합니다.

시작할 위치:

핵심 사항:

  • 플러그 인은 최종 사용자가 Microsoft 365 클라이언트 앱에서 ISV 앱 및 서비스와 상호 작용할 수 있도록 Microsoft Copilots에서 ISV 서비스 및 앱을 노출하는 방법입니다.
  • ISV는 Teams 메시지 확장 및 Copilot Studio 플러그 인과 같은 도구를 사용하여 플러그 인을 만들 수 있습니다.
  • 플러그 인은 파트너 센터를 통해 솔루션의 가시성과 검색 가능성을 높일 수 있습니다.

패턴 B: Graph Connecters를 사용하여 데이터를 Copilot 환경으로 가져오기

그래프 커넥터를 사용하면 ISV가 데이터를 Microsoft 365 의미 체계 인덱스에 연결할 수 있습니다. 해당 데이터는 Teams, Outlook 및 Word와 같은 Microsoft 365 클라이언트 앱에서 직접 사용자에게 검색 가능하고 실행 가능해집니다. Microsoft Copilot는 Microsoft Graph를 통해 클라우드 또는 온-프레미스에 관계없이 ISV 데이터에 기반합니다. 또한 ISV는 SaaS 제품으로 제공되는 통합 데이터 플랫폼인 Microsoft Fabric을 사용하여 데이터를 Microsoft 클라우드로 가져와 Microsoft Graph에 쉽게 연결할 수 있습니다.

'Microsoft Graph 데이터'에 연결된 'Copilot'와 'Graph 커넥터'를 통해 'ISV 데이터 원본'에 연결된 'ISV 앱'을 보여 주는 다이어그램

ISV는 다양한 데이터 원본, 파일 시스템, 웹 페이지, 엔터프라이즈 애플리케이션 등을 지원하는 Microsoft Graph Connectors API를 사용하여 Graph 커넥터를 빌드할 수 있습니다.

그래프 커넥터는 자연어 처리, 엔터티 추출 및 이미지 분석과 같은 AI 기반 기능을 사용하여 데이터를 보강할 수도 있습니다. ISV는 Graph 커넥터를 사용하여 Microsoft Copilot를 자체 데이터로 확장하여 사용자 환경을 향상시키고 보다 개인화되고 안전한 상호 작용을 가능하게 할 수 있습니다.

수백 개의 그래프 커넥터가 이미 있습니다. 예를 들어 Jira Cloud Graph 커넥터는 Jira 개체를 Microsoft 365 Graph 데이터와 동일한 수준으로 승격하여 포괄적인 추론 및 범용 통합을 허용하여 향상된 인사이트를 제공합니다. 커넥터를 사용하면 최종 사용자가 자연어 인터페이스를 사용하여 Microsoft 365 Copilot에서 Jira 개체를 검색할 수 있습니다.

ISV 시나리오:

  • 고객이 Microsoft 365에서 작업을 수행하고 최종 사용자가 사용자 중심 Microsoft Graph 데이터와 결합된 ISV 데이터 원본에서 인사이트를 그릴 수 있도록 하려는 ISV.
  • 사용자는 다른 Microsoft 365 그래프 데이터(예: 전자 메일, 단어 문서 등)와 결합된 ISV 애플리케이션의 데이터를 검색, 요약 및 추론할 수 있습니다.
  • 커뮤니케이션 디렉터는 ISV 그래픽 디자인 애플리케이션에서 제공하는 콘텐츠로 보강된 Outlook에서 PR 전자 메일을 찾아서 다시 래프트해야 합니다.

파트너 이점:

  • 그들이 일하는 사용자를 만나보세요. 방대한 사용자 기반은 Microsoft 365 클라이언트 애플리케이션을 사용하며 이제 하나의 통합된 환경에서 사용자 고유의 데이터 및 서비스에 액세스할 수 있습니다.
  • ISV 데이터를 Microsoft Graph 데이터와 결합하여 향상된 인사이트를 제공합니다.
  • 하나의 커넥터를 사용하여 Microsoft 365 앱 및 Microsoft Search, Context IQ 및 Viva와 유니버설 통합
  • ISV 데이터를 소개하는 채널이 확장되어 사용자 기반이 증가할 수 있습니다.

시작할 위치:

핵심 사항:

  • 그래프 커넥터를 사용하면 ISV가 데이터를 Microsoft Copilot 에코시스템으로 가져와 개인 설정되고 안전한 상호 작용을 통해 사용자 환경을 향상시킬 수 있습니다.
  • ISV는 Microsoft Fabric을 사용하여 Microsoft 클라우드로 데이터를 가져와 Microsoft Graph에 연결할 수 있습니다.
  • ISV는 Graph 커넥터를 사용하여 데이터를 Microsoft 365 그래프 데이터와 결합하여 풍부한 인사이트를 제공하고 Microsoft 365 앱과 범용 통합을 달성할 수 있습니다.

방법 2: 최소한의 코딩 및 선택적 Microsoft 데이터 통합을 사용하여 어디서나 부조종사 만들기

ISV는 Microsoft Graph에 있는 도구와 데이터의 기능을 자체 앱으로 가져와 기능과 사용자 환경을 향상시킬 수 있습니다.

패턴 C: Copilot Studio에서 고객 기반 부조종사로 사용할 수 있도록 Power Platform 커넥터 개발

Copilot Studio를 사용하면 고객이 조직 및 Microsoft 및 파트너 데이터 원본의 데이터를 사용하여 일반적인 사용자 쿼리에 응답할 수 있는 로우 코드 AI 앱을 만들 수 있습니다. Copilot Studio는 Power Platform Connectors를 사용하여 현재 500개 이상의 커넥터가 있는 모든 원본에서 데이터를 가져옵니다. ISV는 데이터 및 서비스에 대한 커넥터를 만들어 고객이 ISV 데이터에 기반을 두고 자체 내부 부조종사 및 AI 앱을 만들 수 있도록 할 수 있습니다.

다양한 데이터 원본 및 ISV 애플리케이션과 통합되는 Microsoft Copilot Studio 플러그 인 다이어그램

이러한 AI 앱은 웹 사이트, 모바일 앱, Microsoft Teams 또는 Azure Bot Framework에서 지원하는 모든 채널을 비롯한 다양한 플랫폼에서 최종 사용자에게 표시될 수 있습니다.

예제 시나리오:

  • 기존 애플리케이션 내에서 고객에게 채팅 봇 환경을 제공하려는 ISV는 질문에 응답하고 대화를 작업으로 전환할 수 있습니다.
  • 사용자가 애플리케이션 내에서 질문을 하고 ISV, Microsoft 또는 고객 데이터 원본에 근거한 답변을 받습니다.
  • 기존 API에서 고객 커넥터를 만들고 Copilot Studio를 사용하여 플러그 인으로 변환하여 자연어 인터페이스가 있는 챗봇에서 이러한 API를 호출할 수 있습니다.
  • 기존 Power Automate 흐름을 Microsoft 부조종사 채팅에서 호출하여 작업을 수행하고 정보를 검색할 수 있는 플러그 인으로 변환합니다.
  • Power Platform에서 이러한 커넥터를 통해 Zendesk, GitHub 및 Salesforce와 같은 엔터프라이즈 시스템에서 자연어 인터페이스를 통해 데이터에 액세스합니다.

파트너 이점:

  • 기존 Microsoft 및 비 Microsoft 커넥터의 기능을 활용하여 애플리케이션을 손쉽게 개선하고 보강합니다.
  • 신속하고 효율적인 통합을 위해 Power Platform 사용자 지정 커넥터 접근 방식을 적용하여 플러그 인 개발을 신속하게 진행합니다.
  • Copilot Studio의 낮은 코드 기능을 통해 가치 창출 시간을 향상시킵니다.
  • 최소한의 코딩으로 AI 기능을 앱에 통합하여 경쟁 우위를 확보합니다.

시작할 위치:

핵심 사항:

  • Copilot Studio는 ISV 데이터 또는 함수에 기반한 챗봇 기능을 사용하여 기존 애플리케이션을 향상시킬 수 있는 로우 코드 AI 앱을 만들기 위한 플랫폼을 제공합니다.
  • 이 플랫폼은 기존 Power Platform 커넥터와 사용자 지정 커넥터를 모두 지원하므로 ISV 서비스 및 데이터 원본을 유연하게 통합할 수 있습니다.
  • AI 기능의 통합은 사용자 환경을 크게 개선하고 앱에 경쟁 우위를 제공할 수 있습니다.

패턴 D: 부조종사에서 Microsoft Graph API 활용

Microsoft Graph API는 일정, 예약, Outlook, Teams, OneDrive, SharePoint 등을 포함하는 Microsoft 365 애플리케이션의 사용자 중심 데이터에 액세스할 수 있는 강력한 엔드포인트를 제공합니다. 이 API를 사용하면 Microsoft 365의 데이터로 앱을 보강하여 사용자가 더 풍부한 인사이트와 분석을 얻을 수 있습니다.

Graph API를 통한 ISV 애플리케이션 및 데이터와 Microsoft Copilot의 상호 연결된 구성 요소를 보여 주는 다이어그램

ISV 시나리오:

  • 기존 ISV 애플리케이션을 사용하는 고객 및 파트너는 부조종사에서 Microsoft 사용자 중심 그래프 데이터를 빗질하려고 합니다.
  • 프로젝트 관리 앱이 있는 ISV는 사용자가 앱 내에서 최종 기한 및 중요 시점을 추적하는 데 도움이 되도록 Microsoft 365 일정 데이터 및 프로젝트 문서 데이터를 통합하려고 합니다.
  • CRM 앱이 있는 ISV는 Microsoft 365 연락처 및 전자 메일 데이터를 통합하여 고객 프로필 및 통신 로그를 향상하려고 합니다.

유연한 HR 제품군을 갖춘 다재다능한 HCM(Human Capital Management) 소프트웨어인 Fabrikam을 사용하여 인재 획득, 직원 보상 관리 및 피드백 프로세스와 같은 다양한 워크플로를 원활하게 자동화할 수 있습니다. Fabrikam은 혁신을 지속적으로 추구하면서 HR 제품군 위에 최첨단 부조종사 기능을 소개합니다. 이제 사용자 중심 그래프 데이터를 통합하여 애플리케이션을 한층 더 높이는 것을 목표로 합니다. 이러한 향상된 기능으로는 Graph API를 사용하여 직원의 일정을 통합하고, 예약된 시간 제한 및 피드백 프로세스 등에 대한 1:1과 같은 세부 정보를 포함합니다.

파트너 이점:

  • 데이터를 Microsoft 365 Graph와 결합하여 보강된 인사이트를 파악합니다.
  • 원활한 통합: 앱과 보다 쉽게 통합할 수 있도록 Microsoft 365 데이터에 대한 표준화된 액세스.
  • 향상된 사용자 환경: 앱 내 관련 Microsoft 365 데이터 및 기능에 액세스할 수 있는 보다 원활한 사용자 환경을 제공합니다.
  • 향상된 기능: Microsoft 365 데이터를 사용하여 앱에 새로운 기능과 기능을 추가합니다.
  • 확장성 및 효율성: Graph API가 데이터 검색을 처리하는 동안 앱을 빌드하고 개선하는 데 집중합니다.

시작할 위치:

핵심 사항:

  • Microsoft Graph API를 사용하면 ISV가 Microsoft 365의 사용자 중심 데이터로 앱을 보강할 수 있습니다.
  • Graph API를 통해 코필로트 시대를 위해 빌드된 고급 검색 환경인 Microsoft 365 의미 체계 인덱스를 활용할 수 있습니다.
  • ISV는 Graph API를 사용하여 보다 풍부한 인사이트와 분석으로 앱을 향상시킬 수 있습니다.

패턴 E: Azure OpenAI Assistants를 사용하여 앱에 부조종사 환경 가져오기

ISV는 Azure의 AI Services에서 이러한 로우 코드 접근 방식을 채택하여 부조종사 같은 환경을 자체 애플리케이션에 제공할 수 있습니다. JSON에서 함수의 구조를 설명하고 코드를 실행하고 실행하여 사용자의 질문에 대한 응답을 작성하는 데 도움이 되는 샌드박스 Python 환경을 제공하여 GPT의 함수 호출을 적용하여 사용자 고유의 API를 호출하는 빠른 경로를 제공합니다.

이러한 두 기능은 일반적인 코드 또는 작업에 더 적합한 기존 시스템(예: 간단한 수학 작업)에 비언어 기반 챌린지를 오프로드하는 데 유용할 수 있습니다.

시스템 프롬프트 및 온도에 직접 액세스할 수는 없지만, 마찬가지로 부조종사 같은 환경의 성격에 큰 영향을 주는 사용자 지정 지침을 통해 도우미의 동작에 영향을 줄 수 있습니다.

파트너 이점:

  • Azure OpenAI Assistants는 낮은 코드 접근 방식을 제공하여 ISV가 광범위한 개발 노력 없이 애플리케이션에 생성 AI 기능을 신속하게 통합할 수 있도록 합니다.

시작할 위치:

핵심 사항:

  • ISV는 Azure OpenAI Assistants를 사용하여 사용자 참여를 향상시키는 대화형 자연어 인터페이스를 만들 수 있습니다. 이러한 도우미는 JSON을 통해 간단히 설명하여 API를 호출할 수 있습니다.
  • Azure OpenAI Assistant는 사용자의 프롬프트에 따라 샌드박스에서 코드를 작성하고 실행하여 비 GenAI 문제를 해결할 수 있습니다.

패턴 F: Teams AI 라이브러리를 사용하여 사용자 고유의 부조종사 빌드

ISV는 Teams AI 라이브러리를 사용하여 기존 Teams 챗봇에 자연어 기능을 추가할 수도 있습니다. 이 라이브러리를 사용하면 ISV가 Teams 스캐폴딩을 사용하여 대화형 상호 작용을 처리하는 동시에 비즈니스 논리에 집중할 수 있습니다. ISV는 Teams에서 채팅 봇을 표시하여 사용자에게 앱과 상호 작용하는 보다 자연스럽고 직관적인 방법을 제공할 수 있습니다.

ISV 앱 및 Azure OpenAI Service와 프롬프트 엔지니어링 및 데이터 교환을 사용하는 Microsoft Teams AI 라이브러리 패턴의 순서도입니다.

ISV 시나리오:

  • 최종 사용자는 Teams를 사용하고 ISV 파트너는 봇과 유사한 기능을 사용하여 Teams에서 서비스 또는 기능을 표시하려고 합니다.
  • Graph 데이터와 통합할 필요가 없으며 ISV 파트너는 Teams Copilot 기능과 통합하지 않고 서비스 및 비즈니스 논리에 집중하려고 합니다.
  • 미리 빌드된 Teams 앱 템플릿과 기본 제공 조정 안전 기능을 통해 ISV 파트너는 LLM 기능을 기존 챗봇에 쉽게 추가할 수 있습니다.

파트너 이점:

  • 봇에 프롬프트 엔지니어링을 제어하고 기본 제공 안전 기능을 다시 사용하는 대화형 환경과 같은 ChatGPT를 추가합니다.
  • 다음과 같은 기능을 다시 사용할 준비가 된 맨 위에 빌드됨
    • Teams AI 메커니즘에서 제공하는 대화 세션 기록입니다.
    • 다 언어 지원.
    • 다중 큰 언어 모델 지원, OpenAI 모델 외에.
    • 사용자 의도에 따라 작업에 매핑하는 데 도움이 될 수 있는 Action Planner입니다.
    • 확장 메커니즘을 사용하여 매개 변수 또는 시스템 프롬프트 변경을 통해 모델이 응답하는 방식을 변경할 준비가 된 것입니다.
    • 모델의 답변을 데이터에 접지할 수 있는 추가 추론입니다.

시작할 위치:

핵심 사항:

  • 팀 AI 라이브러리는 LLM의 기능을 사용하여 Teams에서 ISV 개발 봇을 쉽게 점등할 수 있는 방법을 제공합니다.
  • 현재 Microsoft Copilot 기능과 통합할 필요가 없으며 작업 지향 환경을 제공할 수 있습니다.
  • 엔지니어링 관점에서 많은 가능성을 제공하지만, 모든 개발 프로세스를 더 쉽게 만들 수 있는 기능을 즉시 사용할 수 있습니다.

LLM을 사용하여 Teams에서 봇에 전원을 공급하려는 경우 Teams AI 라이브러리를 사용할 수 있습니다.

접근 방식 3: 모든 권한: BYO(사용자 고유) 엔드투엔드 AI 환경 빌드

ISV는 Microsoft Copilot Stack을 사용하여 완전히 새로운 AI 환경을 부조종사 또는 지능형 도우미로 빌드할 수 있습니다. 스택의 중간 부분에 있는 ISV 빌드는 MICROSOFT가 다양한 옵션을 제공하는 AI 오케스트레이션을 담당하며, 이 모든 옵션은 Microsoft의 기본 모델, AI 도구 체인 및 AI 인프라를 적용합니다.

의미 체계 커널 을 활용하여 부조종사에서 Microsoft Copilots를 구동하는 동일한 AI 오케스트레이션 패턴을 빌드할 수 있습니다. 직접 개발할 수 있는 SDK로 사용할 수 있습니다.

모든 Microsoft Cloud에서 프런트 엔드 앱과 기본 모델 간에 확장된 AI 오케스트레이션을 사용하는 Microsoft CopilotSstack을 보여 주는 다이어그램.

대부분의 투자로 스택 중간에 부조종사 서비스를 만들 수 있으므로 ISV는 Teams, Microsoft 365 Copilot, Microsoft Copilot, 사용자 고유의 애플리케이션 화면, 웹 사이트, 채팅 봇 등 다양한 표면에 이 부조종사 서비스를 자유롭게 연결할 수 있습니다. 기본적으로 스택의 맨 위에 있는 애플리케이션 화면과 통합할 때 여기에 설명된 다른 모든 패턴도 옵션입니다.

패턴 G: Azure AI Studio를 사용하여 사용자 고유의 부조종사 빌드

Azure AI Studio 는 ISV가 사용자 지정, 지능형 도우미 또는 부조종사 빌드를 위한 올인원 플랫폼입니다. 다양한 Azure AI 서비스의 기능을 결합하여 생성 AI 애플리케이션을 개발하고 배포하기 위한 통합 작업 영역을 제공합니다. 데이터 과학자, 개발자 및 기타 이해 관계자가 수렴하고 함께 작업할 수 있는 공동 작업 플랫폼입니다.

AZURE AI Studio를 통해 ISV는 부조종사 동작, 성격 및 기능을 완전히 제어할 수 있습니다. Azure AI Studio는 광범위한 카탈로그의 기존 미리 학습된 모델을 사용하든, 데이터에 대한 모델을 미세 조정하든, 사용자 지정 AI 모델을 학습하든 관계없이 복잡한 다중 모달 데이터를 처리하는 AI 환경의 개발을 가속화합니다.

Azure AI Studio의 눈에 띄는 특징은 다양한 산업 및 사용 사례를 수용하는 다양한 모델입니다. 이를 통해 ISV는 고유한 요구 사항을 충족하기 위해 단일 솔루션 내에서 다양한 모델을 결합할 수 있습니다.

AZURE AI Search와 통합하면 ISV는 AI Search의 통합 벡터화 기능을 통해 Azure AI Studio에서 직접 구조화되지 않은 데이터에 대한 RAG(검색 보강 생성) 패턴을 구현할 수 있습니다. 즉, 부조종사에 필요한 모든 데이터를 벡터 데이터베이스에서 자동으로 최신 상태로 유지할 수 있으므로 사용자 프롬프트 평가 중에 빠르고 효율적인 검색을 용이하게 하여 인덱싱, 청크, 포함 및 벡터화 패턴을 직접 구현하는 작업을 절약할 수 있습니다.

Azure AI Studio의 기능인 프롬프트 흐름은 LLM(큰 언어 모델), 프롬프트 및 Python 도구를 사용하여 실행 가능한 흐름을 오케스트레이션하기 위한 시각화된 그래프를 제공합니다. 팀 공동 작업을 통해 흐름을 쉽게 디버깅, 공유 및 반복할 수 있습니다.

코드 우선 접근 방식을 선호하는 ISV 팀의 경우 Azure AI SDK 는 Azure AI Studio 프로젝트 설정 및 관련 리소스를 포함하여 Azure AI 서비스에 액세스하기 위한 패키지 제품군을 제공합니다. 이를 통해 개발자와 데이터 과학자는 AI 구성 요소를 관리하고, 코드에서 직접 AI 모델, 파이프라인 및 서비스를 구성하면서 그래픽 인터페이스를 선호하는 사용자가 사용할 수 있도록 할 수 있습니다.

프로토타이핑은 플레이그라운드를 통해 Azure AI Studio에서 쉽게 수행할 수 있습니다. Azure AI Studio에서 프로젝트를 진행하는 팀의 일반적인 여정은 플레이그라운드의 아이디어 유효성을 검사하는 개인부터 시작할 수 있습니다. 매력적인 결과가 생성되면 플레이그라운드에서 프롬프트 흐름으로 버전이 지정되고 사용자 지정된 흐름으로 메시지가 표시될 수 있습니다. 이제 AI 프로젝트의 버전이 지정된 아티팩트인 더 넓은 팀은 Azure AI Studio UI를 통해 코드 전용을 통해 흐름에 액세스할 수 있는 위치에 기여할 수 있습니다. 이 시점에서 서로 다른 LLM에 대한 여러 논리 분기를 테스트하고 평가할 수 있습니다.

Azure AI Studio는 개발 단계 외에도 개발에서 프로덕션 및 지속적인 유지 관리에 이르는 엔드 투 엔드 프롬프트 엔지니어링을 처리하는 LLMOps 도구 체인을 제공합니다.

Azure AI Studio는 Azure AI Search, Azure Open AI Service 및 기타 Azure AI 서비스와의 통합을 지원하여 ISV에 대한 리소스 관리를 간소화합니다. 또한 프로젝트 지향 작업 영역을 제공하여 공유 컴퓨팅, 모델 배포 및 서비스에 대한 공동 작업을 촉진합니다.

ISV 시나리오:

  • 원격 의료 플랫폼을 구축하는 의료 ISV는 의료 전문 용어를 이해하고, 환자를 진단하는 의사를 지원하고, 관련 치료 권장 사항을 제공하는 부조종사를 원합니다.
  • 금융 서비스 공급자는 시장 동향을 분석하고, 투자 옵션에 대한 고객 쿼리에 응답하고, 개인 설정된 재무 보고서를 생성할 수 있는 부조종사들이 필요합니다.
  • 전자 학습 플랫폼은 튜터의 학생이 복잡한 개념을 설명하고 개별 학습 기본 설정에 따라 교육 스타일을 조정하는 부조종사도 원합니다.
  • 보험 회사는 현재 청구가 계약에 의해 적용 될 수 있는지 확인하여 클레임 프로세스 중에 문서 분석을 가속화합니다.
  • 항공사 부조종사로 여행을 계획하고, 티켓과 호텔을 찾고, 제품에 만족하면 예약하는 데 도움이 될 수 있습니다.
  • 레스토랑 체인은 전체 과정을 안내하여 신입 사원이 등록할 수 있도록 부조종사 앱을 만들고 있습니다.
  • ISV는 개발자가 API와의 통합을 구축하는 데 도움이 되는 VS Code 확장을 고객에게 제공합니다.

파트너 이점:

  • 사용자 지정 및 제어: 애플리케이션의 요구 사항에 정확하게 맞는 맞춤형 부조종사 빌드
  • 시나리오 유연성: 도메인별 부조종사에서 작업 자동화 및 콘텐츠 생성에 이르기까지 다양한 시나리오를 제공합니다.
  • 기존 시스템과 통합: 데이터베이스, API 및 기타 서비스에 연결하여 부조종사 기능을 향상시킵니다.
  • 브랜드 ID 및 사용자 환경: 브랜드 음성에 맞게 부조종사 개성을 형성하고 사용자 환경을 향상시킵니다.
  • 빌드 환경: 오픈 소스 및 확장성이 뛰어난 SDK, 의미 체계 커널을 사용하면 기존 API를 호출할 수 있는 지능형 에이전트를 빌드할 수 있습니다. 의미 체계 커널을 사용하면 Microsoft의 부조종사에 힘을 실어주는 동일한 AI 오케스트레이션 패턴을 자체 앱에서 사용할 수 있습니다.
  • 확장성 및 배포: 여러 클라이언트 또는 애플리케이션에 부조종사 배포를 통해 수천 명의 사용자에게 동시에 서비스를 제공합니다.

시작할 위치:

핵심 사항:

  • Azure AI Studio는 사용자 지정, 지능형 도우미 또는 부조종사 만들기를 위한 강력한 플랫폼을 제공합니다.
  • ISV는 부조종사들의 행동, 성격 및 기능을 형성하여 진정한 맞춤형 솔루션을 만들 수 있습니다.
  • Azure AI Studio는 다양한 시나리오를 지원하며 기존 인프라와 원활하게 통합됩니다.
  • Azure AI Studio를 사용하여 사용자 지정 부조종사 만들기는 사용자 환경을 향상시키고 특정 사용 사례에 맞는 맞춤형 솔루션을 제공할 수 있습니다.
  • AI Studio는 단일 크기 조정 엔드포인트로 표시되는 부조종사 서비스(또는 백 엔드)를 제공합니다.
  • 그런 다음 ISV에는 위의 이전 패턴을 포함하여 선택한 앱, 프런트 엔드 또는 대화 화면에 서비스를 연결하는 옵션이 있습니다.
  • 이 패턴은 특정 요구 사항에 따라 다른 사용자와 결합할 수 있습니다. 예를 들어 이 패턴을 Pattern A와 페어링하고 Microsoft Copilot 또는 Pattern F에 연결하여 Teams에서 사용자 고유의 부조종사 봇을 표시할 수 있습니다.

패턴 H: 의미 체계 커널을 사용하여 사용자 고유의 부조종사 빌드

의미 체계 커널은 개발자가 애플리케이션 내에서 정교한 부조합을 만들 수 있도록 하는 오픈 소스 SDK입니다. C#, Java 및 Python을 비롯한 다양한 프로그래밍 언어를 지원하므로 광범위한 개발자 커뮤니티에서 액세스할 수 있습니다. 의미 체계 커널을 사용하면 AI 플러그 인을 오케스트레이션할 수 있으므로 Azure OpenAI 및 Hugging Face를 비롯한 다양한 AI 모델과 통합할 수 있습니다.

의미 체계 커널은 Microsoft Copilots의 AI 오케스트레이션 패턴의 본질을 캡슐화하여 개발자에게 에이전트 및 부조종사를 빌드하는 도구를 제공합니다.

에이전트는 질문에 답변하고 사용자를 위한 프로세스를 자동화할 수 있는 AI 시스템입니다. 간단한 챗봇부터 완전히 자동화된 AI 도우미에 이르기까지 다양합니다. 특별한 유형의 에이전트인 부조종사는 사용자와 함께 작동합니다. 완전히 자동화된 에이전트와 달리, 부조종사는 제안 및 권장 사항을 제공하여 사용자가 제어권을 유지할 수 있도록 합니다.

플러그 인: 에이전트에 기술을 제공합니다. 전자 메일 보내기, 데이터베이스에서 정보 검색 또는 도움말 요청과 같은 작업에 대한 플러그 인을 만들 수 있습니다.

플래너: 에이전트는 플래너를 사용하여 작업을 완료하기 위한 계획을 생성합니다. 예를 들어 사용자가 전자 메일을 작성하는 데 도움이 되는 부조종사가 받는 사람 세부 정보를 수집하고 전자 메일을 작성하는 등의 단계를 포함하는 계획을 만듭니다.

SDK는 VS Code 확장, 샘플 채팅 코필로트 앱뿐만 아니라 아이디어를 실현하기 위한 스캐폴딩을 제공하는 스타터와 함께 제공됩니다.

의미 체계 커널 작업을 시작하기로 결정한 경우 코드를 시작하기 전에 몇 가지 기능을 정의하는 것이 좋습니다.

  • 먼저 부조종사의 페르소나 및 동작을 정의합니다.
  • 부조종사에서 지원할 일반적인 작업에 대한 플러그 인을 만듭니다.
  • 플래너를 사용하여 부조종사 작업에 대한 계획을 생성합니다.
  • 세밀한 사용자 환경을 보장하기 위해 철저히 테스트할 계획입니다.
  • 사용자로부터 피드백을 수집하고 에이전트 또는 부조종사 동작에서 이를 구현할 수 있는지 확인합니다.

ISV 시나리오:

  • 사용자 고유의 애플리케이션(고객 개발 도구 또는 HR 시스템)의 일부인 부조종사(copilot)를 빌드하고 있으며, 사람들이 동일한 UI의 영역에 머물도록 할 수 있습니다.
  • 오케스트레이션 엔진, RAG 구현, 모델 선택 및 모델 매개 변수에 대한 모든 권한이 필요합니다.
  • 부조종사 서비스를 사용하면 고객이 플러그 인을 통해 솔루션 위에 확장을 빌드할 수 있도록 허용하려고 합니다.
  • 솔루션은 텍스트가 아닌 캔버스 및 기타 미디어를 활용합니다.

파트너 이점:

  • Microsoft에서 자사 코필로트를 빌드하는 데 사용하는 의견 오케스트레이션 엔진에 액세스하여 부조종사 동작을 완전히 제어합니다.
  • 사용자 고유의 엔터프라이즈 데이터에 모델을 원활하게 접지하고 Microsoft Fabric OneLake를 사용하여 구조화되고 구조화되지 않은 실시간 데이터를 통합합니다. 이를 통해 개발자는 정교한 하이브리드 및 의미 체계 검색을 사용하여 RAG(검색 보강 세대) 애플리케이션에 전력을 공급할 수 있습니다.
  • 프롬프트 엔지니어링 및 LLMOps 도구(예: 프롬프트 흐름)를 사용하여 AI 응답을 구체화하기 위한 뛰어난 도구에 액세스합니다.

시작할 위치:

핵심 사항:

  • 의미 체계 커널은 개발자가 앱에 GenAI 기능을 더 쉽게 빌드할 수 있도록 지원하는 의견 있는 오픈 소스 프레임워크입니다.
  • Microsoft에서 유지 관리 및 개발하고 자사 팀에서 Microsoft Copilot 솔루션을 빌드하는 데 사용됩니다.
  • 샘플 집합을 사용하면 사용자 고유의 애플리케이션 스택 내에서 GenAI 여정을 쉽게 시작할 수 있습니다.
  • 이 패턴은 특정 요구 사항에 따라 다른 사용자와 결합할 수 있습니다. 예를 들어 이 패턴을 Pattern A와 페어링하고 Microsoft Copilot 또는 Pattern F에 연결하여 Teams에서 사용자 고유의 부조종사 봇을 표시할 수 있습니다.

결론

시나리오로 시작하여 세 가지 방법 중 하나로 수집한 하나 이상의 관심 패턴으로 구입했습니다. 각 패턴에는 약간의 차이가 있지만 각 접근 방식에 대한 몇 가지 일반적인 기능이 있습니다.

방법 1: Microsoft의 코필로트에 데이터 및 서비스 노출 방법 2: 최소한의 코딩 및 선택적 Microsoft 데이터 통합을 사용하여 어디서나 부조종사 만들기 접근 방식 3: 모든 권한: BYO(사용자 고유) 엔드투엔드 AI 환경 빌드
개발 노력 낮음(코드 없음/낮음) 보통(최소 코드) 높음(Pro 코드)
데이터 원본 Microsoft Graph(커넥터를 통한 Microsoft/M365 또는 비 Microsoft) 다양한. Power Platform 커넥터, Microsoft Graph, API. Microsoft 테넌트 내부 또는 외부의 여러 데이터 원본, 서비스 및 앱에 걸쳐 확장할 수 있습니다.
사용자 인터페이스 또는 대화형 화면 Teams, Microsoft 365 등과 같이 확장 중인 코필로트가 제공합니다. Microsoft에서 제공하는 방식마다 다릅니다. 직접 가져오세요. 동일한 부조종사로 여러 표면 가능
부조종사 음색, 동작 및 모델 매개 변수에 대한 영향 직접 제어할 수 없습니다. 모델 매개 변수는 확장되는 코필로트의 책임입니다. 메타프롬프트의 일부를 구성하는 사용자 지정 지침을 통해 동작 및 톤에 특히 영향을 주는 경우도 있습니다. Teams AI 라이브러리를 사용하면 모델 매개 변수를 제어할 수 있습니다. 온도, 시스템 프롬프트, 최대 토큰 등과 같은 모델 매개 변수를 직접 제어합니다. 사용자 지정 부조종사 동작입니다.
다중 모델 지원 아니요 아니요 예, 동일한 흐름 내의 다양한 모델에 대한 여러 호출
모델 지원 시스템에서 제공 OpenAI 모델 선택 모든 모델 OpenAI 및 전체 모델 카탈로그 선택
책임 있는 AI 시스템에서 제공 각 패턴에서 시스템 또는 레버리지 가능한 옵션에서 제공됨 각 패턴의 플랫폼 옵션에 대한 ISV 책임.
채팅 기록 지원 시스템에서 제공 각 패턴에서 시스템 또는 레버리지 가능한 옵션에서 제공됨 각 패턴의 플랫폼 옵션에 대한 ISV 책임.
예제 시나리오 Microsoft Copilots의 사용자는 ISV 데이터 및 서비스에서 작업을 수행하거나 인사이트를 얻을 수 있습니다. 고객 또는 ISV 데이터를 추론하기 위해 기존 ISV 애플리케이션 화면에 GenAI 도우미를 도입합니다. Teams와 같은 기존 Microsoft 화면에 고유한 부조종사 또는 챗봇을 Microsoft Copilots에 별도의 ID 와 경험을 제공합니다. 고객과 사용자는 브랜드 및 동작에 완전히 사용자 지정된 부조종사로 상호 작용하여 여러 데이터 세트 및 연결된 시스템을 여러 UI 또는 대화형 표면에서 추론할 수 있습니다.

이러한 접근 방식은 사용자 지정 가능성이 높아지기 때문에 ISV가 얻은 컨트롤을 통해 더 많은 책임을 지고 전반적인 개발 노력을 늘려야 합니다.

따라서 초기 요구 사항에 가장 빠르게 출시할 수 있는 방법인 접근 방식 1부터 시작하는 것이 좋습니다. Microsoft는 새로운 자사 코필로트를 자주 출시하고 있습니다. 새 코필로트가 데이터 및 서비스를 확장하여 사용자의 요구 사항을 보다 효율적으로 해결할 수 있는지 확인하기 위해 지속적으로 체크 인합니다.

요구 사항으로 인해 더 많은 제어 및 사용자 지정이 필요하므로 접근 방식 2로 이동한 다음 점진적으로 3으로 이동합니다.

여기서는 ISV에 기존 자산이 있는 기존 AI 기능이 이미 있는 경우는 예외입니다. 예를 들어 기존 AIOps 프로세스가 있는 GenAI 팀이 이미 있고 Python 또는 LangChain이라고 하는 IP가 이미 있는 ISV는 자연스럽게 접근 방식 3에 더 적합할 수 있습니다.

마지막 키 설명은 이 패턴 목록이 완전하거나 상호 배타적이지 않다는 것입니다. 여기서는 ISV에 대한 시너지 효과를 볼 수 있는 선택 패턴을 큐레이팅했으며, 다양한 방법으로 결합하여 요구에 완벽하게 맞는 솔루션을 만들 수 있다는 것을 이해하는 것이 중요합니다. 예를 들어 접근 방식 3(패턴 G 또는 H)을 사용하는 동안 프런트 엔드가 필요할 수 있습니다. 이 경우 플러그 인(패턴 A) 또는 Teams AI 라이브러리(패턴 F)를 함께 사용할 수 있습니다. AI 전략을 계획할 때 항상 다양한 패턴 간의 시너지 효과를 고려합니다.