Databricks에서 Gen AI 앱 빌드 소개

Mosaic AI는 GenAI 애플리케이션을 빌드, 배포 및 관리하는 포괄적인 플랫폼을 제공합니다. 이 문서에서는 Databricks에서의 GenAI 애플리케이션 개발과 관련된 필수 구성 요소와 프로세스를 안내합니다.

Gen AI 모델 배포 및 쿼리

간단한 사용 사례의 경우 고품질 오픈 소스 모델뿐만 아니라 OpenAI 및 Anthropic과 같은 LLM 공급자의 타사 모델을 포함하여 gen AI 모델을 직접 제공하고 쿼리할 수 있습니다.

Mosaic AI 모델 서비스는 다음 기능을 사용하여 생성형 AI 모델의 제공 및 쿼리를 지원합니다.

파운데이션 모델 API. 이 기능을 사용하면 엔드포인트를 제공하는 모델에서 최신 개방형 모델 및 미세 조정된 모델 변형을 사용할 수 있습니다. 이러한 모델은 최적화된 유추를 지원하는 큐레이팅된 기본 모델 아키텍처입니다. DBRX Instruct, Meta-Llama-3.1-70B-Instruct, GTE-Large 및 Mistral-7B와 같은 기본 모델은 토큰당 종량제 가격 책정에 즉시 사용할 수 있으며, 미세 조정된 모델 변형과 같은 성능 보장이 필요한 워크로드는 프로비전된 처리량으로 배포할 수 있습니다.
외부 모델. Databricks 외부에서 호스트되는 생성 AI 모델입니다. 외부 모델을 제공하는 엔드포인트는 중앙에서 제어할 수 있으며 고객은 속도 제한 및 액세스 제어를 설정할 수 있습니다. 예를 들어 OpenAI의 GPT-4, Anthropic의 Claude 등과 같은 기본 모델이 있습니다.

Mosaic AI 에이전트 프레임워크는 개발자가 RAG(검색 증강 생성) 애플리케이션과 같은 프로덕션 품질 AI 에이전트를 빌드, 배포 및 평가하는 데 도움이 되도록 설계된 Databricks의 도구 집합으로 구성됩니다.

LangChain 및 LlamaIndex와 같은 타사 프레임워크와 호환되므로 기본 프레임워크를 사용하여 개발할 수 있으며 Databricks의 관리형 Unity 카탈로그, 에이전트 평가 프레임워크 및 기타 플랫폼 이점을 활용할 수 있습니다.

다음 기능을 사용하여 에이전트 개발을 신속하게 반복합니다.

라이브러리 및 MLflow를 사용하여 에이전트를 만들고 기록합니다. 에이전트를 매개 변수화하여 에이전트 개발을 신속하게 실험하고 반복합니다.
에이전트 추적을 사용하면 에이전트 코드에서 추적을 기록, 분석 및 비교하여 에이전트가 요청에 응답하는 방식을 디버그하고 이해할 수 있습니다.
DSPy를 사용하여 에이전트 품질을 개선합니다. DSPy는 프롬프트 엔지니어링 및 미세 조정을 자동화하여 GenAI 에이전트의 품질을 향상시킬 수 있습니다.
토큰 스트리밍 및 요청/응답 로깅에 대한 기본 지원과 에이전트에 대한 사용자 피드백을 얻기 위한 기본 제공 검토 앱을 사용하여 프로덕션에 에이전트를 배포합니다.