Windows Copilot Runtime 개요
Windows Copilot Runtime 고유한 ML(Machine Learning) 모델을 찾거나 실행하거나 최적화할 필요 없이 AI 기능을 활용할 수 있는 다양한 AI 지원 기능과 APIs 제공합니다. Copilot+ PC에서 Windows Copilot Runtime 모델은 항상 로컬 및 백그라운드에서 실행됩니다.
Windows 앱을 위한 Windows Copilot Runtime 기능 및 APIs 기능
Windows Copilot Runtime에는 Windows 디바이스에서 로컬로 실행되는 모델로 구동되는 다음과 같은 기능과 (Windows 앱 SDK)의 AI 지원 APIs이 포함됩니다.
Phi Silica: 아직 제공되지 않습니다. Phi Silica APIs 은 Windows 앱 SDK에서 제공될 예정입니다. ChatGPT를 지원하는 OpenAI의 LLM(GPT 대규모 언어 모델)과 마찬가지로 Phi는 Microsoft Research가 로컬 디바이스에서 언어 처리 작업을 수행하기 위해 개발한 SLM(Small Language Model)입니다. Phi Silica는 NPU(신경 처리 장치)가 있는 Windows 디바이스용으로 특별히 설계되어 텍스트 생성 및 대화 기능을 디바이스에서 직접 고성능 하드웨어 가속 방식으로 실행할 수 있습니다.
OCR
: 아직 사용할 수 없습니다. (광학 문자 인식 또는 OCR이라고도 함)는 Windows 앱 SDK 제공됩니다. 이러한 APIs 이미지의 텍스트를 인식하고 다양한 유형의 문서(예: 스캔한 종이 문서, PDF 파일 또는 디지털 카메라에서 캡처한 이미지)를 로컬 디바이스에서 편집 가능하고 검색 가능한 데이터로 변환할 수 있도록 합니다.이미징 APIs: 아직 사용할 수 없습니다. AI로 향상된 이미징 APIsWindows 앱 SDK출시될 예정입니다. 이러한 APIs 이미지 크기를 지능적으로 조정하고 이미지 내에서 개체를 식별하는 등의 다양한 작업을 수행합니다.
Studio Effects: Windows 11 버전 22H2 이상(빌드 22623.885 이상)은 Copilot+ PC에서 사용할 수 있습니다. 호환되는 NPU(신경 처리 장치)가 있는 Windows 디바이스는 Studio Effects 기본 제공 디바이스 카메라 및 마이크 설정에 통합합니다. AI를 활용하여 배경 흐림, 시선 맞추기 보정, 자동 프레이밍, 인물 조명 보정, 창의적인 필터, 또는 배경 소음을 차단하는 음성 포커스와 같은 특수 효과를 적용합니다.
Recall: Copilot+ PC의 Windows 참가자 프로그램을 통해 미리 보기로 사용할 수 있습니다.Recall 사용하면 문서, 이미지, 웹 사이트 등과 같은 과거 활동에서 항목을 빠르게 찾을 수 있습니다. 개발자는 사용자 활동 API를 사용하여 기본 벡터 데이터베이스에 컨텍스트 정보를 추가함으로써 사용자의 Recall 경험을 풍부하게 만들 수 있습니다. 이러한 통합을 통해 사용자는 앱에서 중단된 위치를 파악하여 Windows와 앱 간에 앱 참여와 사용자의 원활한 흐름을 개선할 수 있습니다.
라이브 캡션 번역은 청각 장애가 있거나 난청인 사용자를 포함하여 모든 Windows 사용자가 음성 콘텐츠의 캡션을 통해 오디오를 더 잘 이해하는 데 도움이 될 있습니다(오디오 콘텐츠가 시스템의 기본 언어와 다른 언어인 경우에도).
사용자 고유의 ML 모델 통합
AI 지원 Windows Copilot RuntimeAPIs외에도 ML(Machine Learning) 모델을 사용하여 앱을 개선하는 방법에 대한 도구와 지침이 있습니다.
AI ToolkitVisual Studio Code에서 PyTorch 또는 WebNN과 같은 ONNX Runtime프레임워크를 사용하여 사용자 고유의 ML 모델을 통합하고 DirectML을 통해 성능 및 규모를 향상하기 위해 하드웨어 가속에 액세스할 수 있습니다.
자세히 보기:
- Windows 애플리케이션은 ML 모델을 어떻게 활용할 수 있나요?
- 웹에서 오픈 소스 ML 모델은 어디에서 찾을 수 있나요?
- Windows 앱에서 사용할 ML 모델을 최적화할 어떻게 할까요? 있나요?
- 사용자 지정 데이터로 ML 모델을 미세 조정하려면 어떻게 해야 하나요?
- AI 기능을 사용하여 성능을 향상시키려면 하드웨어 가속을 어떻게 활용할 수 있나요?
책임 있는 AI 사례
디바이스 내 Windows Copilot Runtime 생성 AI 모델을 사용하여 AI 책임감 있게 앱을 개발하여 유해한 콘텐츠 및 기본 차단 목록에 대한 디바이스 내 분류 엔진과 같은 로컬 콘텐츠 안전 기능을 적용할 수 있습니다. Microsoft는 Windows에서 로컬 모델을 사용하여 안전하고 신뢰할 수 있는 AI 환경을 구축하기 위해 지원 개발자를 우선 순위로 지정합니다. Windows의 책임 있는 생성 AI 애플리케이션 및 기능 개발 지침에서 Windows 디바이스에서 실행되는 애플리케이션 및 AI 지원 기능을 만들 때 적용할 책임 있는 개발 사례에 대해 자세히 알아봅니다.
참고 항목
Phi Silica, 작지만 강력한 디바이스 내 SLM(Windows 블로그)
Windows의 AI 샘플 갤러리: AI를 Windows 앱에 통합하는 방법을 보여주는 샘플입니다.
Windows에서 AI를 사용하는 방법에 대한 FAQ: Windows 컨텍스트에서 AI 사용과 관련된 용어 및 개념에 대한 질문과 "DirectML이란?", "ONNX란?", "ORT란?", "NPU란?", "SLM이란?", "추론이란 무엇인가요?", "미세 조정이란?"과 같은 질문을 다룹니다.