Microsoft Fabric 이벤트의 스트림 - 개요
Microsoft Fabric 실시간 인텔리전스 환경의 이벤트 스트림 기능을 사용하면 실시간 이벤트를 패브릭으로 가져와서 변환한 다음 코드를 작성하지 않고도 다양한 대상으로 라우팅할 수 있습니다(코드 없음). Fabric에서 Eventstream 항목의 인스턴스인 Eventstream을 만들고, 스트림에 이벤트 데이터 원본을 추가한 후, 선택적으로 변환을 추가하여 이벤트 데이터를 변환하고, 지원되는 목적지로 데이터를 라우팅합니다. 또한 Eventstream 항목에서 사용할 수 있는 Apache Kafka 엔드포인트를 사용하여 Kafka 프로토콜을 사용하여 실시간 이벤트를 보내거나 사용할 수 있습니다.
Fabric으로 이벤트 가져오기
Eventstreams 기능은 다양한 원본에서 이벤트 데이터를 가져오는 다양한 원본 커넥터를 제공합니다. Eventstream을 만들 때 향상된 기능을 사용하면 더 많은 원본을 사용할 수 있습니다.
| 원본 | 설명 |
|---|---|
| Azure Event Hubs | Azure 이벤트 허브를 가지고 계신 경우에 이벤트 스트림을 사용하셔서 이벤트 허브 데이터를 Microsoft Fabric에서 수집해 보실 수 있습니다. |
| Azure IoT Hub | Azure IoT Hub가 있는 경우 Eventstream을 사용하여 IoT 데이터를 Microsoft Fabric에 수집할 수 있습니다. |
| Azure SQL 데이터베이스 CDC(변경 데이터 캡처) | Azure SQL Database CDC 원본 커넥터를 사용하면 Azure SQL 데이터베이스에서 현재 데이터의 스냅샷을 캡처할 수 있습니다. 그런 다음, 커넥터는 이 데이터에 대한 향후 행 수준 변경 내용을 모니터링하고 기록합니다. |
| PostgreSQL 데이터베이스 CDC | PostgreSQL 데이터베이스 CDC(변경 데이터 캡처) 원본 커넥터를 사용하면 PostgreSQL 데이터베이스에서 현재 데이터의 스냅샷을 캡처할 수 있습니다. 그런 다음, 커넥터는 이 데이터에 대한 향후 행 수준 변경 내용을 모니터링하고 기록합니다. |
| MySQL Database CDC | Azure MySQL CDC(변경 데이터 캡처) 원본 커넥터를 사용하면 Azure Database for MySQL 데이터베이스에서 현재 데이터의 스냅샷을 캡처할 수 있습니다. 모니터링할 테이블을 지정할 수 있으며, Eventstream은 테이블에 대한 향후 행 수준 변경 내용을 기록합니다. |
| Azure Cosmos DB CDC | Microsoft Fabric Eventstream용 Azure Cosmos DB CDC(변경 데이터 캡처) 원본 커넥터를 사용하면 Azure Cosmos DB 데이터베이스에서 현재 데이터의 스냅샷을 캡처할 수 있습니다. 그런 다음, 커넥터는 이 데이터에 대한 향후 행 수준 변경 내용을 모니터링하고 기록합니다. |
| VM(가상 머신) 데이터베이스(DB) CDC의 SQL Server | 패브릭 이벤트 스트림에 대한 SQL Server on VM DB(CDC) 원본 커넥터를 사용하면 VM의 SQL Server 데이터베이스에 있는 현재 데이터의 스냅샷을 캡처할 수 있습니다. 그런 다음 커넥터는 데이터에 대한 향후 행 수준 변경 내용을 모니터링하고 기록합니다. |
| Azure SQL Managed Instance CDC | Microsoft Fabric 이벤트 스트림에 대한 Azure SQL Managed Instance CDC 원본 커넥터를 사용하면 SQL Managed Instance 데이터베이스에서 현재 데이터의 스냅샷을 캡처할 수 있습니다. 그런 다음, 커넥터는 이 데이터에 대한 향후 행 수준 변경 내용을 모니터링하고 기록합니다. |
| Google Cloud Pub/Sub | Google Pub/Sub는 Eventstream을 게시하고 구독할 수 있는 메시징 서비스입니다. Google Pub/Sub를 Eventstream에 원본으로 추가하여 실시간 이벤트를 캡처 및 변환하고 Fabric의 다양한 목적지로 라우팅할 수 있습니다. |
| Amazon Kinesis Data Streams | Amazon Kinesis Data Streams는 스트리밍 데이터에 최적화된 확장성과 내구성이 뛰어난 데이터 수집 및 처리 서비스입니다. Amazon Kinesis Data Streams를 Eventstream 내 원본으로 통합하면 실시간 데이터 스트림을 원활하게 처리한 후 Fabric 내 여러 목적지로 라우팅할 수 있습니다. |
| Confluent Cloud Kafka | Confluent Cloud Kafka는 Apache Kafka를 사용하여 강력한 데이터 스트리밍 및 처리 기능을 제공하는 스트리밍 플랫폼입니다. Confluent Cloud Kafka를 Eventstream 내의 원본으로 통합하면 실시간 데이터 스트림을 원활하게 처리한 후 Fabric 내의 여러 대상으로 라우팅할 수 있습니다. |
| Amazon MSK Kafka | Amazon MSK Kafka는 설정, 크기 조정 및 관리를 간소화하는 완전히 관리되는 Kafka 서비스입니다. Amazon MSK Kafka를 이벤트 스트림 내의 원본으로 통합하면 MSK Kafka에서 실시간 이벤트를 원활하게 가져와서 처리한 후 패브릭 내의 여러 대상으로 라우팅할 수 있습니다. |
| 샘플 데이터 | Eventstream을 설정하는 동안 데이터 수집을 테스트하기 위해 Bicycles, Yellow Taxi 또는 Stock Market events를 샘플 데이터 원본으로 선택할 수 있습니다. |
| 사용자 지정 엔드포인트(즉, 표준 기능의 사용자 지정 앱) | 사용자 지정 엔드포인트 기능을 사용하면 애플리케이션 또는 Kafka 클라이언트가 연결 문자열 사용하여 Eventstream에 연결할 수 있으므로 스트리밍 데이터를 Eventstream으로 원활하게 수집할 수 있습니다. |
| Azure Service Bus(미리 보기) | Eventstream을 사용하여 Azure Service Bus 큐 또는 토픽의 구독에서 Microsoft Fabric으로 데이터를 수집할 수 있습니다. |
| Apache Kafka(미리 보기) | Apache Kafka는 확장 가능한 실시간 데이터 시스템을 빌드하기 위한 오픈 소스 분산 플랫폼입니다. Apache Kafka를 이벤트 스트림 내의 원본으로 통합하면 Apache Kafka에서 실시간 이벤트를 원활하게 가져와서 패브릭 내의 여러 대상으로 라우팅하기 전에 처리할 수 있습니다. |
| Azure Blob Storage 이벤트(미리 보기) | Azure Blob Storage 이벤트는 클라이언트가 Blob을 만들거나 바꾸거나 삭제할 때 실행됩니다. 커넥터를 사용하면 Blob Storage 이벤트와 실시간 허브의 Fabric 이벤트를 연결할 수 있습니다. 이러한 이벤트를 연속 데이터 스트림으로 변환하고 Fabric의 다양한 대상으로 라우팅하기 전에 변환할 수 있습니다. |
| Fabric 작업 영역 항목 이벤트(미리 보기) | Fabric 작업 영역 항목 이벤트는 Fabric 작업 영역이 변경될 때 발생하는 불연속 Fabric 이벤트입니다. 이러한 변경 내용에는 Fabric 항목 만들기, 업데이트 또는 삭제가 포함되었습니다. Fabric Eventstream을 사용하면 추가 분석을 위해 이러한 Fabric 작업 영역 이벤트를 캡처하고, 변환하며, Fabric의 다양한 목적지로 라우팅할 수 있습니다. |
| Fabric OneLake 이벤트(미리 보기) | OneLake 이벤트를 사용하면 OneLake에서 파일 및 폴더의 변경 내용을 구독한 다음 이러한 변경 내용에 실시간으로 대응할 수 있습니다. 패브릭 이벤트 스트림을 사용하면 이러한 OneLake 이벤트를 캡처하고, 변환하고, 패브릭의 다양한 대상으로 라우팅하여 추가 분석을 수행할 수 있습니다. 패브릭 이벤트 스트림 내에서 OneLake 이벤트를 원활하게 통합하면 OneLake에서 활동을 모니터링하고 분석할 수 있는 유연성이 향상됩니다. |
| Fabric 작업 이벤트(미리 보기) | ob 이벤트를 사용하면 Fabric에서 작업을 실행할 때 생성된 변경 내용을 구독할 수 있습니다. 예를 들어 의미 체계 모델을 새로 고치거나, 예약된 파이프라인을 실행하거나, Notebook을 실행할 때 변경 내용에 대응할 수 있습니다. 이러한 각 활동은 해당 작업을 생성할 수 있으며, 그러면 해당 작업 이벤트 집합이 생성됩니다. Fabric 이벤트 스트림을 사용하면 이러한 작업 이벤트를 캡처하고, 변환하고, 패브릭의 다양한 대상으로 라우팅하여 추가 분석을 수행할 수 있습니다. 패브릭 이벤트 스트림 내에서 작업 이벤트를 원활하게 통합하면 작업에서 활동을 모니터링하고 분석할 수 있는 유연성이 향상됩니다. |
노코드 환경을 사용하여 이벤트 처리
끌어서 놓기 환경을 사용하면 코드를 작성하지 않고도 이벤트 데이터 처리, 변환 및 라우팅 논리를 직관적이고 쉽게 만들 수 있습니다. Eventstream의 엔드투엔드 데이터 흐름 다이어그램을 통해 데이터 흐름 및 조직을 포괄적으로 이해할 수 있습니다. 이벤트 프로세서 편집기는 이벤트 데이터 처리 논리를 디자인하기 위해 끌어서 놓을 수 있는 노코드 환경입니다.
| 변환 | 설명 |
|---|---|
| 필터 | 필터 변환을 사용하여 입력의 필드 값에 따라 이벤트를 필터링합니다. 데이터 형식(숫자 또는 텍스트)에 따라 변환은 선택한 조건과 일치하는 값(예: is null 또는 is not null)을 유지합니다. |
| 필드 관리 | 필드 관리 변환을 사용하면 데이터 형식을 추가, 제거, 변경하거나 입력 또는 다른 변환에서 수신되는 필드의 이름을 바꿀 수 있습니다. |
| 집계 | 집계 변환을 사용하여 일정 기간 새 이벤트가 발생할 때마다 집계(합계, 최소, 최대 또는 평균)를 계산합니다. 또한 이 작업을 통해 계산 열의 이름을 바꾸고 데이터의 다른 차원을 기반으로 집계를 필터링하거나 분할할 수 있습니다. 동일한 변환에 하나 이상의 집계가 있을 수 있습니다. |
| 그룹 기준 | 그룹화 기준 변환을 사용하여 특정 시간 범위 내의 모든 이벤트에 대한 집계를 계산합니다. 하나 이상의 필드에 있는 값을 기준으로 그룹화할 수 있습니다. 집계 변환을 통해서 열 이름을 변경하실 수는 있겠지만 집계에 더 많은 옵션을 제공하시고 기간에 대한 더 복잡한 옵션이 포함되는 것과 같은 것입니다. 집계도 이와 마찬가지로 변환당 두 개 이상의 집계를 추가하실 수 있습니다. |
| Union | 합집합 변환을 사용하여 두 개 이상의 노드를 연결하고 공통 필드(동일한 이름 및 데이터 형식을 가짐)가 있는 이벤트를 하나의 테이블에 추가합니다. 일치하지 않는 필드는 삭제되고 출력에 포함되지 않습니다. |
| Expand | 배열 확장 변환을 사용하여 배열 내의 각 값에 대한 새 행을 만듭니다. |
| 참여 | 두 스트림 간의 일치 조건을 기반으로 두 스트림의 데이터를 결합합니다. |
이벤트 스트림을 만드는 동안 향상된 기능을 사용하도록 설정한 경우 변환 작업은 모든 대상에 대해 지원됩니다(파생 스트림은 사용자 지정 엔드포인트, 패브릭 정품 인증자와 같은 일부 대상에 대한 중간 브리지 역할을 함). 그렇지 않은 경우 변환 작업은 Lakehouse 및 Eventhouse(수집 전 이벤트 처리) 대상에만 사용할 수 있습니다.
목적지에 이벤트 라우팅
Fabric Eventstream 기능은 지원되는 다음 목적지로 데이터 전송을 지원합니다.
| 대상 | 설명 |
|---|---|
| 사용자 지정 엔드포인트(즉, 표준 기능의 사용자 지정 앱) | 이 목적지를 사용하면 실시간 이벤트를 사용자 지정 엔드포인트로 쉽게 라우팅할 수 있습니다. 사용자 고유의 애플리케이션을 Eventstream에 연결하고 이벤트 데이터를 실시간으로 사용할 수 있습니다. 이 목적지는 실시간 데이터를 Microsoft Fabric 바깥에 있는 외부 시스템으로 송신하려는 경우에 유용합니다. |
| Eventhouse | 이 대상을 사용하면 실시간 이벤트 데이터를 Eventhouse에 수집할 수 있으며, 여기서 강력한 Kusto 쿼리 언어(KQL)을 사용하여 데이터를 쿼리하고 분석할 수 있습니다. Eventhouse의 데이터를 사용하여 이벤트 데이터에 대한 심층적인 인사이트를 얻고 풍부한 보고서 및 대시보드를 만들 수 있습니다. 수집 전 직접 수집 및 이벤트 처리의 두 가지 수집 모드 중에서 선택할 수 있습니다. |
| Lakehouse | 이 목적지는 실시간 이벤트를 레이크하우스로 수집하기 전에 변환할 수 있는 기능을 제공합니다. 실시간 이벤트는 Delta Lake 형식으로 변환된 다음, 지정된 레이크하우스 테이블에 저장됩니다. 이 목적지는 데이터 웨어하우징 시나리오를 지원합니다. |
| 파생 스트림 | 파생 스트림은 Eventstream에 대한 필드 필터링 또는 필드 관리와 같은 스트림 작업을 적용한 후 만들어진 특수 유형의 목적지입니다. 파생 스트림은 스트림 처리 후 변환된 기본 스트림을 나타냅니다. 파생 스트림을 Fabric의 여러 목적지로 라우팅하고 실시간 허브에서 파생 스트림을 볼 수 있습니다. |
| 패브릭 정품 인증자(미리 보기) | 이 대상을 사용하면 실시간 이벤트 데이터를 패브릭 활성화자에 직접 연결할 수 있습니다. 활성화자는 데이터에 연결하고, 조건을 모니터링하고, 조치를 수행하는 데 필요한 모든 정보를 포함하는 지능형 에이전트의 유형입니다. 데이터가 특정 임계값에 도달하거나 다른 패턴과 일치하면 Activator는 사용자에게 경고하거나 Power Automate 워크플로를 시작 같은 적절한 작업을 자동으로 수행합니다. |
이벤트 스트림에서 여러 대상을 연결하셔서 서로 간섭하지 않으며 이벤트 스트림에서 동시에 데이터를 수신해 보실 수 있습니다.
참고 항목
최소 4개의 용량 단위로 Microsoft Fabric 이벤트 스트림 기능을 사용해 주시는 것을 추천해 드립니다 (SKU: F4)
패브릭 이벤트 스트림의 Apache Kafka
Fabric 이벤트 스트림 기능은 사용자가 Kafka 프로토콜을 통해 스트리밍 이벤트를 연결하고 사용할 수 있도록 Eventstream 항목에 Apache Kafka 엔드포인트를 제공합니다. Apache Kafka 프로토콜을 사용하여 특정 Kafka 토픽을 사용하여 스트리밍 이벤트를 보내거나 사용하는 애플리케이션이 이미 있는 경우, 이벤트 스트림에 제공된 Kafka 엔드포인트를 가리키도록 연결 설정을 업데이트하기만 하면 동일한 애플리케이션이 이벤트 스트림 내에서 스트리밍 이벤트를 보내거나 사용하도록 쉽게 조정할 수 있습니다.
패브릭 이벤트 스트림 기능은 완전히 관리되는 클라우드 네이티브 서비스인 Azure Event Hubs를 통해 제공됩니다. eventstream이 만들어지면 이벤트 허브 네임스페이스가 자동으로 프로비전되고 프로비저닝 구성 없이도 이벤트 허브가 기본 스트림에 할당됩니다. Azure Event Hubs 서비스의 Kafka 호환 기능에 대한 자세한 내용은 Apache Kafka용 Azure Event Hubs를 참조하세요.
Eventstream에 이벤트를 보내기 위한 Kafka 엔드포인트 세부 정보를 가져오는 방법에 대한 자세한 내용은 이벤트 스트림에 사용자 지정 엔드포인트 원본 추가를 참조하고 eventstream에서 이벤트를 사용하는 방법에 대한 자세한 내용은 eventstream에 사용자 지정 엔드포인트 대상 추가를 참조하세요.
향상된 기능
이벤트 스트림을 만드는 동안 향상된 기능 옵션을 사용하도록 설정할 때 사용할 수 있는 더 많은 기능 , 원본 및 대상이 있습니다. 향상된 기능 및 표준 기능 탭을 사용하여 향상된 기능으로 지원되는 추가 원본 및 대상에 대해 알아봅니다.
다음은 향상된 기능의 몇 가지 다른 주목할 만한 기능입니다.
- 편집 모드 및 라이브 뷰. 스트림 처리를 시각화하고 디자인하기 위한 두 가지 고유한 모드를 살펴봅니다.
- 기본 및 파생 스트림. 나중에 실시간 허브에서 사용할 수 있는 이벤트 프로세서를 통해 사용자가 디자인한 형식으로 스트림의 연속 흐름을 만듭니다.
- 콘텐츠를 기반으로 하는 데이터 스트림 라우팅. 이벤트 프로세서를 통해 사용자가 디자인한 데이터 스트림 콘텐츠를 기반으로 Fabric 내 어디서나 데이터 스트림을 변환하고 라우팅합니다.