Microsoft Fabric Eventstream - 개요
Microsoft Fabric 실시간 인텔리전스 환경의 Eventstream 기능을 사용하면 실시간 이벤트를 Fabric으로 가져와서 변환한 다음, 코드를 작성하지 않고도(노코드) 다양한 목적지로 라우팅할 수 있습니다. Fabric에서 Eventstream 항목의 인스턴스인 Eventstream을 만들고, 스트림에 이벤트 데이터 원본을 추가한 후, 선택적으로 변환을 추가하여 이벤트 데이터를 변환하고, 지원되는 목적지로 데이터를 라우팅합니다.
Fabric으로 이벤트 가져오기
Eventstream 기능에서는 다양한 원본에서 이벤트 데이터를 가져오기 위해 다양한 원본 커넥터를 제공합니다. Eventstream을 만들 때 향상된 기능을 사용하면 더 많은 원본을 사용할 수 있습니다.
Important
Fabric Eventstream의 향상된 기능은 현재 미리 보기에서 제공됩니다.
| 원본 | 설명 |
|---|---|
| Azure Event Hubs | Azure 이벤트 허브가 있는 경우 Eventstream을 사용하여 이벤트 허브 데이터를 Microsoft Fabric에 수집할 수 있습니다. |
| Azure IoT Hub | Azure IoT Hub가 있는 경우 Eventstream을 사용하여 IoT 데이터를 Microsoft Fabric에 수집할 수 있습니다. |
| Azure SQL 데이터베이스 CDC(변경 데이터 캡처) | Azure SQL Database CDC 원본 커넥터를 사용하면 Azure SQL 데이터베이스에서 현재 데이터의 스냅샷을 캡처할 수 있습니다. 그런 다음, 커넥터는 이 데이터에 대한 향후 행 수준 변경 내용을 모니터링하고 기록합니다. |
| PostgreSQL 데이터베이스 CDC | PostgreSQL 데이터베이스 CDC(변경 데이터 캡처) 원본 커넥터를 사용하면 PostgreSQL 데이터베이스에서 현재 데이터의 스냅샷을 캡처할 수 있습니다. 그런 다음, 커넥터는 이 데이터에 대한 향후 행 수준 변경 내용을 모니터링하고 기록합니다. |
| MySQL Database CDC | Azure MySQL CDC(변경 데이터 캡처) 원본 커넥터를 사용하면 Azure Database for MySQL 데이터베이스에서 현재 데이터의 스냅샷을 캡처할 수 있습니다. 모니터링할 테이블을 지정할 수 있으며, Eventstream은 테이블에 대한 향후 행 수준 변경 내용을 기록합니다. |
| Azure Cosmos DB CDC | Microsoft Fabric Eventstream용 Azure Cosmos DB CDC(변경 데이터 캡처) 원본 커넥터를 사용하면 Azure Cosmos DB 데이터베이스에서 현재 데이터의 스냅샷을 캡처할 수 있습니다. 그런 다음, 커넥터는 이 데이터에 대한 향후 행 수준 변경 내용을 모니터링하고 기록합니다. |
| Google Cloud Pub/Sub | Google Pub/Sub는 Eventstream을 게시하고 구독할 수 있는 메시징 서비스입니다. Google Pub/Sub를 Eventstream에 원본으로 추가하여 실시간 이벤트를 캡처 및 변환하고 Fabric의 다양한 목적지로 라우팅할 수 있습니다. |
| Amazon Kinesis Data Streams | Amazon Kinesis Data Streams는 스트리밍 데이터에 최적화된 확장성과 내구성이 뛰어난 데이터 수집 및 처리 서비스입니다. Amazon Kinesis Data Streams를 Eventstream 내 원본으로 통합하면 실시간 데이터 스트림을 원활하게 처리한 후 Fabric 내 여러 목적지로 라우팅할 수 있습니다. |
| Confluent Cloud Kafka | Confluent Cloud Kafka는 Apache Kafka를 사용하여 강력한 데이터 스트리밍 및 처리 기능을 제공하는 스트리밍 플랫폼입니다. Confluent Cloud Kafka를 Eventstream 내의 원본으로 통합하면 실시간 데이터 스트림을 원활하게 처리한 후 Fabric 내의 여러 대상으로 라우팅할 수 있습니다. |
| Azure Blob Storage 이벤트 | Azure Blob Storage 이벤트는 클라이언트가 Blob을 만들거나 바꾸거나 삭제할 때 실행됩니다. 커넥터를 사용하면 Blob Storage 이벤트와 실시간 허브의 Fabric 이벤트를 연결할 수 있습니다. 이러한 이벤트를 연속 데이터 스트림으로 변환하고 Fabric의 다양한 대상으로 라우팅하기 전에 변환할 수 있습니다. |
| Fabric 작업 영역 항목 이벤트 | Fabric 작업 영역 항목 이벤트는 Fabric 작업 영역이 변경될 때 발생하는 불연속 Fabric 이벤트입니다. 이러한 변경 내용에는 Fabric 항목 만들기, 업데이트 또는 삭제가 포함되었습니다. Fabric Eventstream을 사용하면 추가 분석을 위해 이러한 Fabric 작업 영역 이벤트를 캡처하고, 변환하며, Fabric의 다양한 목적지로 라우팅할 수 있습니다. |
| 샘플 데이터 | Eventstream을 설정하는 동안 데이터 수집을 테스트하기 위해 Bicycles, Yellow Taxi 또는 Stock Market events를 샘플 데이터 원본으로 선택할 수 있습니다. |
| 사용자 지정 엔드포인트(즉, 표준 기능의 사용자 지정 앱) | 사용자 지정 엔드포인트 기능을 사용하면 애플리케이션 또는 Kafka 클라이언트가 연결 문자열 사용하여 Eventstream에 연결할 수 있으므로 스트리밍 데이터를 Eventstream으로 원활하게 수집할 수 있습니다. |
노코드 환경을 사용하여 이벤트 처리
끌어서 놓기 환경을 사용하면 코드를 작성하지 않고도 이벤트 데이터 처리, 변환 및 라우팅 논리를 직관적이고 쉽게 만들 수 있습니다. Eventstream의 엔드투엔드 데이터 흐름 다이어그램을 통해 데이터 흐름 및 조직을 포괄적으로 이해할 수 있습니다. 이벤트 프로세서 편집기는 이벤트 데이터 처리 논리를 디자인하기 위해 끌어서 놓을 수 있는 노코드 환경입니다.
| 변환 | 설명 |
|---|---|
| Assert | 필터 변환을 사용하여 입력의 필드 값에 따라 이벤트를 필터링합니다. 데이터 형식(숫자 또는 텍스트)에 따라 변환은 선택한 조건과 일치하는 값(예: is null 또는 is not null)을 유지합니다. |
| 필드 관리 | 필드 관리 변환을 사용하면 데이터 형식을 추가, 제거, 변경하거나 입력 또는 다른 변환에서 수신되는 필드의 이름을 바꿀 수 있습니다. |
| 집계 | 집계 변환을 사용하여 일정 기간 새 이벤트가 발생할 때마다 집계(합계, 최소, 최대 또는 평균)를 계산합니다. 또한 이 작업을 통해 계산 열의 이름을 바꾸고 데이터의 다른 차원을 기반으로 집계를 필터링하거나 분할할 수 있습니다. 동일한 변환에 하나 이상의 집계가 있을 수 있습니다. |
| 그룹 기준 | 그룹화 기준 변환을 사용하여 특정 시간 범위 내의 모든 이벤트에 대한 집계를 계산합니다. 하나 이상의 필드에 있는 값을 기준으로 그룹화할 수 있습니다. 이는 집계 변환을 통해 열 이름을 바꿀 수 있지만 집계에 대한 더 많은 옵션을 제공하고 기간에 대한 더 복잡한 옵션을 포함하는 것과 같습니다. 집계와 마찬가지로 변환당 둘 이상의 집계를 추가할 수 있습니다. |
| Union | 합집합 변환을 사용하여 두 개 이상의 노드를 연결하고 공통 필드(동일한 이름 및 데이터 형식을 가짐)가 있는 이벤트를 하나의 테이블에 추가합니다. 일치하지 않는 필드는 삭제되고 출력에 포함되지 않습니다. |
| Expand | 배열 확장 변환을 사용하여 배열 내의 각 값에 대한 새 행을 만듭니다. |
| 참여 | 두 스트림 간의 일치 조건을 기반으로 두 스트림의 데이터를 결합합니다. |
Eventstream을 만드는 동안 향상된 기능을 사용하는 경우 변환 작업은 모든 목적지에 대해 지원됩니다(파생 스트림은 사용자 지정 엔드포인트, Reflex와 같은 일부 목적지의 중간 브리지 역할을 함). 그렇지 않은 경우 변환 작업은 레이크하우스 및 KQL 데이터베이스(수집 전 이벤트 처리) 목적지에서만 사용할 수 있습니다.
목적지에 이벤트 라우팅
Fabric Eventstream 기능은 지원되는 다음 목적지로 데이터 전송을 지원합니다.
| 대상 | 설명 |
|---|---|
| 사용자 지정 엔드포인트(즉, 표준 기능의 사용자 지정 앱) | 이 목적지를 사용하면 실시간 이벤트를 사용자 지정 엔드포인트로 쉽게 라우팅할 수 있습니다. 사용자 고유의 애플리케이션을 Eventstream에 연결하고 이벤트 데이터를 실시간으로 사용할 수 있습니다. 이 목적지는 실시간 데이터를 Microsoft Fabric 바깥에 있는 외부 시스템으로 송신하려는 경우에 유용합니다. |
| KQL 데이터베이스 | 이 목적지를 사용하면 강력한 KQL(Kusto 쿼리 언어)을 사용하여 데이터를 쿼리하고 분석할 수 있는 KQL 데이터베이스에 실시간 이벤트 데이터를 수집할 수 있습니다. Kusto 데이터베이스의 데이터를 사용하여 이벤트 데이터에 대한 심층적인 인사이트를 얻고 풍부한 보고서 및 대시보드를 만들 수 있습니다. 직접 수집 및 수집 전 이벤트 처리와 같은 두 가지 수집 모드 중에서 선택할 수 있습니다. |
| Lakehouse | 이 목적지는 실시간 이벤트를 레이크하우스로 수집하기 전에 변환할 수 있는 기능을 제공합니다. 실시간 이벤트는 Delta Lake 형식으로 변환된 다음, 지정된 레이크하우스 테이블에 저장됩니다. 이 목적지는 데이터 웨어하우징 시나리오를 지원합니다. |
| Reflex | 이 목적지를 사용하면 실시간 이벤트 데이터를 Reflex에 직접 연결할 수 있습니다. Reflex는 데이터에 연결하고, 조건을 모니터링하며, 작업을 수행하는 데 필요한 모든 정보를 포함하는 지능형 에이전트 유형입니다. 데이터가 특정 임계치에 도달하거나 다른 패턴과 일치하면 Reflex는 사용자 경고 전송 또는 Power Automate 워크플로 시작 등 적절한 작업을 자동으로 수행합니다. |
| 파생 스트림 | 파생 스트림은 Eventstream에 대한 필드 필터링 또는 필드 관리와 같은 스트림 작업을 적용한 후 만들어진 특수 유형의 목적지입니다. 파생 스트림은 스트림 처리 후 변환된 기본 스트림을 나타냅니다. 파생 스트림을 Fabric의 여러 목적지로 라우팅하고 실시간 허브에서 파생 스트림을 볼 수 있습니다. |
Eventstream에서 여러 목적지를 연결하여 서로 간섭하지 않고 Eventstream에서 동시에 데이터를 받을 수 있습니다.
참고 항목
4개 이상의 용량 단위(SKU: F4)로 Microsoft Fabric Eventstream 기능을 사용하는 것이 좋습니다.
향상된 기능(미리 보기)
Eventstream을 만드는 동안 향상된 기능(미리 보기) 옵션을 사용할 때 사용할 수 있는 더 많은 기능, 원본 및 목적지가 있습니다. 향상된 기능(미리 보기) 및 표준 기능 탭을 사용하여 향상된 기능으로 지원되는 추가 원본 및 목적지에 대해 알아봅니다.
다음은 향상된 기능(미리 보기) 중 몇 가지 다른 주목할 만한 기능입니다.
- 편집 모드 및 라이브 뷰. 스트림 처리를 시각화하고 디자인하기 위한 두 가지 고유한 모드를 살펴봅니다.
- 기본 및 파생 스트림. 나중에 실시간 허브에서 사용할 수 있는 이벤트 프로세서를 통해 사용자가 디자인한 형식으로 스트림의 연속 흐름을 만듭니다.
- 콘텐츠를 기반으로 하는 데이터 스트림 라우팅. 이벤트 프로세서를 통해 사용자가 디자인한 데이터 스트림 콘텐츠를 기반으로 Fabric 내 어디서나 데이터 스트림을 변환하고 라우팅합니다.