의미 체계 링크란?
의미 체계 링크는 의미 체계 모델과 Microsoft Fabric의 Synapse 데이터 과학 간의 연결을 설정할 수 있는 기능입니다. 의미 체계 링크의 사용은 Microsoft Fabric에서만 지원됩니다.
Spark 3.4 이상 버전의 경우 Fabric을 사용할 때 기본 런타임에서 의미 체계 링크를 사용할 수 있으므로 설치할 필요가 없습니다.
Spark 3.3 이하 버전의 경우 또는 최신 버전의 의미 체계 링크로 업데이트하려면 다음 명령을 실행합니다.
%pip install -U semantic-link
의미 체계 링크의 주요 목표는 다음과 같습니다.
- 데이터 연결을 용이하게 합니다.
- 의미 체계 정보의 전파를 사용할 수 있게 합니다.
- Notebook과 같이 데이터 과학자가 사용하는 기존 도구와 원활하게 통합됩니다.
의미 체계 링크를 사용하면 데이터 분석 속도를 높이고 오류를 줄일 수 있는 표준화된 방식으로 데이터 의미 체계에 대한 도메인 지식을 보존할 수 있습니다.
의미 체계 링크 데이터 흐름
의미 체계 링크 데이터 흐름은 데이터 및 의미 체계 정보를 포함하는 의미 체계 모델로 시작됩니다. 의미 체계 링크는 Power BI와 Synapse 데이터 과학 환경 간의 격차를 해소합니다.
의미 체계 링크를 사용하면 Synapse 데이터 과학 환경에서 Power BI의 의미 체계 모델을 사용하여 기계 학습 기술로 심층 통계 분석 및 예측 모델링과 같은 작업을 수행할 수 있습니다. Apache Spark를 사용하여 데이터 과학 작업의 출력을 OneLake에 저장하고 Direct Lake를 사용하여 저장된 출력을 Power BI에 수집할 수 있습니다.
Power BI 연결
의미 체계 모델은 Power BI 측정값과 같은 의미 체계 정의에 대한 신뢰할 수 있는 소스를 제공하는 단일 테이블 형식 개체 모델 역할을 합니다. 의미 체계 링크는 다음 에코시스템의 의미 체계 모델에 연결되므로 데이터 과학자가 가장 익숙한 시스템에서 쉽게 작업할 수 있습니다.
- SemPy Python 라이브러리를 통한 Python Pandas 에코시스템
- Spark 네이티브 커넥터를 통한 Apache Spark 에코시스템 이 구현은 PySpark, Spark SQL, R, Scala를 비롯한 다양한 언어를 지원합니다.
의미 체계 정보의 응용
데이터의 의미 체계 정보에는 주소 및 우편 번호, 테이블 간의 관계, 계층 구조 정보와 같은 Power BI 데이터 범주가 포함됩니다.
이러한 데이터 범주는 Synapse 데이터 과학 환경에 의미 체계 링크가 전파되는 메타데이터로 구성되어 새로운 경험을 제공하고 데이터 계보를 유지합니다.
의미 체계 링크의 몇 가지 응용 사례는 다음과 같습니다.
- 기본 제공 의미 체계 함수의 지능형 제안
- 추가 측정값을 사용하여 Power BI 측정값으로 데이터를 보강하는 혁신적인 통합
- 테이블 간의 관계와 테이블 내의 함수 종속성을 기반으로 데이터 품질 유효성 검사 도구
의미 체계 링크는 비즈니스 분석가가 포괄적인 데이터 과학 환경에서 데이터를 효과적으로 사용할 수 있는 강력한 도구입니다.
의미 체계 링크는 Power BI 측정값에 포함된 비즈니스 논리를 다시 구현할 필요성을 없애 데이터 과학자와 비즈니스 분석가 간의 원활한 협업을 촉진합니다. 이 접근 방식을 사용하면 양 당사자가 효율적이고 생산적으로 작업하여 데이터 기반 인사이트의 잠재력을 극대화할 수 있습니다.
FabricDataFrame 데이터 구조
FabricDataFrame은 의미 체계 링크가 의미 체계 정보를 의미 체계 모델에서 Synapse 데이터 과학 환경으로 전파하는 데 사용하는 기본 데이터 구조입니다.
FabricDataFrame 클래스:
- 모든 Pandas 작업을 지원합니다.
- Pandas DataFrame을 하위 클래스화하고 의미 체계 정보 및 계보와 같은 메타데이터를 추가합니다.
- 데이터 과학 작업에서 Power BI 측정값을 사용할 수 있게 해주는 의미 체계 함수와 추가 측정값 방법을 소개합니다.