OneLake 바로 가기

Microsoft OneLake의 바로 가기를 사용하면 전체 엔터프라이즈에 대한 단일 가상 데이터 레이크를 만들어 도메인, 클라우드 및 계정 간에 데이터를 통합할 수 있습니다. 모든 Fabric 환경 및 분석 엔진은 통합 네임스페이스를 통해 Azure, AWS(Amazon Web Services) 및 OneLake와 같은 기존 데이터 원본에 직접 연결할 수 있습니다. OneLake는 모든 권한 및 자격 증명을 관리하므로 각 데이터 원본에 연결하도록 각 Fabric 워크로드를 별도로 구성할 필요가 없습니다. 또한 바로 가기를 사용하여 데이터의 엣지 복사본을 제거하고 데이터 복사본 및 스테이징과 관련된 프로세스 대기 시간을 줄일 수 있습니다.

바로 가기는 무엇인가요?

바로 가기는 다른 스토리지 위치를 가리키는 OneLake의 개체입니다. 위치는 OneLake 내부 또는 외부일 수 있습니다. 바로 가기가 가리키는 위치를 바로 가기의 대상 경로라고 합니다. 바로 가기가 표시되는 위치를 바로 가기 경로라고 합니다. 바로 가기는 OneLake에 폴더로 표시되며 OneLake에 액세스할 수 있는 모든 워크로드 또는 서비스에서 사용할 수 있습니다. 바로 가기는 바로 가기 링크처럼 동작합니다. 바로 가기는 대상과 독립적인 개체입니다. 바로 가기를 삭제하면 대상은 영향을 받지 않습니다. 대상 경로를 이동, 이름 바꾸기 또는 삭제하면 바로 가기가 끊어질 수 있습니다.

바로 가기는 어디에서 만들 수 있나요?

레이크하우스s 및 KQL(Kusto 쿼리 언어) 데이터베이스에서 바로 가기를 만들 수 있습니다. 또한 이러한 항목 내에서 만드는 바로 가기는 다른 OneLake 위치, ADLS(Azure Data Lake Storage) Gen2, Amazon S3 스토리지 계정 또는 Dataverse를 가리킬 수 있습니다. Fabric OPDG(온-프레미스 데이터 게이트웨이)를 사용하여 온-프레미스 또는 네트워크 제한 위치에 대한 바로 가기를 만들 수도 있습니다.

Fabric UI를 사용하여 대화형으로 바로 가기를 만들 수 있으며 REST API를 사용하여 프로그래밍 방식으로 바로 가기를 만들 수 있습니다.

Lakehouse

레이크하우스에서 바로 가기를 만들 때 항목의 폴더 구조를 이해해야 합니다. 레이크하우스는 테이블 폴더와 파일 폴더라는 두 개의 최상위 폴더로 구성됩니다. Tables 폴더는 lakehouse의 관리되는 부분(예: 구조적 데이터 세트)을 나타냅니다. Files 폴더는 비구조적 또는 반구조적 데이터에 대한 레이크하우스의 관리되지 않는 부분입니다.

테이블 폴더에서는 최상위 수준에서만 바로 가기를 만들 수 있습니다. 테이블 폴더의 다른 하위 디렉터리에서는 바로 가기가 지원되지 않습니다. 테이블 섹션의 바로 가기는 일반적으로 OneLake 내의 내부 원본을 가리키거나 델타 테이블 형식을 따르는 다른 데이터 자산에 연결됩니다. 바로 가기의 대상에 Delta\Parquet 형식의 데이터가 포함된 경우 레이크하우스는 메타데이터를 자동으로 동기화하고 폴더를 테이블로 인식합니다.

파일 폴더에는 바로 가기를 만들 수 있는 위치에 대한 제한이 없습니다. 폴더 계층 구조의 모든 수준에서 바로 가기를 만들 수 있습니다. 파일 폴더에서는 테이블 검색이 수행되지 않습니다. 여기서 바로 가기는 모든 형식의 데이터가 있는 내부(OneLake) 및 외부 스토리지 시스템을 가리킬 수 있습니다.

KQL 데이터베이스

KQL 데이터베이스에서 바로 가기를 만들면 데이터베이스의 바로 가기 폴더에 표시됩니다. KQL 데이터베이스는 외부 테이블과 같은 바로 가기를 취급합니다. 바로 가기를 쿼리하려면 Kusto 쿼리 언어의 external_table 함수를 사용합니다.

어디에서 바로 가기에 액세스할 수 있나요?

OneLake에서 데이터에 액세스할 수 있는 Fabric 또는 비Fabric 서비스는 바로 가기를 사용할 수 있습니다. 바로 가기는 OneLake API를 통해 데이터에 액세스하는 모든 서비스에 투명합니다. 바로 가기는 레이크의 다른 폴더로 나타납니다. Apache Spark, SQL, 실시간 인텔리전스 및 Analysis Services는 데이터를 쿼리할 때 모두 바로 가기를 활용할 수 있습니다.

Apache Spark

Apache Spark 노트북 및 Apache Spark 작업은 OneLake에서 만드는 바로 가기를 사용할 수 있습니다. 상대 파일 경로를 사용하여 바로 가기에서 데이터를 직접 읽을 수 있습니다. 또한 레이크하우스의 테이블 섹션에서 바로 가기를 만들고 델타 형식인 경우 Apache Spark SQL 구문을 사용하여 관리되는 테이블로 읽을 수 있습니다.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

SQL

레이크하우스에 대한 SQL 분석 엔드포인트를 통해 레이크하우스의 테이블 섹션에서 바로 가기를 읽을 수도 있습니다. 레이크하우스의 모드 선택기 또는 SSMS(SQL Server Management Studio)를 통해 SQL 분석 엔드포인트에 액세스할 수 있습니다.

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

실시간 인텔리전스

KQL 데이터베이스의 바로 가기는 외부 테이블로 인식됩니다. 바로 가기를 쿼리하려면 Kusto 쿼리 언어의 external_table 함수를 사용합니다.

external_table('MyShortcut')
| take 100

Analysis Services

레이크하우스의 Tables 섹션에서 바로 가기가 포함된 레이크하우스에 대한 의미 체계 모델을 만들 수 있습니다. 의미 체계 모델이 Direct Lake 모드에서 실행되면 Analysis Services는 바로 가기에서 직접 데이터를 읽을 수 있습니다.

비 Fabric

Fabric 외부의 애플리케이션 및 서비스는 OneLake API를 통해 바로 가기에 액세스할 수도 있습니다. OneLake는 ADLS Gen2 및 Blob Storage API의 하위 집합을 지원합니다. OneLake API에 대한 자세한 내용은 API를 사용한 OneLake 액세스를 참조하세요.

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

바로 가기 유형

OneLake 바로 가기는 여러 파일 시스템 데이터 원본을 지원합니다. 여기에는 내부 OneLake 위치, ADLS(Azure Data Lake Storage) Gen2, Amazon S3, S3 Compatible, GCS(Google Cloud Storage) 및 Dataverse가 포함됩니다.

내부 OneLake 바로 가기

내부 OneLake 바로 가기를 사용하면 기존 Fabric 항목 내의 데이터를 참조할 수 있습니다. 이러한 항목에는 레이크하우스, KQL 데이터베이스 및 데이터 웨어하우스가 포함됩니다. 바로 가기는 동일한 작업 영역 내의 항목 또는 다른 작업 영역의 항목 전체에 걸쳐 동일한 항목 내의 폴더 위치를 가리킬 수 있습니다. 항목 간에 바로 가기를 만들 때 항목 유형이 일치할 필요가 없습니다. 예를 들어 레이크하우스에서 데이터 웨어하우스의 데이터를 가리키는 바로 가기를 만들 수 있습니다.

사용자가 또 다른 OneLake 위치에 대한 바로 가기를 통해 데이터에 액세스하는 경우, 호출하는 사용자의 ID를 활용하여 바로 가기*의 대상 경로에 있는 데이터에 대한 액세스 권한이 부여됩니다. 사용자가 데이터를 읽으려면 대상 위치에 권한이 있어야 합니다.

ADLS 바로 가기

ADLS Gen2 스토리지 계정에 대한 바로 가기를 만들 수도 있습니다. ADLS에 대한 바로 가기를 만들 때 대상 경로는 계층 구조 네임스페이스 내의 모든 폴더를 가리킬 수 있습니다. 최소한 대상 경로에는 컨테이너 이름이 포함되어야 합니다.

Access

ADLS 바로 가기는 스토리지 계정에 대한 DFS 엔드포인트를 가리켜야 합니다. 예: https://accountname.dfs.core.windows.net/

스토리지 계정이 스토리지 방화벽으로 보호되는 경우 신뢰할 수 있는 서비스 액세스를 구성할 수 있습니다. 신뢰할 수 있는 작업 영역 액세스 참조

Authorization

ADLS 바로 가기는 위임된 권한 부여 모델을 사용합니다. 이 모델에서 바로 가기 작성자는 ADLS 바로 가기에 대한 자격 증명을 지정하고 해당 바로 가기에 대한 모든 액세스는 해당 자격 증명을 사용하여 권한이 부여됩니다. 지원되는 위임 유형은 조직 계정, 계정 키, SAS(공유 액세스 서명) 및 서비스 주체입니다.

• 조직 계정은 스토리지 계정에 대한 Storage Blob 데이터 읽기 권한자, Storage Blob 데이터 기여자 또는 Storage Blob 데이터 소유자 역할이어야 합니다.
• SAS(공유 액세스 서명)는 읽기, 나열 및 실행 권한 이상을 포함해야 합니다.
• 서비스 주체는 스토리지 계정에 대한 Storage Blob 데이터 읽기 권한자, Storage Blob 데이터 기여자 또는 Storage Blob 데이터 소유자 역할이어야 합니다.
• 작업 영역 ID - 스토리지 계정에 스토리지 Blob 데이터 판독기, 스토리지 Blob 데이터 기여자 또는 스토리지 Blob 데이터 소유자 역할이 있어야 합니다.

S3 바로 가기

Amazon S3 계정에 대한 바로 가기를 만들 수도 있습니다. Amazon S3에 대한 바로 가기를 만들 때 대상 경로에는 최소한의 버킷 이름이 포함되어야 합니다. S3은 기본적으로 계층 구조 네임스페이스를 지원하지 않지만 접두사를 사용하여 디렉터리 구조를 모방할 수 있습니다. 바로 가기 경로에 접두사를 포함하여 바로 가기를 통해 액세스할 수 있는 데이터의 범위를 더 좁힐 수 있습니다. S3 바로 가기를 통해 데이터에 액세스할 때 접두사는 폴더로 표시됩니다.

Access

S3 바로 가기는 S3 버킷에 대한 https 엔드포인트를 가리켜야 합니다.

예: https://bucketname.s3.region.amazonaws.com/

Authorization

S3 바로 가기는 위임된 권한 부여 모델을 사용합니다. 이 모델에서 바로 가기 제작자는 S3 바로 가기에 대한 자격 증명을 지정하고 해당 바로 가기에 대한 모든 액세스는 해당 자격 증명을 사용하여 권한이 부여됩니다. 지원되는 위임된 자격 증명은 IAM 사용자의 키 및 비밀입니다.

IAM 사용자에게는 바로 가기가 가리키는 버킷에 대한 다음 권한이 있어야 합니다.

• S3:GetObject
• S3:GetBucketLocation
• S3:ListBucket

Google Cloud Storage 바로 가기

GCS용 XML API를 사용하여 GCS(Google 클라우드 스토리지)에 대한 바로 가기를 만들 수 있습니다. Google Cloud Storage에 대한 바로 가기를 만들 때 대상 경로에는 최소한의 버킷 이름이 포함되어야 합니다. 스토리지 계층 구조 내에서 가리키려는 접두사/폴더를 추가로 지정하여 바로 가기 범위를 제한할 수도 있습니다.

Access

GCS 바로 가기에 대한 연결을 구성할 때 스토리지 서비스에 대한 전역 엔드포인트를 지정하거나 버킷 특정 엔드포인트를 사용할 수 있습니다.

• 전역 엔드포인트 예제: https://storage.googleapis.com
• 버킷별 엔드포인트 예제: https://<BucketName>.storage.googleapis.com

Authorization

GCS 바로 가기는 위임된 권한 부여 모델을 사용합니다. 이 모델에서 바로 가기 제작자는 GCS 바로 가기에 대한 자격 증명을 지정하고 해당 바로 가기에 대한 모든 액세스는 해당 자격 증명을 사용하여 권한이 부여됩니다. 지원되는 위임된 자격 증명은 서비스 계정 또는 사용자 계정에 대한 HMAC 키 및 비밀입니다.

계정에는 GCS 버킷 내의 데이터에 액세스할 수 있는 권한이 있어야 합니다. 바로 가기에 대한 연결에 버킷 특정 엔드포인트가 사용된 경우 계정에는 다음 권한이 있어야 합니다.

• storage.objects.get
• stoage.objects.list

바로 가기에 대한 연결에 전역 엔드포인트를 사용한 경우 계정에 다음 권한도 있어야 합니다.

• storage.buckets.list

Dataverse 바로 가기

Dataverse와 Microsoft Fabric의 직접 통합을 통해 조직은 Dynamics 365 엔터프라이즈 애플리케이션 및 비즈니스 프로세스를 Fabric으로 확장할 수 있습니다. 이 통합은 PowerApps Maker 포털 또는 Fabric을 통해 직접 두 가지 방법으로 만들 수 있는 바로 가기를 통해 수행됩니다.

PowerApps Maker 포털을 통해 바로 가기 만들기

권한 있는 PowerApps 사용자는 PowerApps 제작자 포털에 액세스할 수 있고 Microsoft Fabric으로 링크 기능을 사용할 수 있습니다. 이 단일 작업에서 레이크하우스는 Fabric에서 만들어지고 Dataverse 환경의 각 테이블에 대해 바로 가기가 자동으로 생성됩니다. 자세한 내용은 Microsoft Fabric과 Dataverse 직접 통합을 참조 하세요.

Fabric을 통해 바로 가기 만들기

Fabric 사용자는 Dataverse에 대한 바로 가기를 만들 수도 있습니다. UX 바로 가기 만들기에서 사용자는 Dataverse를 선택하고, 환경 URL을 제공하고, 사용 가능한 테이블을 찾아볼 수 있습니다. 이 환경을 통해 사용자는 모든 테이블을 가져오는 대신 Fabric으로 가져올 테이블을 선택적으로 선택할 수 있습니다.

Authorization

Dataverse 바로 가기는 위임된 권한 부여 모델을 사용합니다. 이 모델에서 바로 가기 제작자는 Dataverse 바로 가기에 대한 자격 증명을 지정하고 해당 바로 가기에 대한 모든 액세스 권한은 해당 자격 증명을 사용하여 권한이 부여됩니다. 지원되는 위임된 자격 증명 유형은 조직 계정(OAuth2)입니다. 조직 계정에는 Dataverse Managed Lake의 데이터에 액세스할 수 있는 시스템 관리자 권한이 있어야 합니다.

캐싱

바로 가기 캐싱을 사용하여 크로스 클라우드 데이터 액세스와 관련된 이그레스 비용을 줄일 수 있습니다. 외부 바로 가기를 통해 파일을 읽을 때 파일은 Fabric 작업 영역의 캐시에 저장됩니다. 후속 읽기 요청은 원격 스토리지 공급자가 아닌 캐시에서 제공됩니다. 캐시된 파일의 보존 기간은 24시간입니다. 파일에 액세스할 때마다 보존 기간이 다시 설정됩니다. 원격 스토리지 공급자의 파일이 캐시의 파일보다 최신인 경우 요청은 원격 스토리지 공급자에서 제공되며 업데이트된 파일은 캐시에 저장됩니다. 파일이 24시간 이상 액세스되지 않은 경우 캐시에서 제거됩니다. 크기가 1GB보다 큰 개별 파일은 캐시되지 않습니다.

바로 가기에 대한 캐싱을 사용하도록 설정하려면 작업 영역 설정 패널을 엽니다. OneLake 탭을 선택합니다. 캐시 설정을 켜기로 전환하고 저장을 선택합니다.

바로 가기가 클라우드 연결을 활용하는 방법

ADLS 및 S3 바로 가기 권한 부여는 클라우드 연결을 사용하여 위임됩니다. 새 ADLS 또는 S3 바로 가기를 만들 때 새 연결을 만들거나 데이터 원본에 대한 기존 연결을 선택합니다. 바로 가기에 대한 연결을 설정하는 것은 바인딩 작업입니다. 연결 권한이 있는 사용자만 바인딩 작업을 수행할 수 있습니다. 연결에 대한 권한이 없는 경우 해당 연결을 사용하여 새 바로 가기를 만들 수 없습니다.

바로 가기의 보안

바로 가기를 관리 및 사용하려면 특정 권한이 필요합니다. OneLake 바로 가기의 보안 은 바로 가기를 만들고 이를 사용하여 데이터에 액세스하는 데 필요한 권한을 확인합니다.

바로 가기는 삭제를 어떻게 처리하나요?

바로 가기는 하위 삭제를 수행하지 않습니다. 바로 가기에서 삭제 작업을 수행하는 경우 바로 가기 개체만 삭제합니다. 바로 가기 대상의 데이터는 변경되지 않은 상태로 유지됩니다. 그러나 바로 가기 내의 파일 또는 폴더에서 삭제 작업을 수행하고 바로 가기 대상에 삭제 작업을 수행할 수 있는 권한이 있는 경우 대상에서 파일 및 폴더가 함께 또는 둘 중 하나가 삭제됩니다. 다음 예제에서는 이 항목을 보여줍니다.

삭제 예시

사용자 A는 다음 경로가 있는 레이크하우스가 있습니다.

MyLakehouse\Files\MyShortcut\Foo\Bar

MyShortcut은 Foo\Bar 디렉터리를 포함하는 ADLS Gen2 계정을 가리키는 바로 가기입니다.

바로 가기 개체 삭제

사용자 A는 다음 경로에서 삭제 작업을 수행합니다.

MyLakehouse\Files\MyShortcut

이 경우 MyShortcut 은 레이크하우스에서 삭제됩니다. 바로 가기는 하위 삭제를 수행하지 않으므로 ADLS Gen2 계정 Foo\Bar 의 파일 및 디렉터리는 영향을 받지 않습니다.

바로 가기에서 참조하는 콘텐츠 삭제

사용자 A는 다음 경로에서 삭제 작업을 수행합니다.

MyLakehouse\Files\MyShortcut\Foo\Bar

이 경우 사용자 A가 ADLS Gen2 계정에 쓰기 권한이 있는 경우 ADLS Gen2 계정에서 Bar 디렉터리가 삭제됩니다.

작업 영역 계보 보기

작업 영역 내의 여러 Fabric 항목 간에 바로 가기를 만들 때 작업 영역 계보 보기를 통해 바로 가기 관계를 시각화할 수 있습니다. 작업 영역 탐색기의 오른쪽 위 모서리에서 계보 보기 버튼( )를 선택합니다.

제한 사항 및 고려 사항

• Fabric 항목당 최대 바로 가기 수는 100,000개입니다. 이 컨텍스트에서 용어 항목은 앱, 레이크하우스, 웨어하우스, 보고서 등을 가리킵니다.
• 단일 OneLake 경로의 최대 바로 가기 수는 10개입니다.
• 바로 가기 링크에 대한 직접 바로 가기의 최대 수는 5개입니다.
• ADLS 및 S3 바로 가기 대상 경로는 RFC 3986 섹션 2.2의 예약된 문자를 포함할 수 없습니다. 허용되는 문자는 RFC 3968 섹션 2.3을 참조하세요.
• OneLake 바로 가기 이름, 부모 경로 및 대상 경로는 "%" 또는 "+" 문자를 포함할 수 없습니다.
• 바로 가기는 라틴 문자가 아닌 문자를 지원하지 않습니다.
• ADLS 또는 S3 바로 가기에 대해 지원되지 않는 Blob API를 복사합니다.
• 함수 복사는 ADLS 컨테이너를 직접 가리키는 바로 가기에서 작동하지 않습니다. 컨테이너보다 한 수준 이상 낮은 디렉터리에 대한 ADLS 바로 가기를 만드는 것이 좋습니다.
• ADLS 또는 S3 바로 가기 내에는 더 많은 바로 가기를 만들 수 없습니다.
• 데이터 웨어하우스 및 의미 체계 모델에 대한 바로 가기 계보는 현재 사용할 수 없습니다.
• Table API에서 새 바로 가기를 인식하는 데 최대 1분이 걸릴 수 있습니다.
• OneLake 바로 가기는 관리형 프라이빗 엔드포인트를 사용하는 ADLS Gen2 스토리지 계정에 대한 연결을 아직 지원하지 않습니다. 자세한 내용은 Fabric용 관리형 프라이빗 엔드포인트를 참조하세요.

관련 콘텐츠

• OneLake 바로 가기 만들기
• OneLake 바로 가기 REST API를 사용