그룹에 컴퓨팅 리소스 할당

아티클
12/18/2024

중요하다

이 문서에서는 전용 액세스 모드를 사용하여 그룹에 할당된 컴퓨팅 리소스를 만드는 방법을 설명합니다.

전용 그룹 액세스 모드를 사용하면 사용자가 표준 액세스 모드 클러스터의 운영 효율성을 얻는 동시에 ML용 Databricks Runtime, MLlib(Spark Machine Learning Library), RDD API 및 R과 같은 표준 액세스 모드에서 지원되지 않는 언어 및 워크로드를 안전하게 지원할 수 있습니다.

전용 그룹 클러스터 공개 미리 보기를 사용하도록 설정하면 작업 영역도 간소화된 새 컴퓨팅 UI에 액세스할 수 있습니다. 이 새로운 UI는 액세스 모드의 이름을 업데이트하고 컴퓨팅 설정을 간소화합니다. 간단한 양식을 사용하여 컴퓨트 리소스를 관리하세요.

요구 사항

전용 그룹 액세스 모드를 사용하려면 다음을 수행합니다.

작업 영역 관리자는 미리 보기 UI를 사용하여 Compute: 전용 그룹 클러스터 미리 보기를 사용하도록 설정해야 합니다. Azure Databricks 미리 보기 관리을 참조하세요.
작업 영역은 Unity 카탈로그와 함께 사용 가능해야 합니다.
Databricks Runtime 15.4 이상을 사용해야 합니다.
할당된 그룹에는 Notebook, ML 실험 및 그룹 클러스터에서 사용하는 기타 작업 영역 아티팩트를 유지할 수 있는 작업 영역 폴더에 대한 CAN MANAGE 권한이 있어야 합니다.

전용 액세스 모드란?

전용 액세스 모드는 단일 사용자 액세스 모드의 최신 버전입니다. 전용 액세스를 사용하면 컴퓨팅 리소스를 단일 사용자 또는 그룹에 할당할 수 있으며 할당된 사용자만 컴퓨팅 리소스를 사용할 수 있습니다.

사용자가 그룹(그룹 클러스터)에 전용된 컴퓨팅 리소스에 연결된 경우 사용자의 권한은 그룹의 사용 권한으로 범위를 자동으로 축소하여 사용자가 그룹의 다른 구성원과 리소스를 안전하게 공유할 수 있도록 합니다.

그룹에 전용 컴퓨팅 리소스 만들기

Azure Databricks 작업 영역에서 Compute 로 이동한 다음 컴퓨팅 생성을 클릭합니다.
고급 항목을 확장하세요.
액세스 모드에서 수동을 클릭한 다음, 드롭다운 메뉴에서 전용(이전: 단일 사용자)를 선택합니다.
단일 사용자 또는 그룹 필드에서 이 리소스에 할당할 그룹을 선택합니다.
원하는 다른 컴퓨팅 설정을 구성한 다음 만들기클릭합니다.

그룹 클러스터를 관리하기 위한 모범 사례

사용자 권한은 그룹 클러스터를 사용할 때 그룹으로 범위가 지정되므로 Databricks는 그룹 클러스터와 함께 사용하려는 각 그룹에 대해 /Workspace/Groups/<groupName> 폴더를 만드는 것이 좋습니다. 그런 다음 폴더에 대한 CAN MANAGE 권한을 그룹에 할당합니다. 이를 통해 그룹은 사용 권한 오류를 방지할 수 있습니다. 그룹의 모든 Notebook 및 작업 영역 자산은 그룹 폴더에서 관리해야 합니다.

또한 다음 워크로드를 수정하여 그룹 클러스터에서 실행해야 합니다.

MLflow: 그룹 폴더에서 노트북을 실행하거나 mlflow.set_tracking_uri("/Workspace/Groups/<groupName>")을 실행하세요.
AutoML: AutoML 실행에 대해 옵션 experiment_dir 매개 변수를 “/Workspace/Groups/<groupName>”로 설정합니다.
dbutils.notebook.run: 그룹에 실행 중인 Notebook에 대한 READ 권한이 있는지 확인합니다.

그룹 사용 권한 예제

그룹 클러스터를 사용하여 데이터 개체를 만들 때 그룹은 개체의 소유자로 할당됩니다.

예를 들어 그룹 클러스터에 연결된 Notebook이 있는 경우 다음 명령을 실행합니다.

use catalog main;
create schema group_cluster_group_schema;

그런 다음, 이 쿼리를 실행하여 스키마의 소유자를 확인합니다.

describe schema group_cluster_group_schema;

그룹 스키마 대한 예제 설명

감사 그룹을 위한 전용 계산 작업

그룹 클러스터가 워크로드를 실행할 때 관련된 두 가지 주요 ID가 있습니다.

그룹 클러스터에서 워크로드를 실행하는 사용자
실제 워크로드 작업을 수행하는 데 사용 권한이 사용되는 그룹

감사 로그 시스템 테이블은 이러한 ID를 다음 매개 변수 아래에 기록합니다.

identity_metadata.run_by: 작업을 수행하는 인증 사용자
identity_metadata.run_as: 작업에 사용되는 권한을 가진 권한 그룹입니다.

다음 예제 쿼리는 그룹 클러스터에서 수행한 작업에 대한 ID 메타데이터를 끌어올 수 있습니다.

select action_name, event_time, user_identity.email, identity_metadata
from system.access.audit
where user_identity.email = "uc-group-cluster-group" AND service_name = "unityCatalog"
order by event_time desc limit 100;

더 많은 예제 쿼리에 대한 감사 로그 시스템 테이블 참조를 봅니다. 감사 로그 시스템 테이블 을(를) 참조하십시오.

제한

전용 그룹 액세스 모드 공개 미리 보기에는 다음과 같은 알려진 제한 사항이 있습니다.

계보 시스템 테이블은 그룹 클러스터에서 실행되는 워크로드에 대한 identity_metadata.run_as(권한 부여 그룹) 또는 identity_metadata.run_by(인증 사용자) ID를 기록하지 않습니다.
고객 스토리지에 전달된 감사 로그는 그룹 클러스터에서 실행되는 워크로드에 대한 identity_metadata.run_as(권한 부여 그룹) 또는 identity_metadata.run_by(인증 사용자) ID를 기록하지 않습니다. id 메타데이터를 보려면 system.access.audit 테이블을 사용해야 합니다.
그룹 클러스터에 연결된 경우 카탈로그 탐색기는 그룹에만 액세스할 수 있는 자산으로 필터링하지 않습니다.
그룹 구성원이 아닌 그룹 관리자는 그룹 클러스터를 만들거나 편집하거나 삭제할 수 없습니다. 작업 영역 관리자 및 그룹 구성원만 이 작업을 수행할 수 있습니다.
그룹의 이름이 바뀐 경우 그룹 이름을 참조하는 컴퓨팅 정책을 수동으로 업데이트해야 합니다.
ACL이 비활성화된 작업 영역에는 그룹 클러스터가 지원되지 않습니다(isWorkspaceAclsEnabled == false). 작업 영역 ACL을 사용하지 않도록 설정할 때 고유하게 보안 및 데이터 액세스 제어가 부족하기 때문입니다.
%run 명령은 현재 그룹 클러스터에서 실행될 때 그룹의 권한 대신 사용자의 권한을 사용합니다. dbutils.notebook.run() 같은 대안은 그룹의 사용 권한을 올바르게 사용합니다.

다음을 통해 공유