Datastore 클래스

이름으로 데이터 저장소를 가져옵니다. 이는 생성자를 호출하는 것과 같습니다.

static get(workspace, datastore_name)

매개 변수

반환

작업 영역의 기본 데이터 저장소를 가져옵니다.

static get_default(workspace)

매개 변수

반환

Azure Blob 컨테이너를 데이터 저장소에 등록합니다.

GA(자격 증명 기반) 및 ID 기반(미리 보기) 데이터 액세스가 지원됩니다. SAS 토큰 또는 스토리지 계정 키를 사용하기로 선택할 수 있습니다. 데이터 저장소와 함께 자격 증명을 저장하지 않으면 사용자의 AAD 토큰이 Notebook 또는 로컬 python 프로그램에서 사용됩니다. FileDataset.mount, FileDataset.download, FileDataset.to_path, TabularDataset.to_pandas_dataframe, TabularDataset.to_dask_dataframe, TabularDataset.to_spark_dataframe, TabularDataset.to_parquet_files, TabularDataset.to_csv_files 함수 중 하나가 직접 호출되는 경우 컴퓨팅 대상의 ID는 데이터 액세스 인증을 위해 Experiment.submit에 의해 제출된 작업에 사용됩니다. 여기를 참조하세요.

static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)

매개 변수

반환

설명

작업 영역 지역과 다른 지역의 스토리지를 연결하면 대기 시간이 증가하고 추가 네트워크 사용 비용이 발생할 수 있습니다.

새 Azure Data Lake 데이터 저장소를 초기화합니다.

GA(자격 증명 기반) 및 ID 기반(미리 보기) 데이터 액세스가 지원됩니다. 자격 증명 기반 데이터 액세스를 위해 서비스 주체에 데이터 저장소를 등록할 수 있습니다. 데이터 저장소와 함께 자격 증명을 저장하지 않으면 사용자의 AAD 토큰이 Notebook 또는 로컬 python 프로그램에서 사용됩니다. FileDataset.mount, FileDataset.download, FileDataset.to_path, TabularDataset.to_pandas_dataframe, TabularDataset.to_dask_dataframe, TabularDataset.to_spark_dataframe, TabularDataset.to_parquet_files, TabularDataset.to_csv_files 함수 중 하나가 직접 호출되는 경우 컴퓨팅 대상의 ID는 데이터 액세스 인증을 위해 Experiment.submit에 의해 제출된 작업에 사용됩니다. 여기를 참조하세요.

Azure Data Lake Gen1을 데이터 저장소로 등록하는 방법의 예는 아래를 참조하세요.

   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal

static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)

매개 변수

반환

설명

작업 영역 지역과 다른 지역의 스토리지를 연결하면 대기 시간이 증가하고 추가 네트워크 사용 비용이 발생할 수 있습니다.

새 Azure Data Lake Gen2 데이터 저장소를 초기화합니다.

GA(자격 증명 기반) 및 ID 기반(미리 보기) 데이터 액세스가 지원됩니다. 자격 증명 기반 데이터 액세스를 위해 서비스 주체에 데이터 저장소를 등록할 수 있습니다. 데이터 저장소와 함께 자격 증명을 저장하지 않으면 사용자의 AAD 토큰이 Notebook 또는 로컬 python 프로그램에서 사용됩니다. FileDataset.mount, FileDataset.download, FileDataset.to_path, TabularDataset.to_pandas_dataframe, TabularDataset.to_dask_dataframe, TabularDataset.to_spark_dataframe, TabularDataset.to_parquet_files, TabularDataset.to_csv_files 함수 중 하나가 직접 호출되는 경우 컴퓨팅 대상의 ID는 데이터 액세스 인증을 위해 Experiment.submit에 의해 제출된 작업에 사용됩니다. 여기를 참조하세요.

static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)

매개 변수

반환

설명

작업 영역 지역과 다른 지역의 스토리지를 연결하면 대기 시간이 증가하고 추가 네트워크 사용 비용이 발생할 수 있습니다.

Azure 파일 공유를 데이터 저장소에 등록합니다.

SAS 토큰 또는 스토리지 계정 키를 사용하도록 선택할 수 있습니다.

static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)

매개 변수

반환

설명

작업 영역 지역과 다른 지역의 스토리지를 연결하면 대기 시간이 증가하고 추가 네트워크 사용 비용이 발생할 수 있습니다.

새 Azure MySQL 데이터 저장소를 초기화합니다.

MySQL 데이터 저장소는 DataReference를 입력으로 만들고 Azure Machine Learning 파이프라인의 DataTransferStep에 출력하는 데만 사용할 수 있습니다. 자세한 내용은 여기에서 찾을 수 있습니다.

Azure MySQL 데이터베이스를 데이터 저장소로 등록하는 방법의 예제는 아래를 참조하세요.

static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)

매개 변수

반환

설명

작업 영역 지역과 다른 지역의 스토리지를 연결하면 대기 시간이 증가하고 추가 네트워크 사용 비용이 발생할 수 있습니다.

   mysql_datastore_name="mysqldatastore"
   server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
   database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
   user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
   user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.

   mysql_datastore = Datastore.register_azure_my_sql(
       workspace=ws,
       datastore_name=mysql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

새 Azure PostgreSQL 데이터 저장소를 초기화합니다.

Azure PostgreSQL 데이터베이스를 데이터 저장소로 등록하는 방법의 예제는 아래를 참조하세요.

static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)

매개 변수

반환

설명

작업 영역 지역과 다른 지역의 스토리지를 연결하면 대기 시간이 증가하고 추가 네트워크 사용 비용이 발생할 수 있습니다.

   psql_datastore_name="postgresqldatastore"
   server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
   database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
   user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
   user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password

   psql_datastore = Datastore.register_azure_postgre_sql(
       workspace=ws,
       datastore_name=psql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

새 Azure SQL 데이터베이스 데이터 저장소를 초기화합니다.

GA(자격 증명 기반) 및 ID 기반(미리 보기) 데이터 액세스가 지원됩니다. 서비스 주체 또는 사용자 이름 + 암호를 사용하도록 선택할 수 있습니다. 데이터 저장소와 함께 자격 증명을 저장하지 않으면 사용자의 AAD 토큰이 Notebook 또는 로컬 python 프로그램에서 사용됩니다. FileDataset.mount, FileDataset.download, FileDataset.to_path, TabularDataset.to_pandas_dataframe, TabularDataset.to_dask_dataframe, TabularDataset.to_spark_dataframe, TabularDataset.to_parquet_files, TabularDataset.to_csv_files 함수 중 하나가 직접 호출되는 경우 컴퓨팅 대상의 ID는 데이터 액세스 인증을 위해 Experiment.submit에 의해 제출된 작업에 사용됩니다. 여기를 참조하세요.

Azure SQL 데이터베이스를 데이터 저장소로 등록하는 방법의 예제는 아래를 참조하세요.

static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)

매개 변수

반환

설명

작업 영역 지역과 다른 지역의 스토리지를 연결하면 대기 시간이 증가하고 추가 네트워크 사용 비용이 발생할 수 있습니다.

   sql_datastore_name="azuresqldatastore"
   server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
   database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
   username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
   password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.

   sql_datastore = Datastore.register_azure_sql_database(
       workspace=ws,
       datastore_name=sql_datastore_name,
       server_name=server_name,  # name should not contain fully qualified domain endpoint
       database_name=database_name,
       username=username,
       password=password,
       endpoint='database.windows.net')

새 DBFS(Databricks 파일 시스템) 데이터 저장소를 초기화합니다.

DBFS 데이터 저장소는 Azure Machine Learning 파이프라인의 DatabricksStep에 대한 입력으로 DataReference를 만들고 출력으로 PipelineData를 만드는 데만 사용할 수 있습니다. 자세한 내용은 여기에서 찾을 수 있습니다.

static register_dbfs(workspace, datastore_name)

매개 변수

반환

설명

작업 영역 지역과 다른 지역의 스토리지를 연결하면 대기 시간이 증가하고 추가 네트워크 사용 비용이 발생할 수 있습니다.

새 HDFS 데이터 저장소를 초기화합니다.

static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)

매개 변수

기본 데이터 저장소를 설정합니다.

set_as_default()

매개 변수

데이터 저장소의 등록을 취소합니다. 기본 스토리지 서비스는 삭제되지 않습니다.

unregister()