다음을 통해 공유

MpiStep 클래스

  • 참조

MPI 작업을 실행하는 Azure ML 파이프라인 단계를 만듭니다.

MpiStep 사용의 예는 Notebook https://aka.ms/pl-style-trans를 참조하세요.

MPI 작업을 실행하는 Azure ML 파이프라인 단계를 만듭니다.

사용되지 않습니다. CommandStep을 대신 사용합니다. 예제는 CommandStep을 사용하여 파이프라인에서 분산 학습을 실행하는 방법을 참조하세요.

상속
PythonScriptStep
MpiStep

생성자

MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)

매개 변수

Name Description
name
str

[필수] 모듈의 이름입니다.

Default value: None
source_directory
str

[필수] Python 스크립트, conda 환경, 단계에서 사용된 기타 리소스가 포함된 폴더입니다.

Default value: None
script_name
str

[필수] source_directory와 관련된 Python 스크립트의 이름입니다.

Default value: None
arguments
list

[필수] 명령줄 인수 목록입니다.

Default value: None
compute_target
AmlCompute, str

[필수] 사용할 컴퓨팅 대상입니다.

Default value: None
node_count
int

[필수] 학습에 사용되는 컴퓨팅 대상의 노드 수입니다. 1보다 크면 MPI 분산 작업이 실행됩니다. 분산 작업에는 AmlCompute 컴퓨팅 대상만 지원됩니다. PipelineParameter 값이 지원됩니다.

Default value: None
process_count_per_node
int

[필수] 노드당 프로세스 수입니다. 1보다 크면 MPI 분산 작업이 실행됩니다. 분산 작업에는 AmlCompute 컴퓨팅 대상만 지원됩니다. PipelineParameter 값이 지원됩니다.

Default value: None
inputs
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]

입력 포트 바인딩 목록입니다.

Default value: None
outputs
list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]]

출력 포트 바인딩 목록입니다.

Default value: None
params
필수
dict

"AML_PARAMETER_"를 사용하여 환경 변수로 등록된 이름-값 쌍의 사전입니다.
allow_reuse
bool

동일한 설정으로 다시 실행할 때 단계에서 이전 결과를 재사용해야 하는지 여부를 나타냅니다. 기본적으로 재사용하도록 설정됩니다. 단계 내용(스크립트/종속성)과 입력 및 매개 변수가 변경되지 않은 상태로 유지되면 이 단계의 이전 실행 결과가 재사용됩니다. 단계를 재사용할 때, 컴퓨팅할 작업을 제출하는 대신 이전 실행의 결과를 후속 단계에 즉시 사용할 수 있습니다. Azure Machine Learning 데이터 세트를 입력으로 사용하는 경우 재사용은 기본 데이터가 변경되었는지 여부가 아니라 데이터 세트의 정의가 변경되었는지 여부에 따라 결정됩니다.

Default value: True
version
str

모듈의 기능 변경을 나타내는 선택적 버전 태그입니다.

Default value: None
hash_paths
list

사용되지 않음: 더 이상 필요하지 않습니다.

단계 내용의 변경 내용을 확인할 때 해시할 경로 목록입니다. 검색된 변경 내용이 없으면 파이프라인은 이전 실행의 단계 내용을 재사용합니다. 기본적으로 source_directory의 내용은 .amlignore 또는 .gitignore에 나열된 파일을 제외하고 해시됩니다.

Default value: None
use_gpu
필수
bool

실험을 실행할 환경이 GPU를 지원해야 하는지 여부를 나타냅니다. True인 경우 환경에서 GPU 기반 기본 Docker 이미지가 사용됩니다. False인 경우 CPU 기반 이미지가 사용됩니다. 기본 Docker 이미지(CPU 또는 GPU)는 custom_docker_image 매개 변수가 설정되지 않은 경우에만 사용됩니다. 이 설정은 Docker 지원 컴퓨팅 대상에서만 사용됩니다.
use_docker
필수
bool

실험을 실행할 환경이 Docker 기반이어야 하는지 여부를 나타냅니다.
custom_docker_image
필수
str

학습에 사용할 이미지가 빌드될 Docker 이미지의 이름입니다. 설정하지 않으면 기본 CPU 기반 이미지가 기본 이미지로 사용됩니다.
image_registry_details
필수
ContainerRegistry

Docker 이미지 레지스트리의 세부 정보입니다.
user_managed
필수
bool

Azure ML이 기존 Python 환경을 다시 사용하는지 여부를 나타냅니다. False는 Azure ML이 conda 종속성 사양을 기반으로 Python 환경을 생성함을 의미합니다.
conda_packages
필수
list

Python 환경에 추가할 conda 패키지를 나타내는 문자열 목록입니다.
pip_packages
필수
list

Python 환경에 추가할 pip 패키지를 나타내는 문자열 목록입니다.
pip_requirements_file_path
필수
str

pip 요구 사항 텍스트 파일의 상대 경로입니다. 이 매개 변수는 pip_packages 매개 변수와 함께 지정할 수 있습니다.
environment_definition
필수
EnvironmentDefinition

실험에 대한 EnvironmentDefinition입니다. 여기에는 PythonSection, DockerSection, 환경 변수가 포함됩니다. 다른 매개 변수를 통해 MpiStep 구성에 직접 노출되지 않는 환경 옵션은 이 매개 변수를 사용하여 설정할 수 있습니다. 이 매개 변수를 지정하면 use_gpu, custom_docker_image, conda_packages 또는 pip_packages 같은 다른 환경 관련 매개 변수보다 우선하며 이러한 잘못된 조합에 대해 오류가 보고됩니다.
name
필수
str

[필수] 모듈의 이름입니다.
source_directory
필수
str

[필수] Python 스크립트, conda 환경, 단계에서 사용된 기타 리소스가 포함된 폴더입니다.
script_name
필수
str

[필수] source_directory와 관련된 Python 스크립트의 이름입니다.
arguments
필수
list

[필수] 명령줄 인수 목록입니다.
compute_target
필수
<xref:azureml.core.compute.AmlComputeCompute>, str

[필수] 사용할 컴퓨팅 대상입니다.
node_count
필수
int

[필수] 학습에 사용되는 컴퓨팅 대상의 노드 수입니다. 1보다 큰 경우 mpi 분산 작업이 실행됩니다. 분산 작업에는 AmlCompute 컴퓨팅 대상만 지원됩니다. PipelineParameter 값이 지원됩니다.
process_count_per_node
필수
int

[필수] 노드당 프로세스 수입니다. 1보다 큰 경우 mpi 분산 작업이 실행됩니다. 분산 작업에는 AmlCompute 컴퓨팅 대상만 지원됩니다. PipelineParameter 값이 지원됩니다.
inputs
필수
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]

입력 포트 바인딩 목록입니다.
outputs
필수
list[Union[PipelineData, OutputDatasetConfig, PipelineOutputAbstractDataset, OutputPortBinding]]

출력 포트 바인딩 목록입니다.
params
필수
dict

">>AML_PARAMETER_<<"을 사용하여 환경 변수로 등록된 이름-값 쌍의 사전입니다.
allow_reuse
필수
bool

동일한 매개 변수를 사용하여 다시 실행할 때 단계가 이전 결과를 다시 사용할지 여부를 나타냅니다. 이 단계의 이전 실행에서 출력이 다시 사용됩니다. 단계를 재사용할 때, 컴퓨팅할 작업을 제출하는 대신 이전 실행의 결과를 후속 단계에 즉시 사용할 수 있습니다. Azure Machine Learning 데이터 집합을 입력으로 사용하는 경우 재사용은 기본 데이터가 변경되었는지 여부가 아니라 데이터 집합의 정의가 변경되었는지 여부에 따라 결정됩니다.
version
필수
str

모듈의 기능 변경을 나타내는 선택적 버전 태그
hash_paths
필수
list

사용되지 않음: 더 이상 필요하지 않습니다.

단계 내용의 변경 내용을 확인할 때 해시할 경로 목록입니다. 검색된 변경 내용이 없으면 파이프라인은 이전 실행의 단계 내용을 재사용합니다. 기본적으로 source_directory의 내용은 .amlignore 또는 .gitignore에 나열된 파일을 제외하고 해시됩니다.
use_gpu
필수
bool

실험을 실행할 환경이 GPU를 지원해야 하는지 여부를 나타냅니다. True인 경우 환경에서 GPU 기반 기본 Docker 이미지가 사용됩니다. False인 경우 CPU 기반 이미지가 사용됩니다. 기본 Docker 이미지(CPU 또는 GPU)는 custom_docker_image 매개 변수가 설정되지 않은 경우에만 사용됩니다. 이 설정은 Docker 지원 컴퓨팅 대상에서만 사용됩니다.
use_docker
필수
bool

실험을 실행할 환경이 Docker 기반이어야 하는지 여부를 나타냅니다. custom_docker_image(str): mpi 작업에 사용할 이미지를 빌드할 Docker 이미지의 이름입니다. 설정하지 않으면 기본 CPU 기반 이미지가 기본 이미지로 사용됩니다.
custom_docker_image
필수
str

학습에 사용할 이미지가 빌드될 Docker 이미지의 이름입니다. 설정하지 않으면 기본 CPU 기반 이미지가 기본 이미지로 사용됩니다.
image_registry_details
필수
ContainerRegistry

Docker 이미지 레지스트리의 세부 정보입니다.
user_managed
필수
bool

Azure ML이 기존 Python 환경을 다시 사용하는지 여부를 나타냅니다. False는 Azure ML이 conda 종속성 사양을 기반으로 Python 환경을 생성함을 의미합니다.
conda_packages
필수
list

Python 환경에 추가할 conda 패키지를 나타내는 문자열 목록입니다.
pip_packages
필수
list

Python 환경에 추가할 pip 패키지를 나타내는 문자열 목록입니다.
pip_requirements_file_path
필수
str

pip 요구 사항 텍스트 파일의 상대 경로입니다. 이 매개 변수는 pip_packages 매개 변수와 함께 지정할 수 있습니다.
environment_definition
필수
EnvironmentDefinition

실험에 대한 EnvironmentDefinition입니다. 여기에는 PythonSection, DockerSection, 환경 변수가 포함됩니다. 다른 매개 변수를 통해 MpiStep 구성에 직접 노출되지 않는 환경 옵션은 이 매개 변수를 사용하여 설정할 수 있습니다. 이 매개 변수를 지정하면 use_gpu, custom_docker_image, conda_packages 또는 pip_packages 같은 다른 환경 관련 매개 변수보다 우선하며 이러한 잘못된 조합에 대해 오류가 보고됩니다.