Databricks 작업 큐 및 동시성 설정

이 문서에는 Databricks 작업에서 고급 설정을 구성하기 위한 지침과 권장 사항이 포함되어 있습니다.

작업 실행 큐 사용

동시성 제한으로 인해 작업 실행을 건너뛰지 않도록 하기 위해 작업에 대한 큐를 사용하도록 설정할 수 있습니다. 큐를 사용하도록 설정하면, 작업 실행에 리소스를 사용할 수 없는 경우 최대 48시간 동안 실행이 큐에 대기됩니다. 용량을 사용할 수 있으면 작업 실행이 큐에서 제거되고 실행됩니다. 큐에 대기 중인 실행은 작업의 실행 목록과 최근 작업 실행 목록에 표시됩니다.

다음 제한 중 하나에 도달하면 실행이 큐에 대기됩니다.

• 작업 영역에서 최대 동시 활성 실행.
• 작업 영역에서 최대 동시 Run Job 태스크 실행.
• 작업의 최대 동시 실행.

큐는 해당 작업에 대해서만 큐를 실행하는 작업 수준 속성입니다.

큐를 사용하거나 사용하지 않도록 설정하려면 고급 설정을 클릭하고 작업 세부 정보 가로 패널에서 큐 토글 단추를 클릭합니다.

최대 동시 실행 수 구성

기본적으로 모든 새 작업에 대한 최대 동시 실행은 1입니다.

고급 설정에서 동시 실행 편집을 클릭하여 이 작업의 최대 병렬 실행 수를 설정합니다.

새 실행을 시작하려고 할 때 작업이 이미 최대 활성 실행 수에 도달한 경우 Azure Databricks에서 실행을 건너뜁니다.

동일한 작업을 동시에 다수 실행하려면 이 값을 기본값인 1보다 높게 설정합니다. 예를 들어 이는 빈번한 일정에 따라 작업을 트리거하고 연속 실행이 겹치도록 허용하거나 입력 매개 변수에 따라 다른 여러 실행을 트리거하는 경우에 유용합니다.