알려진 문제 - 모니터링 허브가 잘못된 대기 기간을 표시합니다.
용량 사용량이 Spark의 최대 컴퓨팅 제한에 도달 하면 Spark 작업이 큐에 대기됩니다. 한도에 도달하면 작업이 큐에 추가됩니다. 그런 다음 코어를 용량에서 사용할 수 있게 되면 작업이 처리됩니다. 이 큐 기능은 작업 스케줄러, 파이프라인 및 Spark 작업 정의에서 트리거된 Spark Notebook을 포함하여 Spark의 모든 백그라운드 작업에 대해 사용하도록 설정됩니다. 작업이 큐에서 대기 중인 기간이 모니터링 허브에 큐 대기 기간으로 올바르게 표시되지 않습니다.
상태: 열기
제품 환경: 데이터 엔지니어링
증상
모니터링 허브에 표시된 작업의 총 기간에는 현재 작업 실행 시간만 포함됩니다. 총 기간은 작업이 큐에서 대기한 기간을 올바르게 반영하지 않습니다.
솔루션 및 해결 방법
작업이 큐에 있으면 상태가 모니터링 보기에서 시작되지 않음으로 표시됩니다. 작업이 실행을 시작하면 모니터링 보기에서 상태가 진행 중으로 업데이트됩니다. 작업 상태 표시기를 사용하여 작업이 큐에 대기되는 시기와 실행이 진행 중인 시기를 알 수 있습니다.