既知の問題 - 監視ハブに間違ったキュー期間が表示される
Spark ジョブは、容量の使用量が Spark の最大コンピューティング制限に達するとキューに入れられます。 この制限に達すると、ジョブがキューに追加されます。 その後、容量でコアが使用可能になると、ジョブが処理されます。 このキュー機能は、ジョブ スケジューラ、パイプライン、Spark ジョブ定義からトリガーされた Spark ノートブックを含む、Spark 上のすべてのバックグラウンド ジョブに対して有効になります。 ジョブがキューで待機している期間が、監視ハブでキューに登録されている期間として正しく表されていません。
状態: オープン
製品エクスペリエンス: Data Engineering
現象
現在、監視ハブに表示されているジョブの合計期間には、ジョブの実行時間のみが含まれています。 合計期間は、ジョブがキューで待機した期間を正しく反映していません。
解決策と回避策
ジョブがキューに入ると、状態は監視ビューに未開始として表示されます。 ジョブの実行が開始されると、状態は監視ビューで進行中に更新されます。 ジョブの状態インジケーターを使用して、ジョブがいつキューに入れられ、いつ実行が進行中であるかを知ることができます。