Spark 記憶體問題
確認記憶體問題
記憶體問題通常會導致下列錯誤訊息：
SparkException: Job aborted due to stage failure: Task 3 in stage 0.0 failed 4 times, most recent failure: Lost task 3.3 in stage 0.0 (TID 30) (10.139.64.114 executor 4): ExecutorLostFailure (executor 4 exited caused by one of the running tasks) Reason: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues. Check driver logs for WARN messages.
不過，這些錯誤訊息通常是泛型的，而且可能是由其他問題所造成。 因此，如果您懷疑有記憶體問題，您可以藉由將每個核心的記憶體加倍來確認問題，以查看它是否會影響您的問題。
例如，如果您有具有 4 核心和 16GB 記憶體的背景工作類型，您可以嘗試切換至具有 4 核心和 32GB 記憶體的背景工作類型。 相較於您之前每個核心只有 4GB，現在每個核心可提供 8GB。 核心與記憶體的比例在這裡很重要。 如果加入額外記憶體後需要更長的時間才失敗，或根本沒有失敗，這就是表示您已經走在正確的軌道上。
如果您可以藉由增加記憶體來修正您的問題，那就太好了！ 也許這就是解決方案。 如果無法修正問題，或無法承擔額外的成本，您應該更深入了解。
可能的原因
記憶體問題有很多可能的原因：