Data Engineering 用 Livy API の概要
Note
Livy API for Fabric Data Engineering はプレビュー段階です。
適用対象:✅ Microsoft Fabric でのデータ エンジニアリングとデータ サイエンス
Microsoft Fabric Livy API を使うと、ユーザーは Fabric レイクハウスに関連付けられた Spark コンピューティング内で Spark コードを送信して実行でき、ノートブックまたは Spark ジョブ定義成果物を作成する必要がなくなります。 レイクハウスとのこの統合により、OneLake に格納されているデータに簡単にアクセスできます。
機能
Fabric Livy API では、2 つの異なるモードでジョブを送信できます。
- セッション ジョブ
- Livy セッション ジョブでは、Livy API との対話の間を通してアクティブ状態を続ける Spark セッションが確立されます。 Livy セッションは、対話型のワークロードに便利です。
- Spark セッションは、ジョブが送信されると開始し、ユーザーがジョブを終了するまで、または 20 分間の非アクティブ状態の後でシステムが終了するまで続きます。 セッション全体を通じて、複数のジョブを実行し、状態を共有し、実行間でデータをキャッシュできます。
- バッチ ジョブ
- Livy バッチ ジョブでは、1 回のジョブ実行のために Spark アプリケーションが送信されます。 Livy セッション ジョブとは異なり、バッチ ジョブでは継続的な Spark セッションは維持されません。
- Livy バッチ ジョブでは、ジョブごとに新しい Spark セッションが開始されて、ジョブが終わると終了されます。 この方法は、以前の計算に依存しないタスクや、ジョブ間で状態を維持する必要がないタスクに適しています。
Livy API を使い始める
Livy API を使った Spark セッション ジョブの送信または Livy API を使った Spark バッチ ジョブの送信に関する記事を選び、Fabric で Livy API を使って Spark ジョブを作成して実行する方法の説明をご覧ください。