Microsoft Fabric 中的 資料工程師 檔

關於資料工程

概觀

• 什麼是資料工程？
• 什麼是 Lakehouse？
• 工作區角色和許可權

開始使用 Lakehouses

開始使用

• 建立 Lakehouse
• 流覽 Lakehouse 總管

操作指南

• 使用筆記本將資料放入 Lakehouse

開始使用筆記本

開始使用

• 建立和使用筆記本

操作指南

• 開發和執行筆記本
• 使用筆記本探索 Lakehouse 資料
• 將筆記本可視化
• 在 Notebook 上使用 Python 體驗
• 筆記本原始檔控制和部署
• 在 Notebook 中使用 NotebookUtils
• 撰寫並執行 T-SQL Notebooks

適用於 GraphQL 的 API

概觀

• 什麼是 GraphQL 的網狀架構 API？

開始使用

• 建立 GraphQL 的 API 並新增資料

操作指南

• 管理 關聯性
• 連線應用程式
• 查詢多重資料來源

Delta Lake

概念

• Lakehouse 和 Delta 資料表

操作指南

• 差異最佳化和 V 順序
• 載入至資料表

Lakehouse 端對端教學課程

概念

• Lakehouse 案例概觀

教學課程

• 步驟 1 - 建立工作區
• 步驟 2 - 建立 Lakehouse
• 步驟 3 - 將資料內嵌至 lakehouse
• 步驟 4 - 將資料轉換成差異資料表
• 步驟 5 - 建置報表
• 步驟 6 - 清理資源

VS Code 整合

操作指南

• 從 VS Code 使用筆記本
• 使用 VS Code 的容器映像
• 搭配資源使用 VS Code 的筆記本
• 從 VS Code 使用 Spark 作業定義
• 探索 VS Code 的 Lakehouse
• 從 VS Code Web 體驗開發筆記本

Apache Spark

概念

• Apache Spark 工作定義
• Spark 監視概觀
• Apache Spark Advisor

開始使用

• 建立 Spark 工作定義
• 使用網狀架構 API 建立 Spark 作業定義
• Spark 作業定義 Git 整合

操作指南

• 排程並執行Spark作業定義
• 監視 Spark 應用程式
• 管理 Apache Spark 連結庫
• 如何使用 Fabric MSSparkUtils
• 設定容量設定

開始使用環境

開始使用

• Microsoft Fabric 的環境

操作指南

• 管理環境中的Spark計算
• 管理環境中的程式庫
• 環境 Git 整合和部署管線
• 透過公用 API 管理環境
• 管理 Fabric 環境中的資源
• 將現有的工作區連結庫和Spark屬性移轉至環境

Livy API

概觀

• 什麼是 Livy API？

開始使用

• 使用 Livy API 建立和執行 Spark 作業
• 提交 Livy API 會話作業
• 提交 Livy API 批次作業