LakeFlow Connect

В этой статье представлен обзор Databricks LakeFlow Connect, который предлагает встроенные соединители для приема данных из корпоративных приложений и баз данных.

Что такое LakeFlow Connect?

Databricks LakeFlow Connect предлагает встроенные соединители для приема из корпоративных приложений и баз данных. Результирующий конвейер приема управляется каталогом Unity и управляется бессерверными вычислительными ресурсами и разностными динамическими таблицами.

LakeFlow Connect использует эффективные добавочные операции чтения и записи, чтобы ускорить прием данных, масштабируемый и более экономичный, а данные остаются свежими для нижнего потребления.

Компоненты соединителя SaaS

Соединитель SaaS моделировается следующими компонентами:

• Подключение: защищаемый объект каталога Unity, в который хранятся сведения о проверке подлинности для базы данных.
• Конвейер приема: прием промежуточных данных в таблицы Delta. Этот компонент моделировается как бессерверный конвейер DLT.

Компоненты соединителя базы данных

Соединитель базы данных моделиируется следующими компонентами:

• Подключение: защищаемый объект каталога Unity, в который хранятся сведения о проверке подлинности для базы данных.
• Шлюз. Извлекает данные из исходной базы данных и поддерживает целостность транзакций во время передачи. Для облачных баз данных шлюз настраивается как конвейер DLT с классическими вычислениями.
• Промежуточное хранилище: том каталога Unity, в котором данные из шлюза этапируются перед применением к таблице Delta. Промежуточная учетная запись хранения создается при развертывании шлюза и существует в каталоге и указанной схеме.
• Конвейер приема: прием промежуточных данных в таблицы Delta. Этот компонент моделировается как бессерверный конвейер DLT.

LakeFlow Connect vs. Lakehouse Federation vs. Delta Sharing

Федерация Lakehouse позволяет запрашивать внешние источники данных без перемещения данных. Разностный общий доступ позволяет безопасно совместно использовать динамические данные между платформами, облаками и регионами. Databricks рекомендует прием с помощью LakeFlow Connect, так как он масштабируется для размещения больших объемов данных, низкой задержки запросов и ограничений сторонних API. Однако может потребоваться запросить данные, не перемещая их.

Если у вас есть выбор между LakeFlow Connect, Lakehouse Federation и Delta Sharing, выберите Delta Sharing для следующих сценариев:

• Ограничение дублирования данных.
• Запрашивая самые свежие возможные данные.

Выберите Федерацию Lakehouse для следующих сценариев:

• Нерегламентированные отчеты или проверка концепции работают над конвейерами ETL.

LakeFlow Connect и автозагрузчик

LakeFlow Connect предоставляет встроенные соединители, которые позволяют добавочно прием данных из корпоративных приложений и баз данных. Автозагрузчик — это соединитель для облачного хранилища объектов, который позволяет добавочно приема файлов по мере их поступления в S3, ADLS и GCS. Он совместим со структурированными динамическими таблицами потоковой передачи и Delta Live, но не интегрируется с LakeFlow Connect.

Может ли LakeFlow Connect вернуться к сторонним приложениям и базам данных?

№ Если вы заинтересованы в этой функции, обратитесь к вашей группе учетных записей.

Какова стоимость LakeFlow Connect?

В настоящее время клиентам выставляются счета только за использование бессерверных разностных динамических таблиц, необходимых для загрузки данных из источника (при подключении к корпоративному приложению, например Salesforce) или промежуточного тома (при подключении к базе данных, например SQL Server). Окончательная модель ценообразования для Lakeflow Connect может включать дополнительные расходы и будет объявлена в будущем.

Цены на бессерверные разностные динамические таблицы отображаются на нашей странице цен.