Réception de données dans un lac de données Databricks

Azure Databricks propose différents moyens d’ingérer des données de différentes sources dans un lakehouse soutenu par Delta Lake. Cet article répertorie les sources de données et fournit des liens vers les étapes permettant d’ingérer des données à partir de chaque type de source.

Stockage d’objets cloud

Pour en savoir plus sur la configuration de l’ingestion incrémentielle à partir du stockage d’objets cloud, consultez Ingestion de données à partir du stockage d’objets cloud.

LakeFlow Connect

Databricks LakeFlow Connect offre des connecteurs natifs pour l’ingestion depuis des applications et des bases de données d’entreprise. Le pipelines d’ingestion résultant est gouverné par Unity Catalog, et est basé sur un calcul serverless et Delta Live Tables.

LakeFlow Connect tire parti de lectures et d’écritures incrémentielles efficaces pour accélérer l’ingestion des données, la rendre plus évolutives et plus économique, vos données restant à jour pour une consommation en aval.

Sources de diffusion en continu

Azure Databricks peut s’intégrer à des services de messagerie en continu pour l’ingestion de données en temps quasi-réel dans un lakehouse. Consultez Diffusion en continu et ingestion incrémentielle.

Fichiers de données locaux

Vous pouvez charger en toute sécurité des fichiers de données locaux, ou télécharger des fichiers à partir d’une URL publique. Consultez Charger des fichiers dans Azure Databricks.

Migrer des données vers Delta Lake

Pour découvrir comment migrer des données existantes vers Delta Lake, consultez Migrer des données vers Delta Lake.