Новые и запланированные возможности фабрики данных в Microsoft Fabric
Внимание
Планы выпуска описывают функциональные возможности, которые могут или не были выпущены. Временная шкала доставки и проецируемые функциональные возможности могут изменяться или не могут отправляться. Дополнительные сведения см. в политике Майкрософт.
Фабрика данных в Microsoft Fabric объединяет возможности интеграции данных гражданина и профессиональные возможности интеграции данных в единый современный интерфейс интеграции данных. Он обеспечивает подключение к более чем 100 реляционным и нереляционным базам данных, lakehouses, хранилищам данных, универсальным интерфейсам, таким как REST API, OData и т. д.
Потоки данных: поток данных 2-го поколения позволяет выполнять крупномасштабные преобразования данных и поддерживает различные назначения выходных данных, которые записываются в База данных SQL Azure, Lakehouse, хранилище данных и многое другое. Редактор потоков данных предлагает более 300 преобразований, включая параметры на основе искусственного интеллекта, и позволяет легко преобразовывать данные с большей гибкостью, чем любой другой инструмент. Независимо от того, извлекаете ли данные из неструктурированного источника данных, например веб-страницу или измените существующую таблицу в редакторе Power Query, можно легко применить извлечение данных Power Query по примеру, которая использует искусственный интеллект (ИИ) и упрощает процесс.
Конвейеры данных: конвейеры данных предоставляют возможность создавать универсальные рабочие процессы оркестрации данных, которые объединяют такие задачи, как извлечение данных, загрузка в предпочитаемые хранилища данных, выполнение записных книжек, выполнение скрипта SQL и многое другое. Вы можете быстро создавать мощные конвейеры данных, управляемые метаданными, которые автоматизируют повторяющиеся задачи. Например, загрузка и извлечение данных из разных таблиц в базе данных, итерирование нескольких контейнеров в Хранилище BLOB-объектов Azure и многое другое. Кроме того, с конвейерами данных можно получить доступ к данным из Microsoft 365 с помощью соединителя Подключение к данным Microsoft Graph ion (MGDC).
Задание копирования. Задание копирования упрощает прием данных с помощью упрощенного и удобного процесса, перемещая данные в петабайтах из любого источника в любое место назначения. Вы можете копировать данные с различными стилями доставки данных, включая пакетную копию, добавочную копию и многое другое.
Задание Apache Airflow: задание Apache Airflow — это следующее поколение диспетчера оркестрации рабочих процессов Фабрика данных Azure. Это простой и эффективный способ создания заданий оркестрации Apache Airflow и управления ими, что позволяет легко запускать ациклические графы (DAG) в большом масштабе. Задание Apache Airflow позволяет использовать современный интерфейс интеграции данных для приема, подготовки, преобразования и оркестрации данных из богатого набора источников данных с помощью кода.
Зеркальное отображение базы данных. Зеркальное отображение базы данных в Fabric — это решение с низкой задержкой, разработанное с открытыми стандартами (например, формат таблицы Delta Lake). Это позволяет быстро реплицировать данные и метаданные из различных систем. С помощью зеркального отображения базы данных можно непрерывно реплицировать хранилище данных в Microsoft Fabric OneLake для аналитики. Благодаря высокоинтегрируемой и удобной работе теперь можно упростить работу с потребностями аналитики.
Дополнительные сведения см. в документации.
Инвестиционные области
В течение следующих нескольких месяцев Фабрика данных в Microsoft Fabric расширит свои возможности подключения и продолжит добавлять в богатую библиотеку преобразований и действий конвейера данных. Кроме того, он позволяет выполнять репликацию данных в режиме реального времени, высокопроизводительную репликацию данных из операционных баз данных и переносить эти данные в озеро для аналитики.
Поддержка CI/CD и общедоступных API потока данных 2-го поколения
Предполагаемая временная шкала выпуска: Q4 2024
Тип выпуска: общедоступная предварительная версия
Возможности потока данных 2-го поколения будут расширены для поддержки следующих функций в Fabric, в том числе:
- Возможность включать элементы потока данных 2-го поколения в конвейеры развертывания ALM.
- Возможность использовать элементы потока данных 2-го поколения с возможностями управления версиями (интеграция Git).
- Общедоступные API CRUDLE для элементов потока данных 2-го поколения.
Это высоко запрошенные возможности от многих клиентов, и мы рады сделать их доступными в качестве функции предварительной версии.
Таблицы и секции обновления семантической модели
Предполагаемая временная шкала выпуска: Q4 2024
Тип выпуска: общедоступная предварительная версия
Пользователи конвейера очень рады нашей очень популярной активности конвейера обновления семантической модели. Распространенный вопрос состоит в улучшении конвейера обработки ELT путем обновления определенных таблиц и секций в своих моделях. Теперь мы включили эту функцию, делая действие конвейера наиболее эффективным способом обновления семантических моделей Fabric!
Импорт и экспорт конвейера фабрики данных Fabric
Предполагаемая временная шкала выпуска: Q4 2024
Тип выпуска: общая доступность
Разработчик конвейера фабрики данных часто требуется экспортировать определение конвейера для совместного использования с другими разработчиками или повторно использовать его в других рабочих областях. Теперь мы добавили возможность экспортировать и импортировать конвейеры Фабрики данных из рабочей области Fabric. Эта мощная функция обеспечит еще больше возможностей для совместной работы и будет бесценной при устранении неполадок с конвейерами с помощью наших групп поддержки.
Copilot для фабрики данных (конвейер данных)
Предполагаемая временная шкала выпуска: Q4 2024
Тип выпуска: общедоступная предварительная версия
Copilot для фабрики данных (конвейер данных) позволяет клиентам создавать конвейеры данных с помощью естественного языка и предоставлять рекомендации по устранению неполадок.
Зеркальное отображение для базы данных SQL Azure
Предполагаемая временная шкала выпуска: Q4 2024
Тип выпуска: общая доступность
Зеркальное отображение позволяет легко интегрировать существующие данные базы данных SQL Azure с остальными данными в Microsoft Fabric. Вы можете непрерывно реплицировать данные базы данных SQL Azure непосредственно в Fabric OneLake практически в режиме реального времени, не влияя на производительность рабочих нагрузок транзакций.
Дополнительные сведения о зеркальном отображении в Microsoft Fabric
Открытие зеркального отображения
Предполагаемая временная шкала выпуска: Q4 2024
Тип выпуска: общедоступная предварительная версия
Открытое зеркальное отображение — это мощная функция, которая повышает расширяемость Структуры, позволяя любому приложению или поставщику данных напрямую принести их свойство данных в OneLake с минимальными усилиями. Благодаря включению поставщиков данных и приложений для записи измененных данных непосредственно в зеркальную базу данных в Fabric открытое зеркальное отображение упрощает обработку сложных изменений данных, обеспечивая непрерывность и готовность всех зеркальных данных к анализу.
Поддержка общедоступных API конвейеров данных
Предполагаемая временная шкала выпуска: Q4 2024
Тип выпуска: общедоступная предварительная версия
Чтобы использовать ИНТЕРФЕЙСы REST API конвейера в Fabric гораздо проще и безопаснее, мы включите поддержку субъекта-службы (субъекта-службы) для общедоступных API.
Поддержка конвейера данных для переменных рабочей области Fabric
Предполагаемая временная шкала выпуска: Q4 2024
Тип выпуска: общедоступная предварительная версия
При реализации CICD в средах конвейера Фабрики данных Fabric очень важно обновить значения от разработки до тестирования на prod и т. д. Используя переменные внутри Fabric, можно заменить значения между средами, а также совместно использовать значения между конвейерами, похожими на глобальные параметры ADF.
Автоматическое обновление локального шлюза данных
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Функция автоматического обновления локального шлюза данных гарантирует, что шлюз всегда выполняет последнюю версию, обеспечивая улучшенные функциональные возможности, обновления системы безопасности и новые функции без вмешательства вручную. Эта функция упрощает управление шлюзом, автоматически загружая и устанавливая обновления по мере их доступности.
Поддержка конвейера данных для шлюзов виртуальной сети
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Шлюз данных виртуальной сети поддерживает конвейер данных Fabric, включая действие копирования конвейера и другие действия конвейера. Клиенты смогут безопасно подключаться к источникам данных в конвейере через шлюз данных виртуальной сети.
Назначение выходных данных потока данных 2-го поколения в файлы SharePoint
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
После очистки и подготовки данных с помощью потока данных 2-го поколения эта функция позволяет выбирать файлы SharePoint в качестве назначения данных. Эта функция позволяет легко экспортировать преобразованные данные в CSV-файл и хранить его в Microsoft SharePoint, чтобы сделать его доступным для всех с разрешением на сайт.
Поддержка конвейера данных для триггеров переворачивающегося окна
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Планирование запусков конвейера с использованием временных окон, которые не перекрываются и могут быть "воспроизведены" является очень важной функцией в конвейерах, которые многие пользователи ADF пользовались использованием. Мы очень рады перенести эту функцию переворачивающегося окна для конвейера планирования фабрики данных Fabric.
элемент Фабрика данных Azure
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общая доступность
Мы супер рады объявить общую доступность элемента Фабрика данных Azure в Fabric. Благодаря этой новой возможности существующие пользователи ADF могут быстро и легко сделать фабрики данных из Azure доступными в рабочей области Fabric. Теперь вы можете управлять, изменять и вызывать конвейеры ADF непосредственно из Fabric!
Поддержка действия копирования конвейера данных для дополнительных источников
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общая доступность
Мы расширяем поддержку дополнительных исходных соединителей в действие Copy, что позволяет клиентам легко копировать данные из широкого спектра источников, включая Teradata, Spark, Azure databricks delta lake, HubSpot, Cassandra, Salesforce Service Cloud, Oracle (пакет) и многое другое.
Параллельное выполнение потоков данных 2-го поколения
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
"Пользователи хотят гибкого способа определения логики преобразований потока данных 2-го поколения и параллелизации выполнения с различными аргументами. Сегодня им нужно создать несколько потоков данных или несколько запросов в одном потоке данных, чтобы иметь логику, которую можно повторно использовать с различными аргументами.
В рамках этого усовершенствования пользователи смогут задать цикл "foreach" для всего элемента потока данных, управляемого автономным запросом, который выступает в качестве списка значений параметров для итерации этого контейнерного подхода для параллелизованного и динамического выполнения".
Управление удостоверениями источника данных (Azure Key Vault)
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Поддержка Azure Key Vault. Вы можете хранить ключи и секреты в Azure Key Vault и подключаться к нему. Таким образом вы можете управлять ключами в одном месте.
Зеркальное отображение для CosmosDB
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общая доступность
Зеркальное отображение обеспечивает простой интерфейс без использования ETL для интеграции существующих данных Azure Cosmos DB с остальными данными в Microsoft Fabric. Вы можете непрерывно реплицировать данные Azure Cosmos DB непосредственно в Fabric OneLake практически в реальном времени, не влияя на производительность рабочих нагрузок транзакций.
Поддержка CI/CD и общедоступных API потока данных 2-го поколения
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общая доступность
Элементы потока данных 2-го поколения поддерживают возможности CI/CD в Fabric, включая управление версиями (интеграция Git), а также конвейеры развертывания ALM. Кроме того, клиенты смогут программно взаимодействовать с элементами потока данных 2-го поколения в Fabric через ИНТЕРФЕЙСы REST API Fabric, обеспечивая поддержку операций CRUDLE над элементами потока данных 2-го поколения.
Поддержка общедоступных API потока данных 2-го поколения
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Элементы потока данных 2-го поколения будут поддерживаться с помощью REST API Fabric с поддержкой проверки подлинности субъекта-службы.
Добавочное обновление потока данных 2-го поколения
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общая доступность
В конце сентября 2024 года мы выпустили добавочное обновление потока данных 2-го поколения как общедоступную предварительную версию. Мы будем продолжать отслеживать отзывы клиентов и улучшать эту функцию до ее общедоступной доступности, запланированной на конец Q1CY2025.
Поддержка добавочного обновления потока данных 2-го поколения для назначения Lakehouse
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Добавочное обновление потока данных 2-го поколения оптимизирует выполнение потока данных, чтобы получить только последние данные, измененные в источниках данных потока данных, на основе столбца секции datetime. Это гарантирует, что данные можно добавочно загружать в OneLake для преобразования нижестоящего потока или вывода в целевое место вывода потока данных.
В рамках этого улучшения мы предоставим прямую поддержку добавочного обновления для вывода данных непосредственно в таблицы Fabric Lakehouse.
Параметризация потока данных 2-го поколения
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Пользователи привыкли выполнять конвейеры, управляемые метаданными, где они могут внедрять переменные или параметры в различные действия конвейера и таким образом выполнять вещи более динамически: создание один раз, повторное использование несколько раз.
В рамках этого улучшения мы сделаем его таким, чтобы потоки данных, выполняемые с помощью конвейера данных в Fabric, можно предоставить значения параметров для существующих параметров потока данных.
Поддержка потока данных 2-го поколения для нового элемента "Сохранить как"
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Клиенты часто хотели бы повторно создать существующий поток данных в качестве нового потока данных. Сегодня для этого необходимо создать новый элемент потока данных 2-го поколения с нуля и вставить существующие запросы или использовать возможности шаблона Export/Import Power Query. Однако это не только неудобно из-за ненужных действий, но и не переносит дополнительные параметры потока данных, такие как запланированное обновление и другие свойства элемента (имя, описание, метка конфиденциальности и т. д.).
В рамках этого улучшения мы предоставим быстрый жест "Сохранить как" в режиме редактирования потока данных 2-го поколения, что позволяет пользователям сохранять существующий поток данных в качестве нового потока данных.
Поддержка потока данных 1-го поколения для нового элемента "Сохранить как поток данных" 2-го поколения
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Клиенты часто хотят повторно создать существующий элемент потока данных 1-го поколения в качестве нового элемента потока данных 2-го поколения. Сегодня для этого необходимо создать новый элемент потока данных 2-го поколения с нуля и вставить существующие запросы или использовать возможности шаблона Export/Import Power Query. Однако это не только неудобно из-за ненужных действий, но и не переносит дополнительные параметры потока данных, такие как запланированное обновление и другие свойства элемента (имя, описание, метка конфиденциальности и т. д.).
В рамках этого улучшения мы предоставим быстрый жест "Сохранить как" в режиме редактирования потока данных 1-го поколения, что позволяет пользователям сохранять существующий элемент потока данных 1-го поколения в качестве нового элемента потока данных 2-го поколения.
Задание копирования — добавочное копирование без необходимости указывать столбцы подложки
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Мы познакомим собственные возможности CDC (Изменение записи данных) в задании копирования для соединителей ключей. Это означает, что добавочное копирование автоматически обнаруживает изменения— клиентам не требуется указывать добавочные столбцы.
Копирование задания
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общая доступность
Задание копирования в фабрике данных повышает уровень приема данных до более упрощенного и удобного процесса из любого источника в любое место назначения. Теперь копирование данных проще, чем когда-либо раньше. Задание копирования поддерживает различные стили доставки данных, включая пакетную копию и добавочную копию, обеспечивая гибкость в соответствии с конкретными потребностями.
Поддержка ci/CD задания копирования
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Элементы задания копирования поддерживают возможности CI/CD в Fabric, включая управление версиями (интеграция Git), а также конвейеры развертывания ALM.
Поддержка общедоступных API-интерфейсов задания копирования
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Клиенты смогут программно взаимодействовать с элементами задания копирования в Fabric через общедоступные API Fabric, предоставляя поддержку операций CRUDLE с помощью элементов задания копирования
Поддержка потока данных 2-го поколения для дополнительных источников быстрого копирования
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Мы расширяем быструю копию в потоке данных 2-го поколения для поддержки дополнительных соединителей источников, что позволяет клиентам загружать данные с более высокой производительностью. Новые соединители будут включать файлы Fabric Lakehouse, Google BigQuery, Amazon Redshift и многое другое, что обеспечивает более быструю и эффективную интеграцию данных.
Поддержка копирования заданий для дополнительных источников
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Мы расширяем поддержку дополнительных исходных соединителей в задании копирования, что позволяет клиентам легко копировать данные из широкого спектра источников. В то же время мы сохраняем упрощенный интерфейс, предлагая разнообразные шаблоны копирования, включая полную копию и добавочную копию.
Поддержка конвейера данных для триггеров событий хранилища OneLake
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Популярный механизм, используемый для вызова конвейеров в Фабрике данных Fabric, использует триггер файла. При обнаружении событий файлов (т. е. прибытия файла, удаления файла ...) в хранилище BLOB-объектов или ADLS 2-го поколения будет вызван конвейер фабрики данных Fabric. Теперь мы добавили события файла OneLake в типы событий триггера в Fabric.
Включение клиентами параметризации своих подключений
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Подключения предоставляют общую платформу для определения подключения и проверки подлинности для хранилищ данных. Эти подключения можно совместно использовать для разных элементов. С поддержкой параметризации вы сможете создавать сложные и многократно используемые конвейеры, записные книжки, потоки данных и другие типы элементов.
Поддержка конвейера данных для DBT
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Оркестрация ИНТЕРФЕЙСА командной строки DBT (средство сборки данных): включает средство сборки данных (dbt) для рабочих процессов преобразования данных.
Поддержка управляемых удостоверений, назначенных пользователем, в подключениях
Предполагаемая временная шкала выпуска: Q2 2025
Тип выпуска: общедоступная предварительная версия
Это улучшение для поддержки управляемых удостоверений, назначенных пользователем, в подключениях обеспечивает значительное значение, предлагая более безопасный и гибкий метод проверки подлинности для доступа к ресурсам данных. Это позволяет избежать жесткого шифрования учетных данных, упрощает управление, устраняя необходимость смены секретов, обеспечивает соответствие политикам безопасности, легко интегрируется со службами Azure и поддерживает масштабируемость в подключениях, позволяя нескольким экземплярам совместно использовать одно удостоверение.
Отправленные функции
Фабрика данных Azure в Fabric
Отправлено (Q3 2024)
Тип выпуска: общедоступная предварительная версия
Доведите существующие Фабрика данных Azure (ADF) в рабочую область Fabric! Это новая предварительная версия, которая позволяет подключаться к существующим фабрикам ADF из рабочей области Fabric.
Теперь вы сможете полностью управлять фабриками ADF непосредственно из пользовательского интерфейса рабочей области Fabric! После связывания ADF с рабочей областью Fabric вы сможете активировать, выполнять и отслеживать конвейеры, как и в ADF, но непосредственно внутри Fabric.
Поддержка вызова конвейеров данных между рабочими областями
Отправлено (Q3 2024)
Тип выпуска: общедоступная предварительная версия
Вызов обновления действий Конвейеров: мы включаем некоторые новые и захватывающие обновления для действия Invoke Pipeline. В ответ на подавляющие запросы клиентов и сообщества мы включаем запуск конвейеров данных в рабочих областях. Теперь вы сможете вызывать конвейеры из других рабочих областей, к которым у вас есть доступ к выполнению. Это позволит очень захватывающим шаблонам рабочих процессов данных, которые могут использовать совместную работу из команд разработки и интеграции данных в рабочих областях и между функциональными командами.
Поддержка локального шлюза данных (OPDG), добавленная в конвейеры данных
Отправлено (Q3 2024)
Тип выпуска: общая доступность
Эта функция позволяет конвейерам данных использовать шлюзы данных Fabric для доступа к данным в локальной среде и за виртуальной сетью. Для пользователей, использующих локальную среду выполнения интеграции (SHIR), они смогут перейти к локальным шлюзам данных в Fabric.
Копирование задания
Отправлено (Q3 2024)
Тип выпуска: общедоступная предварительная версия
Задание копирования упрощает работу для клиентов, которым требуется прием данных, без необходимости создавать поток данных или конвейер данных. Задание копирования поддерживает полную и добавочную копию из любых источников данных в любые назначения данных. Теперь зарегистрируйтесь для частной предварительной версии.
Зеркальное отображение для Snowflake
Отправлено (Q3 2024)
Тип выпуска: общая доступность
Зеркальное отображение позволяет легко интегрировать существующие данные Snowflake с остальными данными в Microsoft Fabric. Вы можете непрерывно реплицировать данные Snowflake непосредственно в Fabric OneLake практически в реальном времени, не влияя на производительность транзакционных рабочих нагрузок.
Улучшенная Уведомления по электронной почте для сбоев обновления
Отправлено (Q3 2024)
Тип выпуска: общедоступная предварительная версия
Уведомления по электронной почте позволяют создателям потока данных отслеживать результаты (успешное выполнение или сбой) операции обновления потока данных.
Поддержка быстрого копирования в Dataflow 2-го поколения
Отправлено (Q3 2024)
Тип выпуска: общая доступность
Мы добавляем поддержку приема крупномасштабных данных непосредственно в интерфейсе потока данных 2-го поколения, используя возможность действия копирования конвейеров. Это улучшение значительно масштабирует емкость обработки данных потока данных 2-го поколения, обеспечивая возможности высокомасштабируемого ELT (Extract-Load-Transform).
Поддержка добавочного обновления в потоке данных 2-го поколения
Отправлено (Q3 2024)
Тип выпуска: общедоступная предварительная версия
Мы добавим поддержку добавочного обновления в Dataflow 2-го поколения. Эта функция позволяет постепенно извлекать данные из источников данных, применять преобразования Power Query и загружать их в различные выходные назначения.
Управление удостоверениями источника данных (управляемое удостоверение)
Отправлено (Q3 2024)
Тип выпуска: общедоступная предварительная версия
Это позволяет настроить управляемое удостоверение на уровне рабочей области. Управляемые удостоверения Fabric можно использовать для безопасного подключения к источнику данных.
Поддержка конвейера данных для заданий Azure Databricks
Отправлено (Q3 2024)
Тип выпуска: общедоступная предварительная версия
Мы обновляем конвейеры данных фабрики данных Azure Databricks, чтобы теперь использовать api последних заданий, чтобы обеспечить захватывающие возможности рабочих процессов, такие как выполнение заданий DLT.
Copilot для фабрики данных (поток данных)
Отправлено (Q3 2024)
Тип выпуска: общая доступность
Copilot для фабрики данных (Dataflow) позволяет клиентам выразить свои требования с помощью естественного языка при создании решений для интеграции данных с dataflows 2-го поколения.
Поддержка конвейера данных для SparkJobDefinition
Отправлено (Q2 2024)
Тип выпуска: общая доступность
Теперь вы можете выполнить код Spark, включая JAR-файлы, непосредственно из действия конвейера. Просто укажите код Spark и конвейер выполнит задание в кластере Spark в Fabric. Это новое действие позволяет захватывающим шаблонам рабочих процессов данных, которые используют возможности подсистемы Spark Fabric, включая поток управления фабрики данных и возможности потока данных в том же конвейере, что и задания Spark.
Поддержка конвейера данных для триггеров на основе событий
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Распространенным вариантом использования конвейеров данных фабрики данных является активация конвейера при событиях файлов, таких как прибытие файла и удаление файла. Для клиентов, поступающих из ADF или Synapse в Fabric, использование событий хранения ADLS/Blog очень распространено как способ сигнализировать о новом выполнении конвейера или записать имена созданных файлов. Триггеры в фабрике данных Fabric используют возможности платформы Fabric, включая триггеры EventStreams и Reflex. На холсте конструктора конвейера фабрики данных Fabric вы получите кнопку триггера, которую можно нажать, чтобы создать триггер "Рефлектор" для конвейера или создать триггер непосредственно из интерфейса активации данных.
Промежуточные значения по умолчанию для назначения вывода потока данных 2-го поколения
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Поток данных 2-го поколения предоставляет возможности приема данных из широкого спектра источников данных в Fabric OneLake. При промежуточной подготовке этих данных его можно преобразовать при использовании подсистемы высокомасштабируемых потоков данных 2-го поколения (на основе вычислений SQL Fabric Lakehouse или Warehouse).
Поведение по умолчанию для потоков данных 2-го поколения — этап обработки данных в OneLake, чтобы включить преобразования данных с высоким уровнем масштаба. Хотя это работает отлично для крупномасштабных сценариев, он не работает так же, как и для сценариев, связанных с небольшим объемом данных, принимаемых с учетом того, что он вводит дополнительный прыжк (промежуточный) для данных, прежде чем он в конечном итоге загружается в целевое место вывода потока данных.
При запланированных улучшениях мы настраиваем поведение промежуточного хранения по умолчанию, которое необходимо отключить, для запросов с назначением выходных данных, для которых не требуется промежуточное выполнение (а именно, Fabric Lakehouse и База данных SQL Azure).
Промежуточное поведение можно настроить вручную на основе каждого запроса с помощью области "Параметры запроса" или контекстного меню запроса в области "Запросы".
Поддержка конвейера данных для Azure HDInsight
Отправлено (Q2 2024)
Тип выпуска: общая доступность
HDInsight — это служба Azure PaaS для Hadoop, которая позволяет разработчикам создавать очень мощные решения больших данных в облаке. Новое действие конвейера HDI позволит выполнять действия заданий HDInsights внутри конвейеров данных фабрики данных, аналогичные существующей воронке, которую вы заразили в течение многих лет в конвейерах ADF и Synapse. Теперь мы добавили эту возможность непосредственно в конвейеры данных Fabric.
Новые соединители для действия копирования
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Новые соединители будут добавлены для действие Copy для предоставления клиентам возможности приема из следующих источников, а также для использования конвейера данных: Oracle, MySQL, Поиск ИИ Azure, Файлы Azure, Dynamics AX, Google BigQuery.
Задание Apache Airflow: создание конвейеров данных на основе Apache Airflow
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Задание Apache Airflow (ранее называемое рабочими процессами данных) на базе Apache Airflow и предлагает интегрированную среду выполнения Apache Airflow, что позволяет легко создавать, выполнять и планировать daGs Python.
Управление удостоверениями источника данных (SPN)
Отправлено (Q2 2024)
Тип выпуска: общая доступность
Субъект-служба . Чтобы получить доступ к ресурсам, защищенным клиентом Azure AD, сущность, требующая доступа, должна быть представлена субъектом безопасности. Вы сможете подключиться к источникам данных с помощью субъекта-службы.
Интеграция фабрики данных Git для конвейеров данных
Отправлено (Q1 2024)
Тип выпуска: общедоступная предварительная версия
Вы можете подключиться к репозиторию Git для совместной разработки конвейеров данных. Интеграция конвейеров данных с возможностью управления жизненным циклом приложений (ALM) платформы Fabric обеспечивает управление версиями, ветвление, фиксации и запросы на вытягивание.
Улучшения выходных назначений в dataflow 2-го поколения (схема запроса)
Отправлено (Q1 2024)
Тип выпуска: общедоступная предварительная версия
Мы расширим назначения выходных данных в Dataflow 2-го поколения с помощью следующих высоко запрошенных возможностей:
- Возможность обрабатывать изменения схемы запросов после настройки назначения вывода.
- Параметры назначения по умолчанию для ускорения создания потоков данных.
Дополнительные сведения см. в разделе назначения данных потока данных 2-го поколения и управляемые параметры
Улучшение возможностей работы с данными (обзор ресурсов Azure)
Отправлено (Q1 2024)
Тип выпуска: общедоступная предварительная версия
Просмотр ресурсов Azure обеспечивает удобную навигацию для просмотра ресурсов Azure. Вы можете легко перемещать подписки Azure и подключаться к источникам данных с помощью интуитивно понятного пользовательского интерфейса. Это помогает быстро находить и подключаться к нужным данным.
Поддержка локального шлюза данных (OPDG), добавленная в конвейеры данных
Отправлено (Q1 2024)
Тип выпуска: общедоступная предварительная версия
Эта функция позволяет конвейерам данных использовать шлюзы данных Fabric для доступа к данным в локальной среде и за виртуальной сетью. Для пользователей, использующих локальную среду выполнения интеграции (SHIR), они смогут перейти к локальным шлюзам данных в Fabric.
Поддержка быстрого копирования в Dataflow 2-го поколения
Отправлено (Q1 2024)
Тип выпуска: общедоступная предварительная версия
Мы добавляем поддержку приема крупномасштабных данных непосредственно в интерфейсе потока данных 2-го поколения, используя возможность действия копирования конвейеров. Это поддерживает такие источники, База данных SQL Azure, CSV и Parquet-файлы в Azure Data Lake Storage и хранилище BLOB-объектов.
Это улучшение значительно масштабирует емкость обработки данных потока данных 2-го поколения, обеспечивая возможности высокомасштабируемого ELT (Extract-Load-Transform).
Отмена поддержки обновления в Dataflow 2-го поколения
Отправлено (Q4 2023)
Тип выпуска: общедоступная предварительная версия
Мы добавляем поддержку для отмены текущих обновлений потока данных 2-го поколения из представления элементов рабочей области.