Новые и запланированные возможности хранилища данных в Microsoft Fabric
Внимание
Планы выпуска описывают функциональные возможности, которые могут или не были выпущены. Временная шкала доставки и проецируемые функциональные возможности могут изменяться или не могут отправляться. Дополнительные сведения см. в политике Майкрософт.
Хранилище данных в Microsoft Fabric — это первое хранилище данных, которое поддерживает транзакции с несколькими таблицами и изначально принимает открытый формат данных. Хранилище построено на надежном оптимизаторе запросов SQL Server и подсистеме распределенной обработки запросов корпоративного класса, которая устраняет необходимость в настройке и управлении. Хранилище данных в Microsoft Fabric легко интегрируется с Фабрикой данных для приема данных, Power BI для анализа и создания отчетов, а Также Synapse Spark для обработки и машинного обучения. Это упрощает инвестиции в аналитику организации путем конвергентных озер данных и хранилищ.
Рабочие нагрузки хранения данных получают преимущества от широких возможностей подсистемы SQL в открытом формате данных, что позволяет клиентам сосредоточиться на анализе и отчетности. Они также получают доступ к данным из OneLake, службы виртуализации хранилища озера данных.
Дополнительные сведения см. в документации.
Инвестиционные области
Обновления Аналитики запросов
Предполагаемая временная шкала выпуска: Q4 2024
Тип выпуска: общая доступность
Аналитика запросов теперь будет представлять объем данных, отсканированных во время выполнения запроса, пролитый памятью, диском и удаленным.
Copilot для хранилища данных: чат на стороне
Предполагаемая временная шкала выпуска: Q4 2024
Тип выпуска: общедоступная предварительная версия
Copilot для хранилища данных является конечным парным программистом и повышением производительности для любого разработчика уровня навыков — от специалистов по обработке данных до аналитиков. Она предназначена для ускорения разработки хранилища путем использования генерируемого ИИ для упрощения и автоматизации создания, анализа и управления хранилищем данных.
Эта функция представляет область чата copilot на стороне автомобиля. Используйте панель чата, чтобы задать вопросы о вашем складе в Copilot с помощью естественного языка. К вариантам использования относятся:
- Естественный язык в SQL: задайте вопрос о данных хранилища и получите созданный SQL-запрос, обслуживаемый схемой хранилища.
- Вопрос&A. Задайте Copilot вопрос о вашем складе и получите ответы на основе документации и указатели на официальную документацию.
- Мозговой штурм: используйте Copilot, чтобы помочь вам в мозговом штурме соответствующих тенденций или шаблонов для анализа в данных
BULK INSERT
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Инструкция BULK INSERT используется для приема файлов в хранилище данных Fabric (аналогично COPY INTO). с помощью функции BULK INERT мы включаем миграцию из SQL Server в хранилище данных Fabric с минимальными изменениями кода. Клиентам потребуется переписать код и внешние средства, которые используют BULK INSERT для миграции в COPY INTO в качестве необходимых условий для миграции в хранилище данных Fabric. Кроме того, BULK INSERT поддерживает некоторые традиционные варианты предварительной настройки, недоступные в COPY INTO.
OPENROWSET
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Хранилище данных Fabric позволяет пользователям использовать функцию OPENROWSET для чтения данных из файлов в озере. Простой пример функции OPENROWSET:
SELECT *
FROM OPENROWSET ( BULK ‘<file path>’ )
WITH ( <column definition> )
Функция OPENROWSET считывает содержимое файлов по указанному <file path> адресу и возвращает содержимое файлов.
Функция Thi позволяет легко просматривать и просматривать файлы перед приемом.
Кэширование результирующего набора
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Кэширование результирующих наборов сохраняет результаты применимых запросов и возвращает их немедленно при последующих запусках, что значительно сокращает время выполнения путем обхода повторной компиляции и повторной компиляции. Кэш автоматически управляется и не требует вмешательства вручную.
Автоматическое улучшение статистики
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общая доступность
Планируется несколько улучшений— более короткое время выполнения автоматических статистических обновлений, оппортунистическая поддержка типов столбцов VARCHAR(MAX), улучшенное хранение промежуточных статистических шагов, автоматическое обслуживание статистики за пределами пользовательского запроса.
SHOWPLAN_XML
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общая доступность
SHOWPLAN_XML возвращает подробные сведения о том, как инструкции будут выполняться в виде четко определенного XML-документа без выполнения инструкции T-SQL.
Copilot для конечной точки аналитики SQL
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Copilot для хранилища данных является конечным парным программистом и повышением производительности для любого разработчика уровня навыков — от специалистов по обработке данных до аналитиков. Она предназначена для ускорения разработки хранилища путем использования генерируемого ИИ для упрощения и автоматизации создания, анализа и управления хранилищем данных. Эта функция позволяет использовать Copilot в конечной точке аналитики SQL.
Обновление REST API конечной точки аналитики SQL
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общая доступность
Программно активируйте обновление конечной точки аналитики SQL, чтобы обеспечить синхронизацию таблиц с любыми изменениями, внесенными в родительский элемент.
Код Помощник по миграции
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Разработанная для ускорения миграции sql Server, выделенных пулов SQL Synapse и других хранилищ в хранилище данных Fabric, пользователи смогут перенести код и данные из исходной базы данных, автоматически преобразовывать исходную схему и код в хранилище данных Fabric, помогая миграции данных и обеспечивая помощь с использованием искусственного интеллекта.
Кластеризация данных
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Кластеризация данных обеспечивает более быструю производительность чтения, позволяя клиентам указывать столбцы для совместного поиска данных при приеме, чтобы включить пропуск файлов при чтении.
Alter Table — Drop/Rename column
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общая доступность
Alter Table — Drop/Rename позволяет клиентам изменять определение таблицы путем удаления и переименования столбцов. Это помимо существующих функций Alter Table, которые поддерживают добавление нового столбца и в настоящее время в рабочей среде.
Временные таблицы (область сеанса)
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общая доступность
Области сеанса, резервные временные таблицы parquet позволяют клиентам хранить промежуточные результирующие наборы для повторного доступа, но не требуют постоянного сохранения. Они работают в качестве обычной, постоянной таблицы, но исчезают при закрытии соединения.
MERGE (T-SQL)
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общая доступность
Команда MERGE T-SQL для хранилища данных Fabric обеспечивает возможности DML на основе выбора в одну инструкцию для всех потребностей логики преобразования.
Журналы аудита SQL
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общая доступность
Эта функция отслеживает события базы данных и записывает их в журнал аудита, тем самым позволяя клиентам запрашивать файл аудита с помощью sys.fn_get_audit_file_v2 для аудита и соответствия требованиям.
EXECUTE AS
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общая доступность
EXECUTE AS задает контекст выполнения для сеанса и тем самым позволяет пользователю олицетворение в качестве другого пользователя для проверки необходимых разрешений, предоставленных.
BCP
Предполагаемая временная шкала выпуска: Q1 2025
Тип выпуска: общедоступная предварительная версия
Структура DW поддерживает служебную программу bcp и API массовой загрузки TDS. API массового lod позволяет различным клиентским средствам, таким как bcp, SSIS, ADF, загружать данные в хранилище данных Fabric. И пример команды bcp, которая загружает содержимое файла в таблицу DW:
bcp gold.artists in "C:\temp\gold_artist.txt" -d TextDW -c -S "<server name>.msit-datawarehouse.fabric.microsoft.com" -G -U theusert@microsoft.com
Отправленные функции
Типы VARCHAR(MAX)/VARBINARY(MAX)
Отправлено (Q4 2024)
Тип выпуска: общедоступная предварительная версия
Пользователи могут определять столбцы с типами VARCHAR(MAX)/VARBINARY(MAX) в хранилище данных для хранения строковых или двоичных данных до 1 МБ. В конечной точке SQL для Lakehouse типы строк в таблицах Delta представлены как VARCHAR(MAX) без усечения до 8 КБ. Различия в производительности между запросами, работающими с типами VARCHAR(MAX) и VARCHAR(8000), свести к минимуму, что позволяет пользователям использовать большие типы без значительных штрафов за производительность.
Улучшения конечной точки аналитики SQL
Отправлено (Q4 2024)
Тип выпуска: общая доступность
Эта функция включает в себя обновления, внесенные в конечную точку аналитики SQL, в том числе:
- Автоматическое обновление, активированное при открытии элемента или подключении к конечной точке
- Улучшенный пользовательский интерфейс для обновления конечной точки аналитики SQL непосредственно на ленте
- Новое свойство для последнего успешного обновления в OneLake с помощью всплывающего окна свойств таблицы
- Улучшены сообщения об ошибках.
Поддержка JSON
Отправлено (Q4 2024)
Тип выпуска: общая доступность
Поддержка JSON в Fabric Datawarehouse позволяет обрабатывать текстовые данные, отформатированные как текст JSON. Новые функции JSON в хранилище данных Fabric:
- ПАРАМЕТР ЗАПРОСА FOR JSON, который форматирует результаты запроса как текст JSON. Это была одна из функций, запрошенных на сайте Microsoft Fabric Idea.
- Скалярные функции JSON, которые также можно использовать в базе данных SQL Azure. Помимо существующих скалярных функций JSON (ISJSON, JSON_VALUE, JSON_QUERY и JSON_MODIFY), Структура DW поддерживает последние функции JSON, существующие в База данных SQL Azure – JSON_PATH_EXISTS, JSON_OBJECT и JSON_ARRAY.
Улучшения производительности строк
Отправлено (Q4 2024)
Тип выпуска: общая доступность
Операции с строками (VARCHAR(N)часто используются в запросах T-SQL. Улучшения производительности строковых функций и операторов, которые работают со строками, повышают производительность запросов, использующих предикаты LIKE, строковые функции и операторы сравнения в предикаты WHERE и операторы, такие как GROUP BY, ORDER BY, JOIN, которые работают с типами строк.
Поддержка нечувствительной сортировки регистра (только для хранилища)
Отправлено (Q4 2024)
Тип выпуска: общая доступность
Использование общедоступных ИНТЕРФЕЙСов REST API для создания хранилища данных включает новый параметр для задания параметров сортировки по умолчанию. Это можно использовать для задания нового нечувствительного сортировки регистра по умолчанию. Два поддерживаемых параметров сортировки : Latin1_General_100_CI_AS_KS_WS_SC_UTF8 (что является нечувствительным к регистру) и Latin1_General_100_BIN2_UTF8 (который является конфиденциальным регистром) и по-прежнему является нашим значением по умолчанию.
Поддержка предложения COLLATE T-SQL ожидается в ближайшее время. Это позволит использовать команду COLLATE с помощью CREATE или ALTER TABLE, чтобы напрямую указать параметры сортировки для полей VARCHAR.
Вложенный CTE
Отправлено (Q4 2024)
Распространенные выражения таблиц (CTE) повышают удобочитаемость и упрощение сложных запросов путем деконструкции обычно сложных запросов в простые блоки, которые следует использовать и повторно использовать при необходимости, вместо перезаписи запроса. Вложенный CTE определяется с определением другого CTE.
Интеграция записной книжки T-SQL
Отправлено (Q3 2024)
Тип выпуска: общедоступная предварительная версия
Вы можете начать использовать поддержку языка T-SQL в записных книжках, которые объединяют возможности записных книжек и SQL в рамках того же интерфейса, что позволяет intellisense, автозавершение, межбазовые запросы, расширенные визуализации и возможность легко сотрудничать и совместно использовать записные книжки.
TRUNCATE
Отправлено (Q3 2024)
Команда TRUNCATE быстро удаляет все строки данных из таблицы.
ALTER TABLE — добавление столбца, допускающего значение NULL
Отправлено (Q3 2024)
Поддержка ALTER TABLE ADD COLUMN позволяет расширить уже существующие таблицы с новыми столбцами, разрешающими значения NULL.
Обновления аналитики запросов
Отправлено (Q3 2024)
Историческое представление закрытых сеансов будет доступно через Query Insights. Это дополнение помогает анализировать трафик, загрузку и использование хранилища данных.
Восстановление на месте в редакторе хранилища
Отправлено (Q2 2024)
Теперь можно легко создавать точки восстановления и восстанавливать хранилище в известном хорошем состоянии в случае случайного повреждения с помощью редактора хранилища.
Поддержка COPY INTO для безопасного хранилища
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Теперь вы можете получать данные в хранилище с помощью COPY INTO из внешней учетной записи хранения Azure, защищенной брандмауэром.
Copilot
Отправлено (Q2 2024)
Тип выпуска: общедоступная предварительная версия
Copilot позволяет разработчикам любого уровня навыка быстро создавать и запрашивать хранилище в Fabric. Copilot предлагает рекомендации и рекомендации, автозавершение кода, помощь в исправлении и коде документа, а также помощь с подготовкой данных, моделированием и анализом.
Переход по времени
Отправлено (Q2 2024)
Возможность перемещения по времени на уровне инструкции T-SQL позволяет пользователям запрашивать исторические данные из различных прошлых периодов времени, указывая метку времени только один раз для всего запроса. Поездки по времени помогают значительно сократить затраты на хранение с помощью одной копии данных, присутствующих в One Lake, для проведения анализа тенденций, устранения неполадок и сверки данных. Кроме того, он также упрощает достижение стабильной отчетности путем поддержания целостности данных в различных таблицах в хранилище данных.
Мониторинг хранилища
Отправлено (Q2 2024)
Используя встроенный интерфейс мониторинга хранилища, вы можете просматривать динамические запросы и исторические запросы, отслеживать и устранять неполадки с производительностью комплексного решения.