Создание рабочей области Fabric для FinOps

В этой статье описывается создание и настройка рабочей области Microsoft Fabric для FinOps. Он содержит пошаговое руководство по созданию и настройке настройки Azure Data Lake Storage (ADLS), экспорта данных, создания рабочей области и приема данных. По завершении можно использовать Power BI для создания отчетов.

Необходимые компоненты

Перед началом работы убедитесь, что у вас есть перечисленные ниже ресурсы.

• Платная подписка Azure с информацией о затратах и использовании
• Владелец учетной записи хранения или доступ для предоставления разрешений учетной записи хранения
• При использовании проверки подлинности учетной записи организации необходимо иметь роль участника данных BLOB-объектов хранилища. Если у вас нет необходимых разрешений, можно использовать другие типы проверки подлинности, такие как ключ учетной записи. В противном случае возникает Invalid credentials ошибка.

Для выполнения этого пошагового руководства вы создадите следующие ресурсы, которые несут затраты:

• Учетная запись Azure Data Lake Storage 2-го поколения
• Рабочая область Power BI
• Рабочая область Fabric

Создание и настройка Azure Data Lake Storage

Microsoft Fabric оптимизирован для работы с учетными записями хранения с включенным иерархическим пространством имен, также известным как Azure Data Lake Storage 2-го поколения. У вас есть два варианта получения учетной записи хранения Data Lake:

• Вариант 1. Создание учетной записи хранения Data Lake см. в статье "Создание учетной записи хранения для Azure Data Lake Storage 2-го поколения".
• Вариант 2. Включение иерархического пространства имен в существующей учетной записи хранения см. в разделе "Обновление Хранилище BLOB-объектов Azure с помощью возможностей Azure Data Lake Storage 2-го поколения".

В следующем примере мы использовали следующую учетную запись хранения Data Lake 2-го поколения. Вы используете собственную учетную запись хранения и сведения о подписке.

• Подписка = подписка Contoso.
• Учетная запись хранения = учетная запись хранения contoso-storage-account.

Экспорт данных о затратах

Так как мы создадим рабочую область, оптимизированную для FinOps, мы экспортируем данные о затратах с помощью спецификации Open Cost and Usage (FOCUS), не зависящая от поставщика формат данных для получения сведений о затратах. Все наши примеры используют FOCUS, но вы также можете использовать существующие фактические или амортизированные экспорты затрат с включенным перезаписью файлов.

Дополнительные сведения о ФОКУСе и его преимуществах см. в разделе Что такое FOCUS. Фонд FinOps также предлагает бесплатный курс "Введение в ФОКУС". Решения Microsoft Power BI для FinOps соответствуют фокусу.

Сведения о создании экспорта см. в разделе "Создание экспорта".

Ниже приведены высокоуровневые шаги по созданию экспорта:

1. Войдите в портал Azure, https://portal.azure.comвыполните поиск по запросу "Управление затратами".
2. Выберите требуемую область и выберите пункт "Экспорты " в меню навигации слева.
3. Выбор и создание
4. На вкладке "Основные сведения" выберите шаблон = затраты и использование (FOCUS)
5. На вкладке "Наборы данных" введите префикс экспорта, чтобы убедиться, что у вас есть уникальное имя для экспорта. Например, июнь 2024focus.
6. На вкладке "Назначение" выберите:
   • Тип хранилища = хранилище BLOB-объектов Azure
   • Назначение и хранилище = использование существующих
   • Подписка = подписка Contoso
   • Учетная запись хранения = учетная запись хранения Contoso
   • Container = msexports
   • Directory = focuscost/<scope-id>
   • Перезапись данных = Включено
7. На вкладке "Просмотр и создание" нажмите кнопку "Создать".
8. Запустите экспорт, нажав кнопку "Запустить сейчас " на странице экспорта.

Перед переходом к следующему шагу убедитесь, что экспорт завершен и доступен файл.

Если вы хотите автоматизировать создание экспорта, попробуйте использовать команду New-FinOpsCostExport в модуле PowerShell набора средств FinOps.

Если вы развернули центры FinOps, этот шаг можно пропустить и использовать обработанные данные в хранилище концентраторов.

Создание рабочей области Fabric

Если у вас уже есть рабочая область Microsoft Fabric, можно пропустить создание новой рабочей области, если вы не хотите хранить ресурсы FinOps отдельно от других.

Если вы не настроили Microsoft Fabric, см. статью "Включить Microsoft Fabric для вашей организации".

1. Войдите в приложение Fabric с помощью бесплатной учетной записи Fabric или учетной записи Microsoft Power BI.
2. Вы можете создать рабочую область для ресурсов FinOps или использовать существующую рабочую область. Сведения о создании рабочей области см. в разделе "Создание рабочей области".

Если вы не знакомы с Microsoft Fabric или не включили емкость Fabric, ознакомьтесь с пробной версией Fabric. Если пробные версии Fabric отключены, может потребоваться создать новую емкость Fabric.

Емкость Nontrial Fabric взимает плату за вашу организацию. См . цены на Microsoft Fabric.

Ниже приведен пример снимок экрана, показывающий создание новой рабочей области Fabric.

Создание озера данных

Microsoft Fabric Lakehouse — это архитектуры данных, позволяющие организациям хранить структурированные и неструктурированные данные в одном расположении и управлять ими. Они используют различные инструменты и платформы для обработки и анализа данных. Эти средства и платформы могут включать запросы на основе SQL и аналитику, машинное обучение и другие методы расширенной аналитики.

Вы можете создать новый lakehouse или использовать существующий. Lakehouses взаимодействуют, поэтому мы, как правило, рекомендуем использовать один лейкхаус для всех наборов данных FinOps. Единый lakehouse объединяет связанные сведения для совместного использования моделей данных, конвейеров и мер безопасности.

Чтобы создать новое озеро в рабочей области Fabric, выберите следующее:

1. Войдите в приложение Fabric с помощью бесплатной учетной записи Fabric или учетной записи Microsoft Power BI.
2. Выберите рабочую область, в которой вы хотите создать lakehouse.
3. В левом верхнем углу страницы нажмите кнопку +Создать , а затем нажмите кнопку "Дополнительные параметры".
   
4. Выбор Lakehouse
   

Дополнительные сведения см. в разделе "Создание озера".

Создание ярлыка для хранилища

Сочетания клавиш в Lakehouse позволяют ссылаться на данные без копирования. Он объединяет данные из разных озерных домов, рабочих областей или внешнего хранилища, таких как Data Lake 2-го поколения или Amazon Web Services (AWS) S3. Вы можете быстро сделать большие объемы данных доступными в lakehouse локально без задержки копирования данных из источника.

Сведения о создании ярлыка см. в разделе "Создание ярлыка Azure Data Lake Storage 2-го поколения".

1. Войдите в приложение Fabric с помощью бесплатной учетной записи Fabric или учетной записи Microsoft Power BI.
2. Выберите lakehouse вашего выбора.
3. Выберите многоточие (...) рядом с файлами.
   Вы добавляете CSV-файлы и Parquet в разделе "Файлы". Разностные таблицы добавляются в таблицы.
4. Выберите "Создать ярлык".
   
5. Выберите Azure Data Lake Storage 2-го поколения и укажите следующие параметры:
   • URL = URL-адрес Data Lake Storage учетной записи хранения Data Lake. См. следующее примечание о проверке подлинности.
   • Подключение = создание нового подключения
   • Имя подключения = <любое имя выбранного имени>
   • Тип проверки подлинности = учетная запись организации
   • При появлении запроса выполните вход.

Ниже приведен пример снимка экрана с параметрами нового сочетания клавиш.

Чтобы получить URL-адрес Data Lake Storage, просмотрите учетную запись хранения, в которой экспорт создал каталог и файл затрат FOCUS. В разделе "Параметры" выберите "Конечные точки". Скопируйте URL-адрес, помеченный как Data Lake Storage.

Ниже приведен пример снимка экрана с URL-адресом Data Lake Storage на странице конечных точек.

Копирование данных в Fabric

После создания ярлыка можно просмотреть данные о затратах FOCUS в файлах. Данные можно загрузить непосредственно в Fabric с помощью одного из следующих методов на основе ваших требований. Следующие вкладки предоставляют два варианта:

#!/usr/bin/env python
# coding: utf-8

# ## Sample Read CSV to Delta Output
# 
# Exports Platform Demo Notebook

# # Export to Delta Parquet

# In[1]:
read_path = '<USER INPUT>' # input path to your data stream
export_table = '<USER INPUT>' # output path for your delta parquet table, ex: "Tables/CostDetails" 

# In[3]:
df = spark.read.format("csv").option("header", "true").option("inferSchema", "true").option("recursiveFileLookup", "true").load(read_path) 
     
''' Use this for parquet reading 
df = spark.read.format("parquet").option("header", "true").option("inferSchema", "true").option("recursiveFileLookup", "true").load(read_path) 
''' 

# In[4]:
''' Use this if you want to overwrite the schema as well 
df.write.mode("overwrite").format("delta").option("overwriteSchema", "true").save(export_table) 
''' 
df.write.mode("overwrite").format("delta").save(export_table) 

Создание отчета Power BI

После приема данных в Fabric и таблицы можно перейти к отчетам.

1. Войдите в приложение Fabric с помощью бесплатной учетной записи Fabric или учетной записи Microsoft Power BI.
2. Выберите рабочую область, в которой вы создали lakehouse, а затем выберите lakehouse.
3. В области обозревателя выберите таблицы и выберите созданную таблицу.
4. В верхней части страницы выберите "Новая семантическая модель " и назовите модель. Дополнительные сведения см. в разделе "Семантические модели Power BI по умолчанию".
5. Выберите символ Power BI в нижнем левом углу.
6. Выберите ту же семантику для создания отчетов, а затем используйте Copilot для создания аналитических сведений из полученных данных.

Связанный контент

Связанные продукты:

• Управление затратами

Связанные решения:

• Центры FinOps
• Отчеты Power BI с набором средств FinOps