Поделиться через

Настройка расположения хранилища результатов записной книжки

  • Статья

Требования к конфиденциальности вашей организации могут потребовать, чтобы все интерактивные записные книжки отображались в учетной записи хранения рабочей области в облачной учетной записи, а не в расположении уровня управления, управляемом Databricks, где хранятся некоторые результаты команды записной книжки.

Выходные данные команды записной книжки хранятся по-разному в зависимости от способа выполнения записной книжки.

По умолчанию при интерактивном запуске записной книжки нажмите кнопку "Выполнить " в записной книжке:

  • Если результаты имеют небольшой размер, они хранятся в плоскости управления Azure Databricks, а также в содержимом и метаданных команд записной книжки.
  • Более крупные результаты хранятся в учетной записи хранения рабочей области в подписке Azure. Azure Databricks автоматически создает учетную запись хранения рабочей области. Azure Databricks использует эту область хранилища для системных данных рабочей области и корневого каталога DBFS рабочей области. Результаты записной книжки хранятся в системном хранилище данных рабочей области, которое недоступно для пользователей. См . учетную запись хранения рабочей области.

При запуске записной книжки в качестве задания путем планирования или нажатия кнопки "Выполнить сейчас " на странице "Задания" все результаты хранятся в учетной записи хранения рабочей области.

Можно настроить рабочую область для хранения всех результатов интерактивной записной книжки в облачной учетной записи независимо от размера результата.

Настройка расположения хранилища для результатов интерактивной записной книжки

Вы можете настроить рабочую область для хранения всех результатов интерактивной записной книжки в подписке Azure, а не в плоскости управления. Эту функцию можно включить с помощью страницы параметров администратора или REST API. Эта конфигурация не влияет на записные книжки, которые выполняются как задания, результаты которых по умолчанию уже хранятся в подписке Azure.

Имейте в виду следующие моменты:

  • Изменения в этой конфигурации действуют только для новых результатов. Результаты существующих записных книжек не перемещаются.
  • Некоторые метаданные результатов, например имена столбцов диаграммы, по мере необходимости сохраняются на уровне управления.
  • Ваш поставщик облачных служб может взимать повышенную плату за хранение.
  • При чтении и записи результатов может наблюдаться увеличение задержки в работе сети и операциях ввода-вывода.

Сохранение всех результатов записной книжки в учетной записи с помощью страницы параметров администратора

Администратор рабочей области:

  1. Перейдите на страницу параметров.
  2. Перейдите на вкладку Безопасность .
  3. Щелкните интерактивную записную книжку Магазина, в результате которой вы запустите переключатель учетной записи клиента.

Сохраняйте все результаты записной книжки в учетной записи с помощью REST API

Чтобы настроить рабочую область для хранения всех результатов записной книжки в подписке Azure, используйте REST API:

  • Вы должны быть администратором рабочей области.
  • Вам потребуется личный маркер доступа. В рамках приведенных ниже инструкций предполагается, что вы настроили файл .netrc с помощью личного маркера доступа, чтобы можно было использовать параметр -n в командах curl. Дополнительные сведения см. в указанной выше статье.

Чтобы получить текущую настройку, вызовите конечную точку GET /workspace-conf и задайте для параметра keys значение storeInteractiveNotebookResultsInCustomerAccount:

curl -n --request GET \
  'https://<databricks-instance>/api/2.0/workspace-conf?keys=storeInteractiveNotebookResultsInCustomerAccount'

Чтобы разрешить рабочей области сохранять результаты интерактивной записной книжки в подписке Azure, вызовите конечную точку PATCH /workspace-conf и задайте для параметра storeInteractiveNotebookResultsInCustomerAccount значение true в тексте запроса:

curl -n --request PATCH \
 'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "true"
}'

Чтобы отключить эту функцию, задайте для того же флага значение false:

curl -n --request PATCH \
  'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "false"
}'