Что такое пакет SDK машинного обучения Azure версии 1 для Python?

Специалисты по обработке и анализу данных и разработчики ИИ используют пакет SDK машинного обучения Azure версии 1 для Python для создания и запуска рабочих процессов машинного обучения с помощью службы машинного обучения Azure. Вы можете взаимодействовать со службой в любой среде Python, включая Jupyter Notebook, Visual Studio Codeили любимую интегрированную среду разработки Python.

К ключевым областям пакета SDK относятся:

• Изучите, подготовьте и управляйте жизненным циклом наборов данных, используемых в экспериментах машинного обучения.
• Управление облачными ресурсами для мониторинга, ведения журнала и организации экспериментов машинного обучения.
• Обучение моделей локально или с помощью облачных ресурсов, включая обучение модели с ускорением GPU.
• Используйте автоматизированное машинное обучение, которое принимает параметры конфигурации и данные обучения. Он автоматически выполняет итерацию по алгоритмам и параметрам гиперпараметров, чтобы найти лучшую модель для выполнения прогнозов.
• Разверните веб-службы для преобразования обученных моделей в службы RESTful, которые можно использовать в любом приложении.

Пошаговое руководство по началу работы см. в руководстве по .

В следующих разделах приведены общие сведения о некоторых из наиболее важных классов в пакете SDK и распространенных шаблонах проектирования для их использования. Чтобы получить пакет SDK, ознакомьтесь с руководством по установке .

Стабильный и экспериментальный

Пакет SDK машинного обучения Azure для Python предоставляет как стабильные, так и экспериментальные функции в одном пакете SDK.

Экспериментальные функции помечены разделом заметок в справочнике по пакету SDK и указываются текстом, например (предварительная версия) в документации по машинному обучению Azure.

Рабочая область

пространства имен :

Класс Workspace — это базовый ресурс в облаке, который используется для экспериментов, обучения и развертывания моделей машинного обучения. Он связывает подписку Azure и группу ресурсов с легко используемым объектом.

Просмотрите все параметры метода создания рабочей области для повторного использования существующих экземпляров (хранилища, Key Vault, App-Insights и Реестра контейнеров Azure-ACR), а также изменения дополнительных параметров, таких как конфигурация частной конечной точки и целевой объект вычислений.

Импортируйте класс и создайте новую рабочую область с помощью следующего кода. Задайте для create_resource_group значение False, если у вас есть ранее существующая группа ресурсов Azure, которую вы хотите использовать для рабочей области. Некоторые функции могут запрашивать учетные данные проверки подлинности Azure.

from azureml.core import Workspace
ws = Workspace.create(name='myworkspace',
                      subscription_id='<azure-subscription-id>',
                      resource_group='myresourcegroup',
                      create_resource_group=True,
                      location='eastus2'
                     )

Используйте одну рабочую область в нескольких средах, сначала написав ее в JSON-файл конфигурации. Это сохраняет данные имен подписки, ресурсов и рабочей области.

ws.write_config(path="./file-path", file_name="ws_config.json")

Загрузите рабочую область, прочитав файл конфигурации.

from azureml.core import Workspace
ws_other_environment = Workspace.from_config(path="./file-path/ws_config.json")

Кроме того, используйте статический метод get() для загрузки существующей рабочей области без использования файлов конфигурации.

from azureml.core import Workspace
ws = Workspace.get(name="myworkspace", subscription_id='<azure-subscription-id>', resource_group='myresourcegroup')

Переменная ws представляет объект Workspace в следующих примерах кода.

Эксперимент

пространства имен :

Класс Experiment — это другой базовый облачный ресурс, представляющий коллекцию пробных версий (запуски отдельных моделей). Следующий код получает объект Experiment из Workspace по имени или создает новый объект Experiment, если имя не существует.

from azureml.core.experiment import Experiment
experiment = Experiment(workspace=ws, name='test-experiment')

Выполните следующий код, чтобы получить список всех объектов Experiment, содержащихся в Workspace.

list_experiments = Experiment.list(ws)

Используйте функцию get_runs для получения списка объектов Run (пробных версий) из Experiment. Следующий код извлекает запуски и выводит идентификатор каждого запуска.

list_runs = experiment.get_runs()
for run in list_runs:
    print(run.id)

Существует два способа выполнения пробной версии эксперимента. Если вы интерактивно экспериментируете в записной книжке Jupyter, используйте функцию start_logging. Если вы отправляете эксперимент из стандартной среды Python, используйте функцию submit. Обе функции возвращают объект Run. Переменная experiment представляет объект Experiment в следующих примерах кода.

Бежать

пространства имен :

Выполнение представляет собой одну пробную версию эксперимента. Run — это объект, используемый для мониторинга асинхронного выполнения пробной версии, хранения выходных данных пробной версии, анализа результатов и доступа к созданным артефактам. Вы используете Run в коде экспериментирования для записи метрик и артефактов в службу журнала выполнения. Функциональные возможности включают:

• Хранение и получение метрик и данных.
• Использование тегов и дочерней иерархии для простого поиска прошлых запусков.
• Регистрация хранимых файлов модели для развертывания.
• Хранение, изменение и получение свойств выполнения.

Создайте объект Run, отправив объект Experiment с объектом конфигурации запуска. Используйте параметр tags для присоединения пользовательских категорий и меток к запускам. Их можно легко найти и получить позже из Experiment.

tags = {"prod": "phase-1-model-tests"}
run = experiment.submit(config=your_config_object, tags=tags)

Используйте статическую функцию list, чтобы получить список всех объектов Run из Experiment. Укажите параметр tags для фильтрации по ранее созданному тегу.

from azureml.core.run import Run
filtered_list_runs = Run.list(experiment, tags=tags)

Используйте функцию get_details для получения подробных выходных данных для выполнения.

run_details = run.get_details()

Выходные данные для этой функции — это словарь, включающий:

• Идентификатор запуска
• Статус
• Время начала и окончания
• Целевой объект вычислений (локальный и облачный)
• Зависимости и версии, используемые в выполнении
• Данные, относящиеся к обучению (отличаются в зависимости от типа модели)

Дополнительные примеры настройки и мониторинга запусков см. в инструкции по.

Модель

пространства имен :

Класс Model используется для работы с облачными представлениями моделей машинного обучения. Методы помогают передавать модели между локальными средами разработки и объектом Workspace в облаке.

Регистрацию моделей можно использовать для хранения и версии моделей в облаке Azure в рабочей области. Зарегистрированные модели определяются по имени и версии. Каждый раз, когда вы регистрируете модель с тем же именем, что и существующий, реестр увеличивает версию. Машинное обучение Azure поддерживает любую модель, которую можно загрузить с помощью Python 3, а не только моделей машинного обучения Azure.

В следующем примере показано, как создать простую локальную модель классификации с scikit-learn, зарегистрировать модель в Workspaceи скачать модель из облака.

Создайте простой классификатор clfдля прогнозирования оттока клиентов на основе их возраста. Затем дампа модели в файл .pkl в том же каталоге.

from sklearn import svm
import joblib
import numpy as np

# customer ages
X_train = np.array([50, 17, 35, 23, 28, 40, 31, 29, 19, 62])
X_train = X_train.reshape(-1, 1)
# churn y/n
y_train = ["yes", "no", "no", "no", "yes", "yes", "yes", "no", "no", "yes"]

clf = svm.SVC(gamma=0.001, C=100.)
clf.fit(X_train, y_train)

joblib.dump(value=clf, filename="churn-model.pkl")

Используйте функцию register для регистрации модели в рабочей области. Укажите путь к локальной модели и имя модели. Регистрация одного и того же имени несколько раз создаст новую версию.

from azureml.core.model import Model

model = Model.register(workspace=ws, model_path="churn-model.pkl", model_name="churn-model-test")

Теперь, когда модель зарегистрирована в рабочей области, легко управлять, скачивать и упорядочивать модели. Чтобы получить объект модели (например, в другой среде) из Workspace, используйте конструктор классов и укажите имя модели и любые необязательные параметры. Затем используйте функцию download для скачивания модели, включая структуру облачных папок.

from azureml.core.model import Model
import os

model = Model(workspace=ws, name="churn-model-test")
model.download(target_dir=os.getcwd())

Используйте функцию delete для удаления модели из Workspace.

model.delete()

После регистрации модели развертывание в качестве веб-службы является простым процессом. Сначала создать и зарегистрировать образ. На этом шаге настраивается среда Python и его зависимости, а также скрипт для определения форматов запросов и ответов веб-службы. После создания образа создать конфигурацию развертывания, которая задает ядра ЦП и параметры памяти для целевого объекта вычислений. Затем вы присоединяете изображение.

ComputeTarget, RunConfiguration и ScriptRunConfig

пространства имен :
пространства имен :
пространства имен :

Класс ComputeTarget является абстрактным родительским классом для создания целевых объектов вычислений и управления ими. Целевой объект вычислений представляет различные ресурсы, в которых можно обучать модели машинного обучения. Целевой объект вычислений может быть локальным компьютером или облачным ресурсом, например вычислением машинного обучения Azure, Azure HDInsight или удаленной виртуальной машиной.

Используйте целевые объекты вычислений, чтобы воспользоваться преимуществами мощных виртуальных машин для обучения моделей, а также настроить целевые объекты постоянных вычислений или временные целевые объекты среды выполнения. Полное руководство по настройке целевых объектов вычислений и управлению ими см. в инструкции по.

В следующем коде показан простой пример настройки целевого объекта AmlCompute (дочерний класс ComputeTarget). Этот целевой объект создает удаленный вычислительный ресурс среды выполнения в объекте Workspace. Ресурс масштабируется автоматически при отправке задания. Он удаляется автоматически после завершения выполнения.

Повторно используйте простую модель обработки scikit-learn и создайте ее в собственный файл train.pyв текущем каталоге. В конце файла создайте новый каталог с именем outputs. На этом шаге создается каталог в облаке (рабочая область) для хранения обученной модели, которая joblib.dump() сериализована.

# train.py

from sklearn import svm
import numpy as np
import joblib
import os

# customer ages
X_train = np.array([50, 17, 35, 23, 28, 40, 31, 29, 19, 62])
X_train = X_train.reshape(-1, 1)
# churn y/n
y_train = ["yes", "no", "no", "no", "yes", "yes", "yes", "no", "no", "yes"]

clf = svm.SVC(gamma=0.001, C=100.)
clf.fit(X_train, y_train)

os.makedirs("outputs", exist_ok=True)
joblib.dump(value=clf, filename="outputs/churn-model.pkl")

Затем вы создадите целевой объект вычислений, создав экземпляр объекта RunConfiguration и задав тип и размер. В этом примере используется наименьший размер ресурса (1 ядро ЦП, 3,5 ГБ памяти). Переменная list_vms содержит список поддерживаемых виртуальных машин и их размеров.

from azureml.core.runconfig import RunConfiguration
from azureml.core.compute import AmlCompute
list_vms = AmlCompute.supported_vmsizes(workspace=ws)

compute_config = RunConfiguration()
compute_config.target = "amlcompute"
compute_config.amlcompute.vm_size = "STANDARD_D1_V2"

Создайте зависимости для среды Python удаленного вычислительного ресурса с помощью класса CondaDependencies. Файл train.py использует scikit-learn и numpy, которые необходимо установить в среде. Можно также указать версии зависимостей. Используйте объект dependencies для задания среды в compute_config.

from azureml.core.conda_dependencies import CondaDependencies

dependencies = CondaDependencies()
dependencies.add_pip_package("scikit-learn")
dependencies.add_pip_package("numpy==1.15.4")
compute_config.environment.python.conda_dependencies = dependencies

Теперь вы готовы отправить эксперимент. Используйте класс ScriptRunConfig для подключения конфигурации целевого объекта вычислений и указания пути или файла к скрипту обучения train.py. Отправьте эксперимент, указав параметр config функции submit(). Вызовите wait_for_completion в результирующем запуске, чтобы просмотреть асинхронные выходные данные запуска по мере инициализации среды, а модель обучена.

from azureml.core.experiment import Experiment
from azureml.core import ScriptRunConfig

script_run_config = ScriptRunConfig(source_directory=os.getcwd(), script="train.py", run_config=compute_config)
experiment = Experiment(workspace=ws, name="compute_target_test")
run = experiment.submit(config=script_run_config)
run.wait_for_completion(show_output=True)

После завершения выполнения файл обученной модели churn-model.pkl доступен в рабочей области.

Окружающая среда

пространства имен :

Среды машинного обучения Azure указывают пакеты Python, переменные среды и параметры программного обеспечения для обучения и оценки. Помимо Python, вы также можете настроить PySpark, Docker и R для сред. Внутри среды создают образы Docker, используемые для выполнения процессов обучения и оценки в целевом объекте вычислений. Среды управляются и версии сущностей в рабочей области машинного обучения, которые обеспечивают воспроизводимые, аудит и переносимые рабочие процессы машинного обучения в различных целевых объектах вычислений и типах вычислений.

Для этого можно использовать объект Environment:

• Разработка скрипта обучения.
• Повторно используйте ту же среду в вычислении машинного обучения Azure для обучения модели в большом масштабе.
• Разверните модель с той же средой без привязки к определенному типу вычислений.

Следующий код импортирует класс Environment из пакета SDK и создает экземпляр объекта среды.

from azureml.core.environment import Environment
Environment(name="myenv")

Добавьте пакеты в среду с помощью файлов Conda, pip или private wheel. Укажите зависимость каждого пакета с помощью класса CondaDependency, чтобы добавить его в PythonSectionсреды.

Следующий пример добавляется в среду. Он добавляет версию 1.17.0 numpy. Он также добавляет пакет pillow в среду, myenv. В примере используется метод add_conda_package() и метод add_pip_package() соответственно.

from azureml.core.environment import Environment
from azureml.core.conda_dependencies import CondaDependencies

myenv = Environment(name="myenv")
conda_dep = CondaDependencies()

# Installs numpy version 1.17.0 conda package
conda_dep.add_conda_package("numpy==1.17.0")

# Installs pillow package
conda_dep.add_pip_package("pillow")

# Adds dependencies to PythonSection of myenv
myenv.python.conda_dependencies=conda_dep

Чтобы отправить обучающий запуск, необходимо объединить среду, целевой целевой объект вычисленийи обучающий скрипт Python в конфигурацию запуска. Эта конфигурация представляет собой объект-оболочку, который используется для отправки запусков.

При отправке учебного запуска сборка новой среды может занять несколько минут. Длительность зависит от размера необходимых зависимостей. Среды кэшируются службой. Таким образом, если определение среды остается неизменным, то полное время установки возникает только один раз.

В следующем примере показано, где вы будете использовать ScriptRunConfig в качестве объекта-оболочки.

from azureml.core import ScriptRunConfig, Experiment
from azureml.core.environment import Environment

exp = Experiment(name="myexp", workspace = ws)
# Instantiate environment
myenv = Environment(name="myenv")

# Add training script to run config
runconfig = ScriptRunConfig(source_directory=".", script="train.py")

# Attach compute target to run config
runconfig.run_config.target = "local"

# Attach environment to run config
runconfig.run_config.environment = myenv

# Submit run 
run = exp.submit(runconfig)

Если вы не указываете среду в конфигурации запуска перед отправкой запуска, создается среда по умолчанию.

См. раздел развертывания модели, чтобы использовать среды для развертывания веб-службы.

Конвейер, PythonScriptStep

пространства имен :
пространства имен :

Конвейер машинного обучения Azure — это автоматизированный рабочий процесс полной задачи машинного обучения. Подзадачи инкапсулируются в виде ряда шагов в конвейере. Конвейер машинного обучения Azure может быть таким же простым, как один шаг, который вызывает скрипт Python. Конвейеры включают функции для:

• Подготовка данных, включая импорт, проверку и очистку, изменение и преобразование, нормализацию и промежуточное выполнение
• Конфигурация обучения, включая параметризацию аргументов, файловых путей и конфигураций ведения журнала и отчетов
• Обучение и проверка эффективно и повторяемо, что может включать указание определенных подмножеств данных, различных вычислительных ресурсов оборудования, распределенной обработки и мониторинга хода выполнения.
• Развертывание, включая управление версиями, масштабирование, подготовку и управление доступом
• Публикация конвейера в конечную точку REST для повторного запуска из любой библиотеки HTTP

PythonScriptStep — это базовый встроенный шаг для запуска скрипта Python в целевом объекте вычислений. Он принимает имя скрипта и другие необязательные параметры, такие как аргументы для скрипта, целевого объекта вычислений, входных и выходных данных. Следующий код является простым примером PythonScriptStep. Пример скрипта train.py см. в руководстве подразделе.

from azureml.pipeline.steps import PythonScriptStep

train_step = PythonScriptStep(
    script_name="train.py",
    arguments=["--input", blob_input_data, "--output", output_data1],
    inputs=[blob_input_data],
    outputs=[output_data1],
    compute_target=compute_target,
    source_directory=project_folder
)

После создания хотя бы одного шага шаги можно объединить и опубликовать как простой автоматизированный конвейер.

from azureml.pipeline.core import Pipeline

pipeline = Pipeline(workspace=ws, steps=[train_step])
pipeline_run = experiment.submit(pipeline)

Полный пример создания рабочего процесса конвейера см. в расширенном руководстве.

Шаблон для создания и использования конвейеров

Конвейер машинного обучения Azure связан с рабочей областью Машинного обучения Azure, а шаг конвейера связан с целевым объектом вычислений, доступным в этой рабочей области. Дополнительные сведения см. в этой статье о рабочих областях или об этом объяснении целевых объектов вычислений .

Типичным шаблоном для шагов конвейера является:

1. Указание рабочей области, вычислений и хранилища
2. Настройка входных и выходных данных с помощью
   1. набор данных, который предоставляет существующее хранилище данных Azure
   2. PipelineDataset, которые инкапсулируют типизированные табличные данные
   3. PipelineData, которая используется для промежуточных файлов или данных каталога, записанных на один шаг и предназначенных для использования другим
3. Определение одного или нескольких шагов конвейера
4. Создание экземпляра конвейера с помощью рабочей области и шагов
5. Создание эксперимента, в который отправляется конвейер
6. Мониторинг результатов эксперимента

этой записной книжке является хорошим примером этого шаблона. работа

Дополнительные сведения о конвейерах машинного обучения Azure и, в частности, о том, как они отличаются от других типов конвейеров, см. в этой статье.

AutoMLConfig

пространства имен :

Используйте класс AutoMLConfig для настройки параметров для автоматического обучения машинного обучения. Автоматизированное машинное обучение выполняет итерацию по множеству сочетаний алгоритмов машинного обучения и параметров гиперпараметров. Затем он находит оптимальную модель на основе выбранной метрики точности. Конфигурация позволяет указать:

• Тип задачи (классификация, регрессия, прогнозирование)
• Число итераций алгоритма и максимальное время на итерацию
• Метрика точности для оптимизации
• Алгоритмы для блокировки или списка разрешений
• Количество перекрестных проверок
• Целевые объекты вычислений
• Обучающие данные

Подробные руководства и примеры настройки экспериментов автоматизированного машинного обучения см. в руководстве и .

В следующем коде показано создание объекта конфигурации автоматизированного машинного обучения для модели классификации и его использование при отправке эксперимента.

from azureml.train.automl import AutoMLConfig

automl_config = AutoMLConfig(task="classification",
                             X=your_training_features,
                             y=your_training_labels,
                             iterations=30,
                             iteration_timeout_minutes=5,
                             primary_metric="AUC_weighted",
                             n_cross_validations=5
                            )

Используйте объект automl_config для отправки эксперимента.

from azureml.core.experiment import Experiment

experiment = Experiment(ws, "automl_test_experiment")
run = experiment.submit(config=automl_config, show_output=True)

После отправки эксперимента выходные данные показывают точность обучения для каждой итерации по мере завершения. После завершения выполнения возвращается объект AutoMLRun (который расширяет класс Run). Получите оптимальную модель с помощью функции get_output() для возврата объекта Model.

best_model = run.get_output()
y_predict = best_model.predict(X_test)

Развертывание модели

пространства имен :
пространства имен :

Класс InferenceConfig предназначен для параметров конфигурации, описывающих среду, необходимую для размещения модели и веб-службы.

Webservice — это абстрактный родительский класс для создания и развертывания веб-служб для моделей. Подробное руководство по подготовке к развертыванию моделей и развертыванию веб-служб см. в этом инструкции по.

Среды можно использовать при развертывании модели в качестве веб-службы. Среды обеспечивают воспроизводимый подключенный рабочий процесс, в котором можно развернуть модель с помощью одних и тех же библиотек в вычислительных ресурсах обучения и вычислениях вывода. Внутри среды реализуются как образы Docker. Вы можете использовать образы, предоставляемые корпорацией Майкрософт, или использовать собственные пользовательские образы Docker. Если вы ранее использовали класс ContainerImage для развертывания, ознакомьтесь с классом DockerSection для выполнения аналогичного рабочего процесса с средами.

Чтобы развернуть веб-службу, объединить среду, вывести вычисления, скрипт оценки и зарегистрированную модель в объекте развертывания, deploy().

В следующем примере предполагается, что вы уже завершили обучающий запуск с помощью среды, myenvи хотите развернуть эту модель в экземплярах контейнеров Azure.

from azureml.core.model import InferenceConfig, Model
from azureml.core.webservice import AciWebservice, Webservice

# Register the model to deploy
model = run.register_model(model_name = "mymodel", model_path = "outputs/model.pkl")

# Combine scoring script & environment in Inference configuration
inference_config = InferenceConfig(entry_script="score.py",
                                   environment=myenv)

# Set deployment configuration
deployment_config = AciWebservice.deploy_configuration(cpu_cores = 1,
                                                       memory_gb = 1)

# Define the model, inference, & deployment configuration and web service name and location to deploy
service = Model.deploy(workspace = ws,
                       name = "my_web_service",
                       models = [model],
                       inference_config = inference_config,
                       deployment_config = deployment_config)

В этом примере создается веб-служба экземпляров контейнеров Azure, которая лучше всего подходит для небольших масштабируемых тестов и быстрых развертываний. Чтобы развернуть модель в качестве рабочей веб-службы, используйте службу Azure Kubernetes (AKS). Дополнительные сведения см. в класса AksCompute.

Набор данных

пространства имен :
пространства имен :
пространства имен :

Класс Dataset — это базовый ресурс для изучения и управления данными в Машинном обучении Azure. Вы можете изучить данные с сводной статистикой и сохранить набор данных в рабочей области AML, чтобы получить возможности управления версиями и воспроизведения. Наборы данных легко используются моделями во время обучения. Подробные примеры использования см. в руководстве по .

• TabularDataset представляет данные в табличном формате, созданном путем анализа файла или списка файлов.
• FileDataset ссылается на один или несколько файлов в хранилищах данных или из общедоступных URL-адресов.

В следующем примере показано, как создать tabularDataset, указывающий на один путь в хранилище данных.

from azureml.core import Dataset

dataset = Dataset.Tabular.from_delimited_files(path = [(datastore, 'train-dataset/tabular/iris.csv')])
dataset.take(3).to_pandas_dataframe()

В следующем примере показано, как создать FileDataset ссылки на несколько URL-адресов файлов.

from azureml.core.dataset import Dataset

url_paths = [
            'http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz',
            'http://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz',
            'http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz',
            'http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz'
            ]
dataset = Dataset.File.from_files(path=url_paths)

Дальнейшие действия

Чтобы узнать, как использовать пакет SDK машинного обучения Azure для Python, выполните следующие действия.

• Следуйте учебника, чтобы узнать, как создавать, обучать и развертывать модель в Python.

• Просмотрите классы и модули в справочной документации на этом сайте, используя оглавление слева.