Migrowanie do środowiska obsługi modeli

W tym artykule pokazano, jak włączyć obsługę modelu w obszarze roboczym i przełączyć modele na środowisko obsługi modeli mozaiki sztucznej inteligencji oparte na bezserwerowych obliczeniach.

Wymagania

• Zarejestrowany model w rejestrze modeli MLflow.
• Uprawnienia do zarejestrowanych modeli zgodnie z opisem w przewodniku dotyczącym kontroli dostępu.
• Włącz bezserwerowe obliczenia w obszarze roboczym.

Istotne zmiany

• W obszarze Obsługa modelu format żądania do punktu końcowego i odpowiedzi z punktu końcowego są nieco inne niż starsza obsługa modelu MLflow. Aby uzyskać szczegółowe informacje na temat nowego protokołu formatu, zobacz Ocenianie punktu końcowego modelu.
• W obszarze Obsługa modelu adres URL punktu końcowego serving-endpointszawiera model wartość zamiast .
• Obsługa modelu obejmuje pełną obsługę zarządzania zasobami za pomocą przepływów pracy interfejsu API.
• Obsługa modeli jest gotowa do użycia w środowisku produkcyjnym i wspierana przez umowę SLA usługi Azure Databricks.

Migrowanie starszych modeli obsługujących model MLflow do obsługi modeli

Możesz utworzyć punkt końcowy obsługujący model i elastycznie przenieść przepływy pracy bez wyłączania obsługi starszych modeli MLflow.

W poniższych krokach pokazano, jak to zrobić za pomocą interfejsu użytkownika. Dla każdego modelu, na którym włączono obsługę starszych modeli MLflow:

1. Zarejestruj model w Unity Catalog.
2. Przejdź do pozycji Obsługa punktów końcowych na pasku bocznym obszaru roboczego uczenia maszynowego.
3. Postępuj zgodnie z przepływem pracy opisanym w temacie Tworzenie punktów końcowych obsługujących model niestandardowy, aby dowiedzieć się, jak utworzyć punkt końcowy obsługujący usługę za pomocą modelu.
4. Przejdź aplikację, aby użyć nowego adresu URL dostarczonego przez punkt końcowy obsługujący, aby wykonać zapytanie dotyczące modelu wraz z nowym formatem oceniania.
5. Po przejściu modeli możesz przejść do pozycji Modele na pasku bocznym obszaru roboczego uczenia maszynowego.
6. Select modelu, dla którego chcesz wyłączyć obsługę starszych modeli MLflow.
7. Na karcie ObsługaselectZatrzymaj.
8. Zostanie wyświetlony komunikat potwierdzający. Select Zatrzymaj obsługę.

Migrowanie wdrożonych wersji modelu do obsługi modeli

W poprzednich wersjach funkcji obsługa modelu punkt końcowy obsługujący został utworzony na podstawie etapu zarejestrowanej wersji modelu: Staging lub Production. Aby przeprowadzić migrację obsługiwanych modeli z tego środowiska, możesz replikować to zachowanie w nowym środowisku obsługi modelu.

W tej sekcji przedstawiono sposób tworzenia oddzielnych punktów końcowych obsługujących model dla Staging wersji modelu i Production wersji modelu. W poniższych krokach pokazano, jak to zrobić za pomocą interfejsu API obsługującego punkty końcowe dla każdego z obsługiwanych modeli.

W tym przykładzie zarejestrowana nazwa modelA modelu ma wersję 1 na etapie Production modelu i wersję 2 na etapie Stagingmodelu .

1. Utwórz dwa punkty końcowe dla zarejestrowanego modelu, jeden dla Staging wersji modelu, a drugi dla Production wersji modelu.

   W przypadku Staging wersji modelu:

   POST /api/2.0/serving-endpoints
     {
        "name":"modelA-Staging"
        "config":
        {
           "served_entities":
           [
              {
                 "entity_name":"model-A",
                 "entity_version":"2",  // Staging Model Version
                 "workload_size":"Small",
                 "scale_to_zero_enabled":true
              },
           ],
        },
     }
   

   W przypadku Production wersji modelu:

   POST /api/2.0/serving-endpoints
     {
        "name":"modelA-Production"
        "config":
        {
           "served_entities":
           [
              {
                 "entity_name":"model-A",
                 "entity_version":"1",   // Production Model Version
                 "workload_size":"Small",
                 "scale_to_zero_enabled":true
              },
           ],
        },
     }
   

2. Sprawdź stan punktów końcowych.

   W przypadku przejściowego punktu końcowego: GET /api/2.0/serving-endpoints/modelA-Staging

   W przypadku produkcyjnego punktu końcowego: GET /api/2.0/serving-endpoints/modelA-Production

3. Gdy punkty końcowe będą gotowe, wykonaj zapytanie dotyczące punktu końcowego przy użyciu:

   W przypadku przejściowego punktu końcowego: POST /serving-endpoints/modelA-Staging/invocations

   W przypadku produkcyjnego punktu końcowego: POST /serving-endpoints/modelA-Production/invocations

4. Update punkt końcowy oparty na przejściach wersji modelu.

   W scenariuszu where zostanie utworzony nowy model w wersji 3, można przejść z wersji 2 modelu do Production, natomiast wersja 3 modelu może przechodzić do Staging, a wersja 1 modelu przechodzi do Archived. Te zmiany można odzwierciedlić w oddzielnych punktach końcowych obsługujących model w następujący sposób:

   Dla punktu końcowego Staging, użyj punktu końcowego update do korzystania z nowej wersji modelu w Staging.

   PUT /api/2.0/serving-endpoints/modelA-Staging/config
   {
      "served_entities":
      [
         {
            "entity_name":"model-A",
            "entity_version":"3",  // New Staging model version
            "workload_size":"Small",
            "scale_to_zero_enabled":true
         },
      ],
   }
   

   Dla punktu końcowego Production, update jest punktem końcowym do użycia nowej wersji modelu w Production.

   PUT /api/2.0/serving-endpoints/modelA-Production/config
   {
      "served_entities":
      [
         {
            "entity_name":"model-A",
            "entity_version":"2",  // New Production model version
            "workload_size":"Small",
            "scale_to_zero_enabled":true
         },
      ],
   }
   

Migrowanie przepływów pracy wnioskowania mosaicML do obsługi modelu

Ta sekcja zawiera wskazówki dotyczące migrowania wdrożeń wnioskowania MozaikaML do usługi Mozaika AI Model Serving i zawiera przykład notesu.

Poniższy table zawiera podsumowanie współpracy między wnioskowaniem MosaicML a obsługą modelu na platformie Azure Databricks.

Poniższy notes zawiera przykład z przewodnikiem migracji llama-13b modelu z biblioteki MosaicML do usługi Mozaika AI Model Serving.

Migrowanie z wnioskowania mosaicML do notesu obsługi modelu mozaiki sztucznej inteligencji

Get notesu

Dodatkowe zasoby

• Tworzenie punktów końcowych obsługujących model