Como implantar o JAIS com o Estúdio do Azure Machine Learning

Neste artigo, você aprenderá a usar o Estúdio do Azure Machine Learning para implantar o modelo JAIS como um serviço com cobrança paga conforme o uso.

O modelo JAIS está disponível no Estúdio do Azure Machine Learning com cobrança baseada em token paga conforme o uso com Modelos como serviço.

Você pode encontrar o modelo JAIS no catálogo de modelos filtrando na coleção JAIS.

Pré-requisitos

• Uma assinatura do Azure com uma forma de pagamento válida. As assinaturas gratuitas ou de avaliação do Azure não funcionarão. Caso você não tenha uma assinatura do Azure, crie uma conta paga do Azure para começar.

• Um Workspace do Azure Machine Learning. Se você não tiver esses recursos, use as etapas do artigo Início Rápido: Criar recursos de workspace para criá-los. A oferta de implantação do modelo de API sem servidor para o JAIS só está disponível com espaços de trabalho criados nessas regiões:

  • Leste dos EUA
  • Leste dos EUA 2
  • Centro-Norte dos EUA
  • Centro-Sul dos Estados Unidos
  • Oeste dos EUA
  • Oeste dos EUA 3
  • Suécia Central

  Para obter uma lista de regiões disponíveis para cada um dos modelos que dão suporte a implantações de ponto de extremidade de API sem servidor, consulte Disponibilidade de região para modelos em pontos de extremidade de API sem servidor.

• O RBAC do Azure (controle de acesso baseado em função) do Azure é usado para permitir acesso a operações no Estúdio de IA do Azure. Para executar as etapas neste artigo, sua conta de usuário deve receber a função de Desenvolvedor de IA do Azure no grupo de recursos. Para obter mais informações sobre permissões, confira Controle de acesso baseado em função no Estúdio de IA do Azure.

Bate-papo do JAIS 30b

O Chat do JAIS 30b é um LLM bilíngue auto regressivo para árabe e inglês. As versões ajustadas usam ajuste fino supervisionado (SFT). O modelo está afinado com pares de resposta rápida em árabe e inglês. Os conjuntos de dados de ajuste fino incluíram uma ampla gama de dados instrucionais em vários domínios. O modelo aborda uma ampla gama de tarefas comuns, incluindo resposta a perguntas, geração de código e raciocínio sobre conteúdo textual. Para melhorar o desempenho em árabe, a equipe do Core42 desenvolveu um conjunto de dados em árabe interno, bem como traduzindo algumas instruções em inglês de software livre para árabe.

Comprimento do contexto: O chat do JAIS 30b dá suporte a um comprimento de contexto de 8K.

Entrada: A entrada de modelo é somente texto.

Saída: O modelo gera somente texto.

Implantar com o pagamento conforme o uso

Alguns modelos no catálogo de modelos podem ser implantados como um serviço pré-pago, fornecendo uma maneira de consumi-los como uma API sem hospedá-los em sua assinatura, mantendo as necessidades das organizações de segurança e conformidade da empresa. Essa opção de implantação não requer cota de sua assinatura.

O modelo de Chat do JAIS 30b mencionado anteriormente pode ser implantado como um serviço com pagamento conforme o uso e é oferecido pelo Core42 por meio do Microsoft Azure Marketplace. A Core42 pode alterar ou atualizar os termos de uso e preços desse modelo.

Criar uma nova implantação

Para criar uma implantação:

1. Acesse o Estúdio do Azure Machine Learning.

2. Selecione o workspace no qual você deseja implantar seus modelos. Para usar a oferta de implantação do modelo de pagamento conforme o uso, seu espaço de trabalho deve pertencer à região Leste dos EUA2 ou Suécia Central.

3. Pesquise por JAIS e selecione o modelo Jais-30b-chat.

4. Na página de visão geral do modelo no catálogo de modelos, selecione Implantar.

   

5. No assistente de implantação, selecione o link para Termos do Azure Marketplace para saber mais sobre os termos de uso.

6. Você também pode selecionar a guia Preço e termos para saber mais sobre o preço do modelo selecionado.

7. Se esta for sua primeira vez implantando o modelo no workspace, você precisará assinar o workspace para a oferta específica do modelo. Esta etapa exige que sua conta tenha as permissões de função de Desenvolvedor de IA do Azure no Grupo de Recursos, conforme listado nos pré-requisitos. Cada workspace tem sua própria inscrição na oferta específica do Azure Marketplace, que permite controlar e monitorar os gastos. Selecione Assinar e Implantar. Atualmente, você pode ter apenas uma implantação para cada modelo em um workspace.

   

8. Depois de assinar o workspace na oferta específica do Azure Marketplace, as implantações subsequentes da mesma oferta no mesmo workspace não exigirão a inscrição novamente. Se esse cenário se aplicar a você, haverá uma opção Continuar a implantar para seleção.

   

9. Dê um nome à implantação. Esse nome se torna parte da URL da API de implantação. Essa URL deve ser exclusiva em cada região do Azure.

   

10. Selecione Implantar. Aguarde até que a implantação seja concluída e você seja redirecionado para a página de pontos de extremidade sem servidor.

11. Selecione o ponto de extremidade para abrir a página Detalhes.

12. Selecione a guia Testar para começar a interagir com o modelo.

13. Você sempre pode encontrar os detalhes do ponto de extremidade, a URL e as chaves de acesso do ponto de extremidade navegando até Workspace>Pontos de extremidade>Pontos de extremidade sem servidor.

14. Anote a URL de destino e a chave secreta. Para obter mais informações sobre como usar as APIs, consulte a seção Referência.

Para saber mais sobre a cobrança de modelos implantados com pagamento conforme o uso, confira Considerações sobre custo e cota para modelos JAIS implantados como um serviço.

Consumir o modelo de chat do JAIS 30b como um serviço

Esses modelos podem ser consumidos usando a API do chat.

1. Em seu workspace, selecione a guia Pontos de extremidade à esquerda.

2. Vá para a guia Pontos de extremidade sem servidor.

3. Selecione sua implantação para o chat do JAIS 30b.

4. Você pode testar a implantação na guia Teste.

5. Para usar as APIs, copie a URL de Destino e o valor Chave.

Para obter mais informações sobre como usar as APIs, consulte a seção Referência.

Referência da API de chat para o JAIS implantado como um serviço

v1/chat/conclusões

Solicitação

    POST /v1/chat/completions HTTP/1.1
    Host: <DEPLOYMENT_URI>
    Authorization: Bearer <TOKEN>
    Content-type: application/json

Esquema de solicitação v1/chat/completions

O chat do JAIS 30b aceita os seguintes parâmetros para uma chamada de inferência de resposta v1/chat/completions:

Uma mensagem de usuário ou sistema dá suporte às seguintes propriedades:

Uma mensagem de assistente dá suporte às seguintes propriedades:

Esquema de resposta v1/chat/completions

O conteúdo da resposta é um dicionário com os campos a seguir:

O objeto choices é um dicionário com os seguintes campos:

O objeto usage é um dicionário com os seguintes campos:

Exemplos

Árabe

Solicitação:

    "messages": [
        {
        "role": "user",
        "content": "ما هي الأماكن الشهيرة التي يجب زيارتها في الإمارات؟"
        }
    ]

Resposta:

    {
        "id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "هناك العديد من الأماكن المذهلة للزيارة في الإمارات! ومن أشهرها برج خليفة في دبي وهو أطول مبنى في العالم ، ومسجد الشيخ زايد الكبير في أبوظبي والذي يعد أحد أجمل المساجد في العالم ، وصحراء ليوا في الظفرة والتي تعد أكبر صحراء رملية في العالم وتجذب الكثير من السياح لتجربة ركوب الجمال والتخييم في الصحراء. كما يمكن للزوار الاستمتاع بالشواطئ الجميلة في دبي وأبوظبي والشارقة ورأس الخيمة، وزيارة متحف اللوفر أبوظبي للتعرف على تاريخ الفن والثقافة العالمية"
                }
            }
        ],
        "created": 1711734274,
        "model": "jais-30b-chat",
        "object": "chat.completion",
        "usage": {
            "prompt_tokens": 23,
            "completion_tokens": 744,
            "total_tokens": 767
        }
    }

Português do Brasil

Solicitação:

    "messages": [
        {
        "role": "user",
        "content": "List the emirates of the UAE."
        }
    ]

Resposta:

    {
        "id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "The seven emirates of the United Arab Emirates are: Abu Dhabi, Dubai, Sharjah, Ajman, Umm Al-Quwain, Fujairah, and Ras Al Khaimah."
                }
            }
        ],
        "created": 1711734274,
        "model": "jais-30b-chat",
        "object": "chat.completion",
        "usage": {
            "prompt_tokens": 23,
            "completion_tokens": 60,
            "total_tokens": 83
        }
    }

Mais exemplos de inferência

Custo e cotas

Considerações sobre custo e cota para modelos implantados como um serviço

O chat JAIS 30b é implantado como um serviço são oferecidos pelo Core42 por meio do Azure Marketplace e integrados ao Estúdio de IA do Azure para uso. Você pode encontrar preços do Azure Marketplace ao implantar o modelo.

Sempre que um projeto se inscreve em determinada oferta do Azure Marketplace, um recurso é criado para acompanhar os custos associados ao consumo dele. O mesmo recurso é usado para acompanhar os custos associados à inferência. No entanto, vários medidores estão disponíveis para acompanhar cada cenário de modo independente.

Para obter mais informações sobre como acompanhar os custos, consulte Monitorar os custos dos modelos oferecidos por meio do Azure Marketplace.

A cota é gerenciada por implantação. Cada implantação tem um limite de taxa de 200.000 tokens por minuto e 1.000 solicitações de API por minuto. No entanto, atualmente, limitamos uma implantação por modelo e projeto. Entre em contato com o Suporte do Microsoft Azure se os limites de taxa atuais não forem suficientes para seus cenários.

Filtragem de conteúdo

Os modelos implantados como um serviço com o pagamento conforme o uso são protegido pela Segurança de Conteúdo de IA do Azure. Com a Segurança de Conteúdo de IA do Azure, o prompt e o preenchimento passam por um conjunto de modelos de classificação destinados a detectar e impedir a saída de conteúdo prejudicial. O sistema de filtragem de conteúdo detecta e executa ações em categorias específicas de conteúdo potencialmente prejudicial em prompts de entrada e conclusões de saída. Saiba mais sobre filtragem de conteúdo aqui.

Próximas etapas

• O que é o Estúdio de IA do Azure?
• Artigo de perguntas frequentes sobre IA do Azure
• Disponibilidade de região para modelos em pontos de extremidade de API sem servidor