Avance seu nível de maturidade para GenAIOps (Operações de Inteligência Artificial Generativa)
Operações de Inteligência Artificial Generativa ou GenAIOps (às vezes chamado de LLMOps), descreve as práticas operacionais e estratégias para gerenciar LLMs (grandes modelos de linguagem) em produção. Este artigo fornece diretrizes sobre como avançar seus recursos em GenAIOps, com base no nível de maturidade atual da sua organização.
Use as descrições abaixo para localizar o nível de classificação do Modelo de Maturidade de GenAIOps. Esses níveis fornecem uma compreensão geral e um nível prático de aplicativo da sua organização. As diretrizes fornecem links úteis para expandir sua base de dados de conhecimento de GenAIOps.
Dica
Use a Avaliação do modelo de maturidade do GenAIOps para determinar o nível de maturidade atual do GenAIOps da sua organização. O questionário foi projetado para ajudá-lo a entender os recursos atuais da sua organização e identificar áreas de melhoria.
Os resultados da avaliação correspondem a um nível de classificação do Modelo de Maturidade do GenAIOps, fornecendo uma compreensão geral e um nível prático de aplicativo de sua organização. Estas diretrizes fornecem links úteis para expandir sua base de dados de conhecimento do GenAIOps.
Nível 1 – inicial
Dica
Pontuação da Avaliação do Modelo de Maturidade do GenAIOps: inicial (0-9).
Descrição: sua organização está no estágio fundamental inicial de maturidade de GenAIOps. Você está explorando os recursos dos LLMs, mas ainda não desenvolveu práticas estruturadas ou abordagens sistemáticas.
Comece se familiarizando com diferentes APIs de LLM e suas funcionalidades. Em seguida, comece a experimentar o design de prompt estruturado e a engenharia básica de prompt. Examine os artigos do Microsoft Learning como ponto de partida. Usando o que você aprendeu, descubra como introduzir métricas básicas para avaliação de desempenho do aplicativo LLM.
Referências sugeridas para avanço de nível 1
- Catálogo de modelos do Estúdio de IA do Azure
- Explorar o Catálogo de modelos do Estúdio de IA do Azure
- Introdução à engenharia de prompt
- Técnicas de engenharia de prompt
- Estrutura de mensagens do sistema
- Prompt flow no Estúdio de IA do Azure
- Avaliar aplicativos GenAI com o Estúdio de IA do Azure
- Métricas de avaliação e monitoramento do GenAI com o Estúdio de IA do Azure
Para entender melhor GenAIOps, considere os cursos e workshops disponíveis do MS Learning.
Nível 2 – definido
Dica
Pontuação da Avaliação do Modelo de Maturidade do GenAIOps: maturação (10-14).
Descrição: sua organização começou a sistematizar operações LLM, com foco em desenvolvimento e experimentação estruturados. No entanto, há espaço para integração e otimização mais sofisticadas.
Para melhorar suas funcionalidades e habilidades, saiba como desenvolver prompts mais complexos e começar a integrá-los efetivamente em aplicativos. Durante esse percurso, você desejará implementar uma abordagem sistemática para a implantação de aplicativos LLM, possivelmente explorando a integração de CI/CD. Depois de entender o núcleo, você pode começar a empregar métricas de avaliação mais avançadas, como aterramento, relevância e similaridade. Por fim, você desejará se concentrar na segurança do conteúdo e em considerações éticas no uso de LLM.
Referências sugeridas para avanço de nível 2
- Faça nosso workshop passo a passo para elevar suas práticas de GenAIOps
- Prompt flow no Estúdio de IA do Azure
- Como criar com o prompt flow
- Implantar um fluxo como ponto de extremidade online gerenciado para inferência em tempo real
- Integrar o prompt flow com GenAIOps
- Avaliação do GenAI com o Estúdio de IA do Azure
- Métricas de avaliação e monitoramento do GenAI
- Segurança de Conteúdo do Azure
- Ferramentas e práticas de IA responsáveis
Nível 3 – gerenciado
Dica
Pontuação da Avaliação do Modelo de Maturidade do GenAIOps: maturação (15-19).
Descrição: sua organização está gerenciando fluxos de trabalho avançados de LLM com monitoramento proativo e estratégias de implantação estruturadas. Você está perto de alcançar a excelência operacional.
Para expandir seu conhecimento base, concentre-se no aprimoramento contínuo e na inovação em seus aplicativos LLM. À medida que avança, você pode aprimorar suas estratégias de monitoramento com análise preditiva e medidas abrangentes de segurança de conteúdo. Saiba como otimizar e ajustar seus aplicativos LLM para requisitos específicos. Por fim, você deseja fortalecer suas estratégias de gerenciamento de ativos por meio de recursos avançados de controle de versão e reversão.
Referências sugeridas para avanço de nível 3
- Ajuste fino com o Azure ML Learning
- Personalização de modelo com ajuste fino
- Monitoramento de modelo do GenAI
- Elevar aplicativos LLM para produção com GenAIOps
Nível 4 – otimizado
Dica
Pontuação de Avaliação do Modelo de Maturidade do GenAIOps otimizado (20-28).
Descrição: sua organização demonstra excelência operacional em GenAIOps. Você tem uma abordagem sofisticada para o desenvolvimento, a implantação e o monitoramento de aplicativos LLM.
À medida que os LLMs evoluem, você desejará manter sua posição de ponta mantendo-se atualizado com os últimos avanços do LLM. Avalie continuamente o alinhamento de suas estratégias de LLM com objetivos de negócios em evolução. Certifique-se de promover uma cultura de inovação e aprendizado contínuo em sua equipe. Por fim, mas não menos importante, compartilhe seu conhecimento e práticas recomendadas com a comunidade em geral para estabelecer liderança de pensamento no campo.