Nesilsel yapay zeka aracısı ve ML modeli yaşam döngüsü için MLflow

Bu makalede, yüksek kaliteli üretken yapay zeka aracıları ve makine öğrenmesi modelleri geliştirmek için Databricks'te MLflow'un nasıl kullanıldığı açıklanmaktadır.

MLflow nedir?

MLflow, model ve üretken yapay zeka uygulamaları geliştirmeye yönelik açık kaynak bir platformdur. Aşağıdaki bileşenlere sahiptir:

• Deneyleri izleyerek parameters ve sonuçları kaydetmenizi ve karşılaştırmanızı sağlar.
• Modeller: Çeşitli ML kitaplıklarındaki modelleri yönetmenize ve çeşitli model sunma ve çıkarım platformlarına dağıtmanıza olanak tanır.
• Model Kayıt Defteri: Model sürüm oluşturma ve ek açıklama özellikleriyle, model dağıtım sürecini hazırlama aşamasından üretime kadar yönetmenize olanak tanır.
• Yapay zeka aracısı değerlendirme ve izleme: Aracıları karşılaştırmanıza, değerlendirmenize ve sorun gidermenize yardımcı olarak yüksek kaliteli yapay zeka aracıları geliştirmenize olanak tanır.

MLflow Java, Python, R ve REST API'lerini destekler.

Databricks tarafından yönetilen MLflow

Databricks, MLflow'u kurumsal kullanım için daha sağlam ve ölçeklenebilir hale getirmek için açık kaynak deneyimini temel alan, tam olarak yönetilen ve barındırılan bir sürümü sağlar.

Aşağıdaki diyagramda Databricks'in makine öğrenmesi modellerini eğitmek ve dağıtmak için MLflow ile tümleştirmesi gösterilmektedir.

Databricks tarafından yönetilen MLflow, ML yaşam döngüsündeki tüm verilerinizi ve yapay zeka varlıklarınızı birleştirmek için Unity Catalog ve Cloud Data Lake üzerine kurulmuştur:

1. Özellik deposu: Databricks otomatik özellik aramaları tümleştirmeyi basitleştirir ve hataları azaltır.
2. Modelleri Eğitin: Model eğitmek veya temel modellerde ince ayar yapmak için Mozaik Yapay Zeka kullanın.
3. İzleme: MLflow, model performansını değerlendirmek ve karşılaştırmak için parameters, metrikler ve artifaktları kaydederek eğitimi izler.
4. Catalog MLflow Model Kayıt Defteri, yapay zeka modellerini ve yapıtlarını merkezileştirir.
5. Model Sunumu: Mosaic AI Model Hizmeti, modelleri bir REST API uç noktasına sunar.
6. İzleme: Mosaic Yapay Zeka Modeli Yönetimi, modelleri izlemek ve hata ayıklamak için istek ve yanıtları otomatik olarak yakalar. MLflow bu verileri her istek için izleme verileriyle genişleter.

Model eğitimi

MLflow Modelleri, Databricks'te yapay zeka ve ML geliştirmenin temelini oluşturur. MLflow Modelleri, makine öğrenmesi modellerini ve üretken yapay zeka aracılarını paketlemek için standartlaştırılmış bir biçimdir. Standartlaştırılmış biçim, modellerin ve aracıların Databricks'te aşağı akış araçları ve iş akışları tarafından kullanılabilmesini sağlar.

• MLflow belgeleri - Modelleri.

Databricks, farklı ml modellerini eğitmeye yardımcı olacak özellikler sağlar.

• Mozaik AIkullanarak yapay zeka modellerini eğitin.

Deneme izleme

Databricks, model geliştirirken çalışmanızı izlemek için kuruluş birimleri olarak MLflow denemelerini kullanır.

Deney izleme, makine öğrenmesi eğitimi ve aracı geliştirme sırasında parameters, ölçümler, artefaktlar ve kod sürümlerini kaydetmenize ve yönetmenize olanak tanır. Günlükleri denemeler ve çalıştırmalar halinde düzenlemek modelleri karşılaştırmanıza, performansı analiz etmenizi ve daha kolay yinelemenizi sağlar.

• Databricks kullanarak deney takibi.
• çalıştırmaları ve deney takibihakkında genel bilgi için MLflow belgelerine bakın.

Unity Catalog ile Model Kayıt Defteri

MLflow Model Kayıt Defteri, model dağıtım işlemini yönetmek için api'lerin merkezi bir model deposu, kullanıcı arabirimi ve set.

Databricks, modellere merkezi idare sağlamak için Model Kayıt Defteri'ni Unity Catalog ile tümleştirir. Unity Catalog tümleştirmesi, çalışma alanlarındaki modellere erişmenizi, model kökenini izlemenizi ve modelleri yeniden kullanmak üzere keşfetmenizi sağlar.

• Modelleri Databricks Unity kullanarak yönetme .
• Model Kayıt Defterihakkında genel bilgi için MLflow belgelerine bakın.

Model Sunumu

Databricks Model Sunma, MLflow Model Kayıt Defteri ile sıkı bir şekilde tümleşiktir ve yapay zeka modellerini dağıtmak, yönetmek ve sorgulamak için birleşik, ölçeklenebilir bir arabirim sağlar. Hizmet ettiğiniz her model, web veya istemci uygulamalarıyla tümleştirebileceğiniz bir REST API olarak kullanılabilir.

Bunlar ayrı bileşenler olsa da Model Sunma, model sürümü oluşturma, bağımlılık yönetimi, doğrulama ve idareyi işlemek için MLflow Model Kayıt Defteri'ni yoğun bir şekilde kullanır.

• Databrickskullanarak Model Sunma .

Yapay zeka aracısı geliştirme ve değerlendirme

Yapay zeka aracısı geliştirme için Databricks, ML modeli geliştirmeye benzer şekilde MLflow ile tümleşir. Ancak, birkaç önemli fark vardır:

• Databricks'te yapay zeka ajanları oluşturmak için, aracı kodunu, performans ölçümlerini ve ajan izlemelerini izlemek amacıyla MLflow'ya dayanan Mosaic AI Agent Frameworkkullanın.
• Databricks'te aracıları değerlendirmek için, değerlendirme sonuçlarını izleyen MLflow'a dayanan Mosaic AI Agent Evaluation'ı kullanın.
• Aracılar için MLflow izlemesi ayrıca MLflow İzlemeiçerir. MLflow İzleme aracınızın hizmetlerinin yürütülmesiyle ilgili ayrıntılı bilgileri görmenizi sağlar. İzleme, bir isteğin her ara adımıyla ilişkili girişleri, çıkışları ve meta verileri kaydederek aracılarda beklenmeyen davranışın kaynağını hızlı bir şekilde bulmanızı sağlar.

Aşağıdaki diyagramda Databricks'in yapay zeka aracıları oluşturmak ve dağıtmak için MLflow ile tümleştirmesi gösterilmektedir.

Databricks tarafından yönetilen MLflow, unity Catalog ve Cloud Data Lake'i kullanarak genAI uygulama yaşam döngüsündeki tüm verilerinizi ve yapay zeka varlıklarınızı birleştirir:

1. Vector & özellik deposu: Databricks otomatik vektör ve özellik aramaları tümleştirmeyi basitleştirir ve hataları azaltır.
2. Yapay zeka aracıları oluşturma ve değerlendirme: Mozaik Yapay Zeka Aracısı Çerçevesi ve Aracı Değerlendirmesi aracılar oluşturmanıza ve bunların çıktılarını değerlendirmenize yardımcı olur.
3. İzleme & izleme: MLflow izleme, gelişmiş genAI gözlemlenebilirliği için ayrıntılı aracı yürütme bilgilerini yakalar.
4. Catalog MLflow Model Kayıt Defteri, yapay zeka modellerini ve yapıtlarını merkezileştirir.
5. Model Sunumu: Mosaic AI Model Hizmeti, modelleri bir REST API uç noktasına sunar.
6. İzleme: MLflow, modelleri izlemek ve hatalarını ayıklamak için istekleri ve yanıtları otomatik olarak yakalar.

Açık kaynak ve Databricks tarafından yönetilen MLflow özellikleri karşılaştırması

Açık kaynak ve Databricks tarafından yönetilen sürümler arasında paylaşılan genel MLflow kavramları, API'leri ve özellikleri içinMLflow belgelerine bakın. Databricks tarafından yönetilen MLflow'a özel özellikler için Databricks belgelerine bakın.

Aşağıdaki table, açık kaynak MLflow ile Databricks tarafından yönetilen MLflow arasındaki temel farkları vurgular ve daha fazla bilgi edinmenize yardımcı olacak belge bağlantıları sağlar: