CycleCloud: Temel Kavramlar
En temel düzeyde Yüksek Performanslı Bilgi İşlem (HPC) sistemi, yüksek performanslı dosya sistemleri tarafından desteklenen ve düşük gecikme süreli ağlar tarafından birbirine bağlanan bir hesaplama kaynakları havuzudur. Bu hesaplama kaynakları genellikle işleri zamanlayan yazılım uygulamaları olan HPC Schedulers tarafından yönetilir.
Azure'da Sanal Makineler, Diskler ve Ağ Arabirimleri gibi temel altyapı birimlerinden tek tek HPC sistemleri oluşturmak, özellikle de bu kaynaklar kısa ömürlüyse( yalnızca eldeki HPC görevini çözmek için gereken süre için mevcutsa) zahmetli olabilir. Ayrıca, operatörler çeşitli iş birimlerine, araştırma ekiplerine veya bireylere uyarlanabilir birden çok ayrı HPC ortamı oluşturmak ister. Bu birden çok HPC sisteminin yönetilmesi operasyonel açıdan karmaşık olabilir.
CycleCloud nedir?
Azure CycleCloud, Azure'da HPC sistemleri oluşturmada yardımcı olan bir araçtır. Bu sistemleri, temel Azure yapı taşları yönetme zahmetine girmeden eldeki HPC görevlerine göre esnek bir şekilde boyutlandıracak şekilde düzenler. CycleCloud, HPC yöneticileri ve kullanıcıları, özellikle de Azure'da tanıdıkları dahili HPC altyapısına benzeyen derleme HPC sistemleri arayan kullanıcılar için deneyimli HPC uzmanlarından oluşan bir ekip tarafından tasarlanmıştır.
CycleCloud, Azure'daki Linux VM'sine veya Azure API'lerine ve kaynaklarına erişimi olan şirket içi bir sunucuya yüklenmiş bir uygulama sunucusudur. CycleCloud, zamanlayıcıları ve kullanıcı uygulamalarını tümleştirebilen CycleCloud kümeleri oluşturmak için Azure VM'lerini alır ve sağlar. CycleCloud ayrıca Azure VM'lerinde çalışan bir dizi HPC zamanlayıcı ve CycleCloud aracısı için otomatik ölçeklendirme tümleştirmeleri sağlar.
Uygulama Sunucusu
Bu uygulama sunucusu şu bilgileri sağlar:
- Azure'da HPC sistemleri oluşturmaya ve yönetmeye yönelik bir REST API.
- Kullanıcının HPC sistemlerini yönetmesine ve izlemesine olanak tanıyan grafik kullanıcı arabirimi.
- CycleCloud'un mevcut iş akışlarıyla tümleştirilmesini kolaylaştıran bir CLI.
- Küme ve düğüm durumunu önbelleğe alıp iç NoSQL veri deposu.
- Azure VM'lerini alıp yöneten ayırma ve düzenleme sistemi
- Durum değişikliklerini uyaran mevcut VM'ler için bir düğüm izleme sistemi.
Tümleştirmeler
CycleCloud ayrıca ortak zamanlayıcılar ve Azure VM'leri ile çeşitli tümleştirmeler sağlar. Thee aşağıdakileri sağlar:
- Sağlanan bir VM'yi HPC düğümüne dönüştürmek için düğüm hazırlama ve yapılandırma sistemi.
- HPC zamanlayıcı görev gereksinimlerini Azure kaynaklarına çeviren HPC zamanlayıcıları için otomatik ölçeklendirme.
CycleCloud neler yapabilir?
CycleCloud, Azure'da HPC sistemleri dağıtan ve HPC zamanlayıcısından uygulama yüklemeleri ve veri erişimi için dosya sistemi bağlama noktalarına kadar dahili olarak çalıştırdıkları altyapıyı çoğaltmak isteyen HPC operatörlerine (yöneticiler ve kullanıcılar) yöneliktir. Bu kullanıcılar özellikle iç işlemlerini yeniden uygulamak zorunda kalmadan destekleyici uygulamaları, iş akışı altyapılarını ve işlem hatlarını inceliyor.
CycleCloud, kullanıcıların küme topolojisinden (küme düğümlerinin sayısı ve türleri) her düğüme dağıtılacak bağlama noktalarına ve uygulamalara kadar HPC sistemini açıklamalarını sağlayan zengin ve bildirim temelli bir şablon söz dizimi sağlar. CycleCloud PBSPro, Slurm, IBM LSF, Grid Engine ve HT Condor gibi HPC zamanlayıcılarıyla çalışacak şekilde tasarlanmıştır ve kullanıcıların her zamanlayıcıda farklı kuyruklar oluşturmasına ve bunları Azure'daki farklı VM boyutlarında işlem düğümleriyle eşlemesine olanak tanır. Ayrıca, otomatik ölçeklendirme eklentileri her sistemdeki iş kuyruklarını dinleyen zamanlayıcı baş düğümleriyle tümleştirilir ve uygulama sunucusunda çalışan otomatik ölçeklendirme REST API'siyle etkileşim kurarak işlem kümesini uygun şekilde boyutlandırılır.
CycleCloud, HPC düğümleri sağlamanın ve oluşturmanın yanı sıra, temel olarak çıplak bir VM'yi HPC sisteminin işlevsel bir bileşenine dönüştürmek için bir sistem sağlayan bir sanal makine hazırlamaya ve yapılandırmaya yönelik bir çerçeve de sağlar. Bu çerçeve sayesinde kullanıcılar vm üzerinde son kilometre yapılandırması yapabilir.
Buna ek olarak, CycleCloud aşağıdaki özellikleri sağlar:
Kullanıcı Erişimi
CycleCloud, hpc sisteminin her düğümünde yerel kullanıcı hesapları oluşturmak için yerleşik destekle birlikte gelir. Bu sistemle, kullanıcı erişimi bir dizin hizmeti dağıtılmadan tek bir yönetim düzlemi üzerinden denetlenebilir.
İzleme
Düğüm düzeyinde ölçümler toplanır ve CycleCloud kullanıcı arabiriminde görüntülenir. Bunlar sistemdeki yükü izlemek için kullanışlıdır ve raporlama ve uyarı hizmetlerine bağlanabilir.
Günlüğe kaydetme
CycleCloud, düğüm ve uygulama sunucusu düzeyinde etkinlikleri ve olayları günlüğe kaydetmek için bir sistem sağlar.
Taşınabilir -lik
Sistem, belirli bir VM görüntüsünün veya işletim sisteminin kullanılmasını zorunlu yapmaz. CycleCloud, HPC düğümlerinde başlıca Windows ve Linux işletim sistemlerini destekler. Buna ek olarak, kullanıcılar kendi VM görüntüsünü oluşturabilir ve bu görüntüyü HPC sisteminde kullanabilir.
Kod olarak altyapı
CycleCloud'da oluşturulan her şey şablonlar ve yapılandırma betiklerinde tanımlandığından, CycleCloud aracılığıyla dağıtılan HPC sistemleri yinelenebilir ve taşınabilir. Bu, farklı ortamlarda HPC sistemlerinin dağıtımında operatör tutarlılığı sağlar: Korumalı Alan, Geliştirme, Test ve Üretim. Operatörler muhasebe sorunlarını ayırmak için farklı iş grupları veya ekipler için aynı HPC sistemlerini de dağıtabilir.
Gevşek bağlanmış veya sıkı bir şekilde bağlanmış iş yükleri
CycleCloud tarafından oluşturulan HPC kümeleri, ölçeklendirmenin (kümenin boyutu) birincil sorun olduğu gevşek bir şekilde bağlanmış veya utanç verici derecede paralel işleri desteklemek için tasarlanır. CycleCloud kümeleri, düğüm yakınlığı ve ağ gecikme süresinin kritik olduğu sıkı bir şekilde bağlanmış veya MPI tabanlı iş yüklerini destekleyen Azure'ın Infiniband omurgası göz önünde bulundurularak da tasarlanmıştır. Bu ölçeği genişletme ve sıkı bir şekilde bağlanmış kavramlar, CycleCloud'un desteklediği zamanlayıcı tümleştirmelerine eklenir.