SQL ambarının boyutlandırma, ölçeklendirme ve kuyruğa alma davranışı

Bu makalede SQL ambarlarının küme boyutlandırma, kuyruğa alma ve otomatik ölçeklendirme davranışı açıklanmaktadır.

Boyutlandırmaya genel bakış

SQL ambarları, ambarınızdaki sorgu performansını etkileyebilecek farklı performans özelliklerine ve iyileştirmelerine sahip sunucusuz, profesyonel ve klasik türlerde kullanılabilir. Bkz. SQL ambarı türleri. Databricks, kullanılabilir olduğunda sunucusuz SQL ambarlarının kullanılmasını önerir.

Herhangi bir ambar türü için, işlem kaynakları için bir kümenin boyutunu seçersiniz. Databricks SQL ambarınızın boyutunu iyileştirmek için yalnızca veri hacmini veya kullanıcı sayısını göz önünde bulundurmaktan fazlası gerekir. Sorgu karmaşıklığı ve eşzamanlı sorgu sayısı da performansta önemli faktörlerdir.

Databricks SQL ambarları bu talepleri işlemek için dinamik eşzamanlılık kullanır. Statik kapasite ambarlarından farklı olarak Databricks SQL, eşzamanlı yükleri yönetmek ve aktarım hızını en üst düzeye çıkarmak için işlem kaynaklarını gerçek zamanlı olarak ayarlar. Her ambar boyutu kategorisi birim başına sabit bir işlem kapasitesine sahiptir, ancak sistem farklı talepleri karşılamak için kaynak sayısını ölçeklendirir.

SQL veri ambarları için küme boyutları

Bu bölümdeki tablo, SQL ambarı küme boyutlarını Azure Databricks kümesi sürücü boyutu ve çalışan sayılarıyla eşler. Sürücü boyutu yalnızca profesyonel ve klasik SQL ambarları için geçerlidir.

Tüm çalışanların örnek boyutu Standard_E8ds_v4.

Her sürücü ve çalışanın sekiz adet 128 GB Standart LRS yönetilen diski eklenmiştir. Eklenen diskler saatlik olarak ücretlendirilir.

Klasik ve profesyonel SQL ambarları için gerekli Azure vCPU kotası

Klasik veya profesyonel bir SQL ambarı başlatmak için Azure hesabınızdaki Standard_E8ds_v4 örnekleri için yeterli Azure vCPU kotasına sahip olmanız gerekir. Gerekli vCPU kotasını belirlemek için aşağıdaki yönergeleri kullanın:

Yalnızca bir veya iki SQL ambarı varsa kümedeki her çekirdek için 8 Azure vCPU'nuz olduğunu doğrulayın. Bu, ambarınızın yeniden sağlanmasına izin vermek için yeterli Azure vCPU'ya sahip olduğunuzdan emin olur ve bu da kabaca 24 saatte bir gerçekleşir. SQL ambarlarınız otomatik ölçeklendirme veya çok kümeli yük dengeleme kullanıyorsa çarpanı artırmanız gerekebilir.

• SQL ambarlarının sayısı arttıkça kümedeki her çekirdek için 4 ile 8 arasında Azure vCPU'ya izin verin. Databricks, daha büyük bir sayı ile başlamanızı ve kararlılığı izlemenizi önerir.
• SQL ambarları tarafından kullanılan Azure vCPU'ları, Veri Bilimi & Mühendislik veya Databricks dışı iş yükleri tarafından kullanılan kümeler tarafından kullanılan Azure vCPU'larına ek olarak sağlanır.

Ek Azure vCPU kotası istemek için Azure belgelerindeki Standart kota: VM serisine göre sınırları artırma konusuna bakın.

Profesyonel ve klasik SQL ambarları için kuyruğa alma ve otomatik ölçeklendirme

Azure Databricks, sql ambarı için atanan kümedeki sorgu sayısını sonuçlarını hesaplama maliyetine göre sınırlar. Ambar başına kümelerin artırılması sorgu aktarım hızına, gelen sorguların hızına ve kuyruk boyutuna bağlıdır. Databricks, her 10 eşzamanlı sorgu için bir küme önerir. Tüm SQL ambarı türleri için bir kuyruktaki sorgu sayısı üst sınırı 1000'dir.

Azure Databricks, şu anda çalışan tüm sorguları, kuyruğa alınan sorguları ve sonraki iki dakika içinde beklenen gelen sorguları işlemek için gereken süreye göre kümeler ekler.

• 2 dakikadan kısaysa ölçeği artırmayın.
• 2 ile 6 dakika arasındadır, 1 küme ekleyin.
• 6 ile 12 dakika arasındadır, 2 küme ekleyin.
• 12 ile 22 dakika arasındadır, 3 küme ekleyin.

Aksi takdirde Azure Databricks, beklenen her 15 dakikalık sorgu yükü için 3 kümeye ek olarak 1 küme ekler.

Ayrıca, sorgu kuyrukta 5 dakika beklerse ambar her zaman ölçeklendirilir.

Yük 15 dakika boyunca düşükse, Azure Databricks SQL ambarını küçültür. Son 15 dakikadaki en yoğun yükü işlemek için yeterli küme tutar. Örneğin, en yüksek yük 25 eşzamanlı sorguysa Azure Databricks 3 küme tutar.

Sunucusuz otomatik ölçeklendirme ve sorgu kuyruğa alma

Akıllı iş yükü yönetimi (IWM), sunucusuz SQL ambarlarının çok sayıda sorguyu hızlı ve uygun maliyetli bir şekilde işleme becerisini geliştiren bir özellik kümesidir. Ambarın kullanılabilir işlem kapasitesini gerçek zamanlı olarak izlerken gelen sorguların kaynak taleplerini tahmin etmek için makine öğrenmesi modellerini kullanarak iş yüklerini dinamik olarak yönetir. Bunları ve diğer sinyalleri ambarda izlemek, IWM'nin iş yükü taleplerindeki değişikliklere yanıt vermesini sağlar.

Bu dinamik yönetim, IWM'nin aşağıdakileri yapmasını sağlar:

• Düşük gecikme süresini korumak için hızlı bir şekilde ölçeklendirmiş işlem.
• Donanımın sınırlamasına daha yakın fiyatlarla sorgu kabul etme olanağı sağlayın.
• Talep düşük olduğunda maliyetleri en aza indirmek için hızlı bir şekilde küçültün.

Sorgu ambara ulaştığında, IWM maliyetini tahmin eder. Aynı zamanda IWM, ambarın kullanılabilir işlem kapasitesini gerçek zamanlı olarak izler. Ardından IWM, makine öğrenmesi modellerini kullanarak gelen sorgunun mevcut işlemde kullanılabilir gerekli işleme sahip olup olmadığını tahmin eder. Gereken işlem yoksa sorgu kuyruğa eklenir. Gerekli işlem varsa sorgu hemen çalışmaya başlar.

IWM kuyruğu gerçek zamanlı olarak izler. Kuyruk yeterince hızlı bir şekilde azalmıyorsa otomatik ölçeklendirme otomatik olarak daha fazla işlem sağlar. Yeni kapasite eklendikten sonra kuyruğa alınan sorgular yeni işlem kaynaklarına kabul edilir. Sunucusuz SQL ambarları ile hızlı bir şekilde yeni işlem eklenebilir. Tüm SQL ambarı türleri için bir kuyruktaki sorgu sayısı üst sınırı 1000'dir.

Sunucusuz SQL ambarını boyutlandırma

Sunucusuz SQL ambarınız için ihtiyacınız olacağını düşündüğünüzden daha büyük bir boyutla başlayın ve test ettikçe boyutunu küçültün. Sunucusuz SQL ambarınız için küçük bir boyutla başlayıp yukarı gitmeyin. Genel olarak, tek bir sunucusuz SQL ambarı ile başlayın ve Sunucusuz kümelerle doğru boyutlandırma, iş yüklerine öncelik verme ve hızlı veri okuma işlemleri için Azure Databricks'i kullanın. Bkz. Sunucusuz otomatik ölçeklendirme ve sorgu kuyruğa alma.

• Belirli bir sunucusuz SQL ambarı için sorgu gecikme süresini azaltmak için:
  • Sorgular diske dökülüyorsa tişörtün boyutunu artırın.
  • Sorgular yüksek oranda paralelleştirilebilirse tişört boyutunu artırın.
  • Aynı anda birden çok sorgu çalıştırıyorsanız otomatik ölçeklendirme için daha fazla küme ekleyin.
• Maliyetleri azaltmak için diske taşmadan veya gecikme süresini önemli ölçüde artırmadan boyutu azaltmayı deneyin.

Performansı izlemek ve değerlendirmek için araçlar

SQL ambarınızı doğru boyutlandırmaya yardımcı olmak için aşağıdaki araçları kullanın:

• İzleme sayfası: En yüksek sorgu sayısını gözden geçirin. Kuyruğa alınan tepe genellikle birinin üzerindeyse kümeler ekleyin. Tüm SQL ambarı türleri için bir kuyruktaki sorgu sayısı üst sınırı 1000'dir. Bkz. SQL ambarı izleme.
• Sorgu geçmişi. Bkz. Sorgu geçmişi.
• Sorgu profilleri (1'in üzerinde diske taşan baytlar'ı arayın). Bkz. Sorgu profili.