Azure Veri Gezgini'a geçmiş verileri alma

Makale
02/23/2024

Azure Veri Gezgini'a ekleme sırasında sık karşılaşılan bir senaryo, bazen geri doldurma olarak adlandırılan geçmiş verileri almaktır. bu işlem, mevcut bir depolama sisteminden verilerin bir uzantı koleksiyonu olan bir tabloya alınmasıdır.

Verilerin oluşturulduğu zamana kadar olan kapsamların oluşturma zamanını ayarlamak için creationTime alma özelliğini kullanarak geçmiş verileri almanızı öneririz. Alma bölümleme ölçütü olarak oluşturma zamanını kullanmak, verilerinizi önbellek ve bekletme ilkelerinize göre yaşlayabilir ve zaman filtrelerini daha verimli hale getirir.

Varsayılan olarak, kapsamlar için oluşturma süresi verilerin alındığı zamana ayarlanır ve bu da beklediğiniz davranışı üretmeyebilir. Örneğin, önbellek süresi 30 gün ve bekletme süresi iki yıl olan bir tablonuz olduğunu varsayalım. Normal akışta, üretildiği gibi alınan veriler 30 gün boyunca önbelleğe alınır ve ardından soğuk depolama alanına taşınır. İki yıl sonra, oluşturma zamanına bağlı olarak eski veriler birer birer kaldırılır. Ancak, varsayılan olarak verilerin alındığı zaman olarak oluşturma zamanıyla işaretlendiği iki yıllık geçmiş verileri alırsanız. Bu, aşağıdaki nedenden dolayı istenen sonucu üretmeyebilir:

Tüm veriler önbelleğe alınır ve tahmin ettiğinizden daha fazla önbellek kullanarak 30 gün boyunca orada kalır.
Eski veriler günde bir kez kaldırılmaz; bu nedenle veriler kümede gerekenden daha uzun süre tutulur ve iki yıl sonra hepsi aynı anda kaldırılır.
Daha önce kaynak sistemde tarihe göre gruplandırılmış veriler artık aynı ölçüde toplu işlenerek verimsiz sorgulara yol açabilir.

Varsayılan oluşturma zamanını kullanarak geçmiş verileri alma işleminin beklenen ve gerçek sonucunu gösteren diyagram.

Bu makalede geçmiş verileri bölümlemeyi öğreneceksiniz:

creationTime Alma sırasında alma özelliğini kullanma (önerilir)

Mümkün olduğunda, dosyadan veya blob yolundan creationTime ayıklayarak uzantıların oluşturma zamanını ayarlamanıza olanak tanıyan alma özelliğini kullanarak geçmiş verileri alın. Klasör yapınız oluşturma tarihi deseni kullanmıyorsa, dosyanızı veya blob yolunuzu oluşturma zamanını yansıtacak şekilde yeniden yapılandırmanızı öneririz. Bu yöntem kullanılarak veriler tabloya doğru oluşturma zamanıyla alınır ve önbellek ve bekletme süreleri doğru şekilde uygulanır.

Not

Varsayılan olarak, uzantılar oluşturma zamanına (alma) göre bölümlenir ve çoğu durumda veri bölümleme ilkesi ayarlamanıza gerek yoktur.
Alma sonrasında bölümleme ilkesi kullanma

Alma özelliğini kullanamıyorsanızcreationTime, örneğin oluşturma süresini denetleyememenize neden olan Azure Cosmos DB bağlayıcısını kullanarak veri alımı gerçekleştiriyorsanız veya klasör yapınızı yeniden yapılandıramıyorsanız, bölümleme ilkesini kullanarak aynı etkiyi elde etmek için veri alımından sonra tabloyu yeniden bölümleyebilirsiniz. Ancak bu yöntem, ilke özelliklerini iyileştirmek için biraz deneme ve hata gerektirebilir ve alma özelliğini kullanmaktan creationTime daha az verimlidir. Bu yöntemi yalnızca alma özelliğinin kullanılması creationTime mümkün olmadığında öneririz.

Önkoşullar

Microsoft hesabı veya Microsoft Entra kullanıcı kimliği. Azure aboneliği gerekmez.
Azure Veri Gezgini kümesi ve veritabanı. Küme ve veritabanı oluşturma.
Depolama hesabı.
Alma sırasında alma özelliğinin kullanılması creationTime için önerilen yöntem için LightIngest'i yükleyin.

Geçmiş verileri alma

Alma sırasında alma özelliğini kullanarak creationTime geçmiş verileri bölümlemenizi kesinlikle öneririz. Ancak, bu yöntemi kullanamıyorsanız, bölümleme ilkesi kullanarak veri alımından sonra tabloyu yeniden bölümleyebilirsiniz.

Alma sırasında (önerilen)
Alım sonrası

LightIngest, mevcut bir depolama sisteminden Azure Veri Gezgini'a geçmiş verileri yüklemek için yararlı olabilir. Komut satırı bağımsız değişkenlerinin listesini kullanarak kendi komutunuzu oluşturabilirsiniz ancak bu makalede, bir alma sihirbazı aracılığıyla bu komutun nasıl otomatik olarak oluşturulabileceği gösterilir. Komutu oluşturmaya ek olarak, bu işlemi kullanarak yeni bir tablo oluşturabilir ve şema eşlemesi oluşturabilirsiniz. Bu araç, veri kümenizden şema eşlemesi çıkartır.

Hedef

Azure Veri Gezgini web kullanıcı arabiriminde, soldaki menüden Sorgu'yu seçin.
Verileri almak istediğiniz veritabanına sağ tıklayın ve ardından En Açık'ı seçin.

Veri alma penceresi açılır ve Hedef sekmesi seçili durumdadır. Küme ve Veritabanı alanları otomatik olarak doldurulur.
Bir hedef tablo seçin. Yeni bir tabloya veri almak istiyorsanız Yeni tablo'yu seçin ve bir tablo adı girin.

Not

Tablo adları boşluk, alfasayısal, kısa çizgi ve alt çizgi gibi en fazla 1024 karakter olabilir. Özel karakterler desteklenmez.
İleri: Kaynak'ı seçin.

Kaynak

Kaynak seç'in altında URL Ekle veya Kapsayıcı seç'i seçin.
- URL eklerken, Kaynağa bağlan altında bir kapsayıcının hesap anahtarını veya SAS URL'sini belirtin. SAS URL'sini el ile veya otomatik olarak oluşturabilirsiniz.
- Depolama hesabınızdan bir kapsayıcı seçerken açılan menülerden Depolama aboneliğinizi, Depolama hesabınızı ve Kapsayıcı'yı seçin.
Not

Veri alımı en fazla 6 GB'lık dosya boyutunu destekler. Öneri, 100 MB ile 1 GB arasında dosya almaktır.
LightIngest kullanarak alım işlemi için ek ayarlar tanımlamak için Gelişmiş ayarlar'ı seçin.

Gelişmiş yapılandırma bölmesinde, en açık ayarları aşağıdaki tabloya göre tanımlayın.

LightIngest aracını içeren alım işlemi için ek ayarları gösteren gelişmiş yapılandırma bölmesinin ekran görüntüsü.

Özellik	Açıklama
Oluşturma zamanı düzeni	Örneğin kapsayıcının klasör yapısına göre bir tarih uygulamak için oluşturulan uzantının alma süresi özelliğini bir desenle geçersiz kılmak için belirtin. Ayrıca bkz. Oluşturma zamanı düzeni.
Blob adı deseni	Alınacak dosyaları tanımlamak için kullanılan deseni belirtin. Verilen kapsayıcıdaki blob adı deseni ile eşleşen tüm dosyaları alın. Joker karakterleri destekler. Çift tırnak içine almanız önerilir.
Tag	Alınan verilere atanmış bir etiket. Etiket herhangi bir dize olabilir.
Dosya miktarını sınırla	Alınabilecek dosya sayısını belirtin. Blob adı düzeniyle eşleşen ilk `n` dosyaları belirtilen sayıya kadar alır.
Alımın tamamlanmasını beklemeyin	Ayarlanırsa, alma işlemini izlemeden blobları alım için kuyruğa alır. Ayarlanmadıysa, LightIngest alma işlemi tamamlanana kadar alım durumunu yoklama işlemine devam eder.
Yalnızca seçili öğeleri görüntüle	Kapsayıcıdaki dosyaları listeleyin, ancak almaz.

Kaynak sekmesine dönmek için Bitti'yi seçin.
1. İsteğe bağlı olarak, verileri yalnızca belirli bir klasör yolundaki veya belirli bir dosya uzantısına sahip dosyaları almak üzere filtrelemek için Dosya Filtreleri'ni seçin.
  
  Varsayılan olarak, kapsayıcıdaki dosyalardan biri rastgele seçilir ve tablo şemasını oluşturmak için kullanılır.
2. İsteğe bağlı olarak, Şema tanımlama dosyası altında kullanılacak dosyayı belirtebilirsiniz.
Tablo sütunu yapılandırmanızı görüntülemek ve düzenlemek için İleri: Şema'ya tıklayın.

Şema

Şema sekmesi verilerin önizlemesini sağlar.

LightIngest komutunu oluşturmak için İleri: Alımı Başlat'ı seçin.

İsteğe bağlı olarak:

Açılan menüden istediğiniz biçimi seçerek otomatik olarak çıkarılan Veri biçimini değiştirin.
Otomatik olarak çıkarsanan Eşleme adını değiştirin. Alfasayısal karakterler ve alt çizgi kullanabilirsiniz. Boşluklar, özel karakterler ve kısa çizgiler desteklenmez.
Varolan bir tabloyu kullanırken, tablo şeması seçili biçimle eşleşiyorsa Geçerli tablo şemasını koruyabilirsiniz.
Girdilerinizden oluşturulan otomatik komutları görüntülemek ve kopyalamak için Komut görüntüleyicisi'ni seçin.
Sütunları düzenleyin. Kısmi veri önizleme altında, tablonun çeşitli yönlerini değiştirmek için sütun açılan menülerini seçin.

Tabloda yapabileceğiniz değişiklikler aşağıdaki parametrelere bağlıdır:

Tablo türü yeni veya var
Eşleme türü yeni veya var

Tablo türü	Eşleme türü	Kullanılabilir ayarlamalar
Yeni tablo	Yeni eşleme	Veri türünü değiştirme, Sütunu yeniden adlandırma, Yeni sütun, Sütunu sil, Sütunu güncelleştir, Artan düzende sırala, Azalan düzende sırala
Varolan tablo	Yeni eşleme	Yeni sütun (daha sonra veri türünü değiştirebileceğiniz, yeniden adlandırabileceğiniz ve güncelleştirebileceğiniz), Sütunu güncelleştirme, Artan sıralama, Azalan düzende sırala
	Mevcut eşleme	Artan düzende sırala, Azalan düzende sırala

Not

Yeni sütun eklerken veya bir sütunu güncelleştirirken eşleme dönüştürmelerini değiştirebilirsiniz. Daha fazla bilgi için bkz. Eşleme dönüştürmeleri

Alma

Tablo, eşleme ve LightIngest komutu yeşil onay işaretleriyle işaretlendikten sonra Oluşturulan komut kutusunun sağ üst köşesindeki kopyala simgesini seçerek oluşturulan LightIngest komutunu kopyalayın.

Not

Gerekirse LightIngest'i İndir'i seçerek LightIngest aracını indirebilirsiniz.
Alma işlemini tamamlamak için, kopyalanan komutu kullanarak LightIngest'i çalıştırmanız gerekir.

1. Adım: Yeniden bölümleme için hazırlanma

Eski verilere izin vermek için bekletme ilkesini ayarlayın. Aşağıdaki örnekte, MyTable tablosunun bekletme ilkesini 10 yıl olarak ayarlamış olacaksınız.
```
.alter-merge table MyTable policy retention softdelete = 3650d recoverability = enabled
```
Alma sonrasında yalnızca sık erişimli veriler yeniden bölümlenebileceği için önbelleğe alma ilkesini, tüm verilerin yeniden bölümleme için sık erişimli önbellekte olacak şekilde ayarlayın. Aşağıdaki örnekte MyTable tablosunun önbelleğe alınmasını 10 yıl olarak ayarlamış olacaksınız.
```
.alter table MyTable policy caching hot = 3650d
```
Önemli

Önbelleğe alma ilkesinin artırılması normal işlemlerden çok daha fazla sık erişimli önbellek kullanabilir ve maliyetin artmasına neden olabilir.

2. Adım: Yeniden bölümlendirmeyi başlatma

Verileri adlı Timestampsütuna göre bölümleyen bir bölümleme ilkesi oluşturun. Aşağıdaki örnekte, MyTable tablosunun bölümleme ilkesini adlı Timestampsütuna göre bölümleme olarak ayarlarsınız.
```
.alter table MyTable policy partitioning
```
{
  "EffectiveDateTime" : "1970-01-01T00:00:00",
  "PartitionKeys": [
    {
      "ColumnName": "Timestamp",
      "Kind": "UniformRange",
      "Properties": {
        "Reference": "1970-01-01T00:00:00",
        "RangeSize": "1.00:00:00",
        "OverrideCreationTime": true
      }
    }
  ]
}
```
```
Bölümleme ilkesi özellikleri hakkında bilgi için bkz . bölüm özellikleri. Geçmiş veri alımı için aşağıdaki özellikleri nasıl ayarladığınız önemlidir:
- Yeniden bölümlemesi tetikleyebilmek için EffectiveDateTime özelliğinin alımın başlangıcından önceki bir tarihe ayarlanması gerekir.
- RangeSize, verilerin bir günlük demetlere yeniden bölümlenmesi için bir gün olarak ayarlanır. Ancak, bu değeri verilerinizle uyumlu olacak şekilde ayarlamanız gerekir. Örneğin, günde birden fazla GB'tan az veriniz varsa, daha büyük bir değer ayarlamayı göz önünde bulundurun.
- OverrideCreationTime değeri true olarak ayarlanmalıdır, böylece veriler gün demetlerine yeniden bölümlendikten sonra, uzantılar o günle oluşturma zamanı olarak işaretlenir.
14 günden eski kapsamlar da dahil olmak üzere tüm kapsamların birleştirilmesine izin vermek için bir birleştirme ilkesi ayarlayın. Yeniden bölümleme işlemi, varsayılan olarak birleştirme işlemi tarafından hariç tutulan 14 günden eski kapsamlar oluşturduğundan bu ilkenin ayarlanması önemlidir.
```
.alter table MyTable policy merge
```
{
  "Lookback": {
    "Kind": "HotCache"
  }
}
```
```
.show database extents partitioning statistics komutunu kullanarak yeniden bölümleme ilerlemesini izleyin. Döndürülen sonuçlarda yeniden bölümlediğiniz tabloyu arayın ve PartitionedRowPercentage sütununu izleyin. PartitionedRowPercentage sütununun değeri olduğunda100, yeniden bölümleme tamamlanır.

3. Adım: Yeniden bölümleme sonrası temizleme

Yeniden bölümleme tamamlandıktan sonra, önceki adımlarda ayarladığınız ilkeleri temizleyebilirsiniz.

Bölümleme ilkesini kaldırın.

.delete table MyTable policy partitioning

Birleştirme ilkesini kaldırın.
```
.delete table MyTable policy merge
```

Önbelleğe alma ilkesini kaldırın veya ayarlayın.

// Remove the caching policy
.delete table MyTable policy caching
// OR set the caching policy to your desired value
.alter table MyTable policy caching hot = 90d

Bekletme ilkesini kaldırın veya ayarlayın.

// Remove the retention policy
.delete table MyTable policy retention
// OR set the retention policy to your desired value
.alter-merge table MyTable policy retention softdelete = 30d recoverability = enabled

Azure Veri Gezgini'nde veri sorgulama

Aracılığıyla paylaş