Bu örnek mimari, Azure'a modernleştirme sırasında verileri çoğaltmaya ve eşitlemeye yönelik bir uygulama planını özetler. Veri depoları, araçlar ve hizmetler gibi teknik yönleri ele alır.
Mimari
Bu mimarinin bir Visio dosyasını indirin.
İş Akışı
Ana bilgisayar ve orta ölçekli sistemler, şirket içi uygulama veritabanlarını düzenli aralıklarla güncelleştirir. Tutarlılığı korumak için çözüm, en son verileri Azure veritabanlarıyla eşitler. Eşitleme işlemi aşağıdaki adımları içerir:
Azure Data Factory dinamik işlem hatları, veri ayıklamadan veri yüklemeye kadar değişen etkinlikleri düzenler. İşlem hattı etkinliklerini zamanlayabilir, el ile başlatabilir veya otomatik olarak tetikleyebilirsiniz.
İşlem hatları, görevleri gerçekleştiren etkinlikleri gruplandırmaktadır. Data Factory, verileri ayıklamak için her şirket içi tablo için dinamik olarak bir işlem hattı oluşturur. Daha sonra Azure'da verileri çoğaltırken yüksek düzeyde paralel bir uygulama kullanabilirsiniz. Çözümü gereksinimlerinizi karşılayacak şekilde de yapılandırabilirsiniz:
- Tam çoğaltma: Veritabanının tamamını çoğaltır ve hedef Azure veritabanındaki veri türleri ve alanlarda gerekli değişiklikleri yaparsınız.
- Kısmi, delta veya artımlı çoğaltma: Güncelleştirilmiş satırları Azure veritabanlarıyla eşitlemek için kaynak tablolardaki filigran sütunlarını kullanırsınız. Bu sütunlar sürekli olarak artan bir anahtar veya tablonun son güncelleştirmesini gösteren bir zaman damgası içerir.
Data Factory aşağıdaki dönüştürme görevleri için işlem hatlarını da kullanır:
- Veri türü dönüştürme
- Verileri işleme
- Veri biçimlendirme
- Sütun türetme
- Veri düzleştirme
- Veri sıralama
- Veri filtreleme
Db2 zOS, i için Db2 ve Db2 LUW gibi şirket içi veritabanları uygulama verilerini depolar.
Şirket içinde barındırılan tümleştirme çalışma zamanı (SHIR), Data Factory'nin etkinlikleri çalıştırmak ve göndermek için kullandığı ortamı sağlar.
Azure Data Lake Storage 2. Nesil ve Azure Blob Depolama, veri hazırlama için bir yer sağlar. Bu adım bazen birden çok kaynaktan verileri dönüştürmek ve birleştirmek için gereklidir.
Data Factory, verileri hızlı ve etkili bir şekilde dönüştürmek için veri hazırlama için Azure Databricks' i, özel etkinlikleri ve işlem hattı veri akışlarını kullanır.
Data Factory verileri aşağıdaki ilişkisel ve ilişkisel olmayan Azure veritabanlarına yükler:
- Azure SQL
- PostgreSQL için Azure Veritabanı
- Azure Cosmos DB
- Azure Data Lake Storage
- MySQL için Azure Veritabanı
SQL Server Integration Services (SSIS): Bu platform verileri ayıklayabilir, dönüştürebilir ve yükleyebilir.
Microsoft dışı araçlar: Çözüm neredeyse gerçek zamanlı çoğaltma gerektirdiğinde, Microsoft dışı araçları kullanabilirsiniz.
Bileşenler
Bu bölümde, veri modernleştirme, eşitleme ve tümleştirme sırasında kullanabileceğiniz diğer araçlar açıklanmaktadır.
Araçlar
Dağıtılmış İlişkisel Veritabanı Mimarisi (DRDA) için Microsoft Hizmeti, Konak Tümleştirme Sunucusu'nun (HIS) bir bileşenidir. DRDA için Microsoft Hizmeti, DRDA Application Requester (AR) istemcilerinin kullandığı bir uygulama sunucusudur. DRDA AR istemcilerine örnek olarak z/OS için IBM Db2 ve i5/OS için Db2 verilebilir. Bu istemciler Db2 SQL deyimlerini dönüştürmek ve SQL Server'da çalıştırmak için uygulama sunucusunu kullanır.
Db2 için SQL Server Geçiş Yardımcısı (SSMA), Db2'den Microsoft veritabanı hizmetlerine geçişi otomatikleştirir. Bir sanal makinede (VM) çalışırken, bu araç Db2 veritabanı nesnelerini SQL Server veritabanı nesnelerine dönüştürür ve bu nesneleri SQL Server'da oluşturur. Ardından Db2 için SSMA verileri Db2'den aşağıdaki hizmetlere geçirir:
- SQL Server 2012
- SQL Server 2014
- SQL Server 2016
- Windows ve Linux üzerinde SQL Server 2017
- Windows ve Linux üzerinde SQL Server 2019
- Azure SQL Veritabanı
Azure Synapse Analytics , veri ambarları ve büyük veri sistemleri için bir analiz hizmetidir. Bu araç Spark teknolojilerini kullanır ve Power BI, Azure Machine Learning ve diğer Azure hizmetleriyle derin tümleştirmeye sahiptir.
Veri tümleştiricileri
Data Factory bir karma veri tümleştirme hizmetidir. Ayıklama, dönüştürme ve yükleme (ETL) iş akışlarını oluşturmak, zamanlamak ve ayarlamak ve ELT iş akışlarını ayıklamak, yüklemek ve dönüştürmek için bu tam olarak yönetilen sunucusuz çözümü kullanabilirsiniz.
Azure Synapse Analytics , veri ambarları ve büyük veri sistemleri arasında içgörü elde etme süresini hızlandıran bir kurumsal analiz hizmetidir. Azure Synapse Analytics, aşağıdaki teknolojilerin ve hizmetlerin en iyilerini bir araya getirir:
- Kurumsal veri ambarında kullandığınız SQL teknolojileri.
- Büyük veriler için kullandığınız Spark teknolojileri.
- Günlük ve zaman serisi analizi için kullandığınız Azure Veri Gezgini.
- Veri tümleştirmesi ile ETL ve ELT iş akışları için kullandığınız Azure Pipelines.
- Power BI, Azure Cosmos DB ve Machine Learning gibi diğer Azure hizmetleriyle derin tümleştirme.
SSIS , kurumsal düzeyde veri tümleştirme ve dönüştürme çözümleri oluşturmaya yönelik bir platformdur. SSIS kullanarak verileri yönetebilir, çoğaltabilir, temizleyebilir ve benimseyebilirsiniz.
Azure Databricks bir veri analizi platformudur. Apache Spark açık kaynaklı dağıtılmış işleme sistemini temel alır ve Azure bulut platformu için iyileştirilmiştir. Bir analiz iş akışında Azure Databricks, birden çok kaynaktan verileri okur ve içgörüler sağlamak için Spark'ı kullanır.
Veri depolama
SQL Veritabanı, Azure SQL ailesinin bir parçasıdır ve bulut için oluşturulur. Bu hizmet, tam olarak yönetilen ve her zaman yeşil bir hizmet olarak platformun (PaaS) avantajlarını sunar. SQL Veritabanı ayrıca performansı ve dayanıklılığı en iyi duruma getiren yapay zeka destekli, otomatik özellikler sağlar. Sunucusuz işlem ve Hiper Ölçek depolama seçenekleri , kaynakları isteğe bağlı olarak otomatik olarak ölçeklendirir.
Azure SQL Yönetilen Örneği, Azure SQL hizmet portföyünün bir parçasıdır. Bu akıllı ve ölçeklenebilir bulut veritabanı hizmeti, en geniş SQL Server altyapısı uyumluluğunu tam olarak yönetilen ve her zaman yeşil bir PaaS'ın tüm avantajlarıyla birleştirir. SQL Yönetilen Örneği ile mevcut uygulamaları uygun ölçekte modernleştirebilirsiniz.
Azure Sanal Makineler'da SQL Server, %100 kod uyumluluğuyla SQL Server iş yüklerini kaldırıp buluta kaydırmanın bir yolunu sağlar. Azure SQL ailesinin bir parçası olarak, Azure Sanal Makineler'da SQL Server, Azure'ın esnekliği ve karma bağlantısıyla SQL Server'ın birleşik performansını, güvenliğini ve analizini sunar. Mevcut uygulamaları geçirmek veya yeni uygulamalar oluşturmak için Azure Sanal Makineler'da SQL Server'ı kullanın. Ayrıca SQL Server 2019 da dahil olmak üzere en son SQL Server güncelleştirmelerine ve sürümlerine de erişebilirsiniz.
PostgreSQL için Azure Veritabanı, açık kaynak PostgreSQL veritabanı altyapısının topluluk sürümünü temel alan, tam olarak yönetilen bir ilişkisel veritabanı hizmetidir. Veritabanı yönetimi yerine uygulama yeniliklerine odaklanmak için bu hizmeti kullanın. Ayrıca iş yükünüzü hızlı ve kolay bir şekilde ölçeklendikleyebilirsiniz.
Azure Cosmos DB , genel olarak dağıtılmış, çok modelli bir veritabanıdır. Çözümlerinizin işleme hızını ve depolama alanını herhangi bir sayıda coğrafi bölgede esnek ve bağımsız olarak ölçeklendirebilmesini sağlamak için Azure Cosmos DB'yi kullanın. Bu tam olarak yönetilen NoSQL veritabanı hizmeti, dünyanın herhangi bir yerinde doksan dokuzuncu yüzdebirlik dilimde tek basamaklı, milisaniyelik gecikme sürelerini garanti eder.
Data Lake Storage , büyük miktarda veriyi yerel, ham biçiminde tutan bir depolama deposudur. Data Lake Store'lar terabaytlar ve petabaytlar kadar veriyi ölçeklendirmek için iyileştirilmiştir. Veriler genellikle birden çok, heterojen kaynaktan gelir ve yapılandırılmış, yarı yapılandırılmış veya yapılandırılmamış olabilir. Data Lake Storage 2. Nesil, Data Lake Storage 1. Nesil özelliklerini Blob Depolama ile birleştirir. Bu yeni nesil data lake çözümü dosya sistemi semantiği, dosya düzeyi güvenlik ve ölçeklendirme sağlar. Ayrıca Blob Depolama'nın katmanlı depolama, yüksek kullanılabilirlik ve olağanüstü durum kurtarma özelliklerini de sunar.
MySQL için Azure Veritabanı, açık kaynak MySQL veritabanı altyapısının topluluk sürümünü temel alan tam olarak yönetilen bir ilişkisel veritabanı hizmetidir.
Blob Depolama , çok büyük miktarlarda yapılandırılmamış verileri yöneten iyileştirilmiş bulut nesne depolaması sağlar.
Senaryo ayrıntıları
Ana bilgisayar ve orta ölçekli modernleştirmede veri kullanılabilirliği ve bütünlüğü temel öneme sahiptir. Veri öncelikli stratejiler, Azure'a geçiş sırasında verilerin bozulmadan ve kullanılabilir durumda kalmasına yardımcı olur. Modernleştirme sırasında kesintileri önlemek için bazen verileri hızlı bir şekilde çoğaltmanız veya şirket içi verileri Azure veritabanlarıyla eşitlenmiş durumda tutmanız gerekir.
Bu çözüm özellikle şunları kapsar:
- Ayıklama: Kaynak veritabanına bağlanma ve kaynak veritabanından ayıklama.
- Dönüşüm:
- Hazırlama: Verileri geçici olarak özgün biçiminde depolama ve dönüştürmeye hazırlama.
- Hazırlık: Hedef veritabanı gereksinimlerini karşılayan eşleme kurallarını kullanarak verileri dönüştürme ve işleme.
- Yükleme: Hedef veritabanına veri ekleme.
Olası kullanım örnekleri
Bu çözümden yararlanabilecek veri çoğaltma ve eşitleme senaryoları şunlardır:
- Tüm sorgu kanallarına hizmet vermek için Azure kullanan Komut Sorgu Sorumluluğu Ayrım (CQRS) mimarileri.
- Şirket içi uygulamaları ve yeniden barındırılan veya yeniden tasarlanmış uygulamaları paralel olarak test eden ortamlar.
- Aşamalı düzeltme veya modernleştirme gerektiren sıkı bir şekilde bağlanmış uygulamalara sahip şirket içi sistemler.
Öneriler
Verileri ayıklamak için Data Factory'yi kullandığınızda kopyalama etkinliğinin performansını ayarlamak için gereken adımları uygulayın.
Dikkat edilmesi gereken noktalar
Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanılabilecek bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.
Bu mimariyi değerlendirirken bu noktaları aklınızda bulundurun.
Güvenilirlik
Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesini sağlar. Daha fazla bilgi için bkz . Güvenilirlik sütununa genel bakış.
Kullanılabilirlik dahil olmak üzere altyapı yönetimi, Azure veritabanlarında otomatikleştirilir.
DRDA yük devretme koruması için Microsoft Hizmeti hakkında bilgi için bkz. Havuza alma ve yük devretme.
Daha yüksek kullanılabilirlik garantileri sağlamak için şirket içi veri ağ geçidini ve tümleştirme çalışma zamanını (IR) kümeleyebilirsiniz.
Güvenlik
Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz . Güvenlik sütununa genel bakış.
Erişimi yalnızca her hizmetin çalışması gereken durumla sınırlamak için ağ güvenlik gruplarını kullanın.
PaaS hizmetleriniz için özel uç noktaları kullanın. Hizmetlerinizin güvenliğini artırmak için İnternet üzerinden erişilebilen ve ulaşılamayan hizmet güvenlik duvarlarını kullanın.
Bileşenden bileşene veri akışları için yönetilen kimlikleri kullanın.
DRDA için Microsoft Hizmeti'nin desteklediği istemci bağlantısı türleri hakkında bilgi edinmek için bkz . DRDA için Microsoft Hizmeti'ni kullanarak çözümleri planlama ve mimari oluşturma. İstemci bağlantıları ağınızdaki işlemlerin, havuzun, yük devretmenin, kimlik doğrulamasının ve şifrelemenin doğasını etkiler.
Maliyet iyileştirme
Maliyet iyileştirmesi, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarını aramaktır. Daha fazla bilgi için bkz . Maliyet İyileştirme sütununa genel bakış.
Fiyatlandırma modelleri bileşen hizmetleri arasında farklılık gösterir. Bütçenize uygun olduğundan emin olmak için kullanılabilir bileşen hizmetlerinin fiyatlandırma modellerini gözden geçirin.
Bu çözümü uygulama maliyetini tahmin etmek için Azure fiyatlandırma hesaplayıcısını kullanın.
Operasyonel mükemmellik
Operasyonel mükemmellik, bir uygulamayı dağıtan ve üretimde çalışır durumda tutan operasyon süreçlerini kapsar. Daha fazla bilgi için bkz . Operasyonel Mükemmellik sütununa genel bakış.
Ölçeklenebilirlik de dahil olmak üzere altyapı yönetimi, Azure veritabanlarında otomatikleştirilir.
Mantıksal örneği etkin-etkin modda birden çok şirket içi makineyle ilişkilendirerek şirket içinde barındırılan IR'nin ölçeğini genişletebilirsiniz.
Performans verimliliği
Performans verimliliği, kullanıcılar tarafından anlamlı bir şekilde yerleştirilen talepleri karşılamak amacıyla iş yükünüzü ölçeklendirme becerisidir. Daha fazla bilgi için bkz . Performans Verimliliği sütununa genel bakış.
Uygulamanız ilk çoğaltma veya sürekli değişen veri çoğaltması için önemli bant genişliği kullanıyorsa Azure ExpressRoute'u yüksek ölçekli bir seçenek olarak düşünün.
Senaryonuz için doğru IR yapılandırmasını seçin.
Sonraki adımlar
- Daha fazla bilgi için Azure Veri Madenciliği - Şirket İçi Modernleştirme ile iletişime geçin.
- Geçiş kılavuzunu okuyun.