Windows bilgisayarından HDInsight üzerinde Apache Hadoop ekosisteminde çalışma
HDInsight'ta Apache Hadoop ekosisteminde çalışmaya yönelik Windows bilgisayarda geliştirme ve yönetim seçenekleri hakkında bilgi edinin.
HDInsight, Linux üzerinde geliştirilen açık kaynak teknolojileri olan Apache Hadoop ve Hadoop bileşenlerini temel alır. HDInsight sürüm 3.4 ve üzeri, küme için temel işletim sistemi olarak Ubuntu Linux dağıtımını kullanır. Ancak, bir Windows istemcisinden veya Windows geliştirme ortamından HDInsight ile çalışabilirsiniz.
PowerShell'i dağıtım ve yönetim görevleri için kullanma
Azure PowerShell, Windows'tan HDInsight'ta dağıtım ve yönetim görevlerini denetlemek ve otomatikleştirmek için kullanabileceğiniz bir betik oluşturma ortamıdır.
PowerShell ile gerçekleştirebileceğiniz görev örnekleri:
- PowerShell kullanarak kümeler oluşturun.
- PowerShell kullanarak Apache Hive sorguları çalıştırma.
- PowerShell ile kümeleri yönetme.
Azure PowerShell en son sürümü almak üzere yükleme ve yapılandırma adımlarını izleyin.
Tarayıcıda çalıştırabileceğiniz yardımcı programlar
Aşağıdaki yardımcı programların tarayıcıda çalışan bir web kullanıcı arabirimi vardır:
Azure Cloud Shell, tarayıcınızda ve Azure portal içinden çalışan etkileşimli bir komut satırı kabuğudur.
Apache Ambari Web Ui, Azure portal bulunan ve aşağıdakiler gibi farklı iş türlerini yönetmek için kullanılabilecek bir yönetim ve izleme yardımcı programıdır:
Aşağıdaki örneklere gitmeden önce Visual Studio için Data Lake Araçları'nı yükleyin ve deneyin.
Visual Studio ve .NET SDK
Kümeleri yönetmek ve büyük veri uygulamaları geliştirmek için Visual Studio'yu .NET SDK ile kullanabilirsiniz. Aşağıdaki görevler için diğer IDE'leri kullanabilirsiniz, ancak örnekler Visual Studio'da gösterilir.
Visual Studio'da .NET SDK ile gerçekleştirebileceğiniz görev örnekleri:
- .NET için Azure HDInsight SDK'sı.
- .NET SDK'sını kullanarak Apache Hive sorguları çalıştırın.
- Apache Hadoop üzerinde Apache Hive ve Apache Pig akışı ile C# kullanıcı tanımlı işlevleri kullanın.
Spark kümeleri için Intellij IDEA ve Eclipse IDE
Hem Intellij IDEA hem de Eclipse IDE şunları yapmak için kullanılabilir:
- HDInsight Spark kümesinde Scala Spark uygulaması geliştirin ve gönderin.
- Spark kümesi kaynaklarına erişme.
- Scala Spark uygulamasını yerel olarak geliştirin ve çalıştırın.
Bu makaleler şunları göstermektedir:
- Intellij IDEA: Azure Toolkit for Intellij eklentisini ve Scala SDK'sını kullanarak Apache Spark uygulamaları oluşturun.
- Eclipse için Eclipse IDE veya Scala IDE: Apache Spark uygulamaları ve Azure Toolkit for Eclipse oluşturma
Veri bilimciler için Spark'ta not defterleri
HDInsight'taki Apache Spark kümeleri, Jupyter Notebooks ile kullanılabilen Apache Zeppelin not defterlerini ve çekirdeklerini içerir.
- Spark uygulamalarını test etmek için Jupyter Notebooks ile Apache Spark kümelerinde çekirdekleri kullanmayı öğrenin
- Spark işlerini çalıştırmak için Apache Spark kümelerinde Apache Zeppelin not defterlerini kullanmayı öğrenin
Windows'da Linux tabanlı araçları ve teknolojileri çalıştırma
Yalnızca Linux'ta kullanılabilen bir araç veya teknoloji kullanmanız gereken bir durumla karşılaşırsanız aşağıdaki seçenekleri göz önünde bulundurun:
- Windows 10 üzerinde Ubuntu üzerinde Bash, Windows üzerinde bir Linux alt sistemi sağlar. Bash, ayrılmış bir Linux yüklemesini sürdürmek zorunda kalmadan doğrudan Linux yardımcı programlarını çalıştırmanıza olanak tanır. Yükleme adımları için bkz. Windows 10 Linux için Windows Alt Sistemi Yükleme Kılavuzu. Diğer Unix kabukları da çalışır.
- Windows için Docker , linux tabanlı birçok araç için erişim sağlar ve doğrudan Windows'tan çalıştırılabilir. Örneğin Docker'ı kullanarak Hive için Beeline istemcisini doğrudan Windows'tan çalıştırabilirsiniz. Docker'ı yerel bir Jupyter Notebook çalıştırmak ve HDInsight üzerinde Spark'a uzaktan bağlanmak için de kullanabilirsiniz. Windows için Docker'ı kullanmaya başlama
- MobaXTerm , SSH bağlantısı üzerinden küme dosya sistemine grafik olarak göz atmanızı sağlar.
Platformlar arası araçlar
Azure komut satırı arabirimi (CLI), Azure kaynaklarını yönetmek için Microsoft tarafından sunulan platformlar arası komut satırı deneyimidir. Daha fazla bilgi için bkz. Azure Command-Line Arabirimi (CLI).
Sonraki adımlar
Linux tabanlı kümelerde çalışmaya yeniyseniz aşağıdaki makalelere bakın: