Nosql und hbase architektur implementierung auf zufällige ausgewählte arbeitern in big-data

Abstract

Büyük veri teriminin altındaki farklı kaynaklardan gelen bilgi kümesini işleyebilmek için günümüzde farklı araçlar ortaya çıkmıştır. Bu alanda Büyük verinin işleme zorluğu, verilerin yoğun olarak ön işleme tabi tutulması gereksinimi, yapılandırılmamış veri hacimlerinin depolanmasına ve yüksek performansla işlenmesine izin veren bir NoSQL hareketinin ortaya çıkmasına katkıda bulunmuştur. Verilerin işlenmeden, yapılandırılmadan saklanma ihtiyacı buna yönelik saklama yapabilen sütun yönelimli NoSQL veri tabanı olan HBase’in ortaya çıkmasını sağlamıştır. Bu tez çalışmasının amacı ; büyük veri kavramının günümüze kadar ki sürecini incelemek, NoSQL ve HBase mimarileri gibi farklı veri tabanı türleri arasında karşılaştırma yapmak, veri taşıma yöntemlerini incelemek ve HDFS üzerine HBase dosya sistemini kurup işler hale getirip test yapmaktır. 30000 satırlı, rastgele isim ve meslek gruplarından oluşturulan veri kümesi, Hbase veritabanında Sqoop ile çalışması test edilmiştir.

Heute haben sich verschiedene Tools herausgebildet, um den Informationssatz aus verschiedenen Quellen unter dem Begriff Big-Data zu verarbeiten. Die Schwierigkeit, große Daten in diesem Bereich zu verarbeiten, hat zur Entstehung einer NoSQL-Bewegung beigetragen, die eine intensive Vorbehandlung der Daten ermöglicht, unstrukturierte Datenmengen speichert und mit hoher Leistung verarbeitet. Die Notwendigkeit, die Daten unstrukturiert zu speichern, hat zur Entstehung der spaltenorientierten NoSQL-Datenbank HBase geführt.Der Zweck dieser Arbeit ist es den Prozess des Big Data-Konzepts bis heute zu untersuchen. Es wurde zwischen verschiedenen Datenbanktypen wie NoSQL- und HBase-Architekturen verglichen, die Methoden des Datentransports untersucht, und HBase-Dateisystem auf HDFS installiert und getestet. Der aus 30000 Zeilen Namen und Berufsgruppen zufallig generierte Datensatz wurde in der Hbase-Datenbank getestet.