Author:
Abstract
Veri üretimi her geçen gün katlanarak artmakta. Üretilen bu verinin hacmi, çeşitliliği ve hızı mevcut verilerden daha fazla olup analiz edilmesi ve yorumlanması oldukça zordur. Milyarlarca ağa bağlı sensörler akıllı telefonlar, otomobiller, sosyal medya siteleri, dizüstü bilgisayarlar, PC'ler ve endüstriyel makineler gibi verileri çalıştıran, üreten ve ileten cihazlara yerleştirilmiştir. Bu tür kaynaklardan elde edilen veriler yapılandırılmış, yarı yapılandırılmış veya yapılandırılmamış formattaki verilerdir. Geleneksel veritabanı sistemleri bu veri türlerini işlemede yetersiz kalmaktadır. Bu nedenle yeni teknolojilere ihtiyaç duyulmuştur. Bugün geliştirilen teknolojiler büyük veri setlerini; toplama, işleme, analiz etme ve görselleştirmede oldukça başarılıdır. Bu teknolojiler özellikle yapısal olmayan büyük veri setlerini kolayca analiz ederek, şirketlere büyük avantajlar sağlamaktadır. Bu çalışmanın amacı, Büyük Veri Analizinde kullanılan Hadoop ve Spark teknolojilerinin yapılarını tanıtmak ve bunların şirketler açısından sağladığı avantajları ele almaktır.
Keywords
Abstract
Data production is increasing day by day. The volume, diversity and speed of this generated data is more than the available data and is difficult to analyze and interpret. Billions of networked sensors are embedded in devices that run, generate and transmit data such as smartphones, automobiles, social media sites, laptop computers, PCs and industrial machines. The data obtained from such sources is the data in the structured, semistructured, or unstructured form. Traditional database systems are insufficient to process these data types. That's why new technologies are needed. The technologies developed today are large data sets; Collecting, processing, analyzing and visualizing. These technologies provide great advantages for companies, especially by easily analyzing large unstructural data sets. The purpose of this study is to introduce the practices of Hadoop and Spark technologies used in Big Data Analysis and to discuss the advantages they provide for companies.