HADOOP kullanarak meteoroloji verilerinden bir iklim değişimi eğilim analizi
A climate change trend analysis from meteorological data using HADOOP
- Tez No: 515061
- Danışmanlar: PROF. DR. TUNCAY AYDOĞAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2018
- Dil: Türkçe
- Üniversite: Süleyman Demirel Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektronik ve Bilgisayar Sistemleri Eğitimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 86
Özet
İklim değişikliklerini tespit edebilmek için, uzun yıllar boyunca yapılan gözlemler sonucunda elde edilen veriler günümüzde büyük veri sınıfında olmaktadır. Bu veri yığınlarının analizi geleneksel yöntemlerle mümkün olmadığından yeni modeller geliştirilmiştir. Map-reduce kütüphanesi de Google tarafından bilişim dünyasına kazandırılan dağıtık mimari üzerinde çok büyük verilerin kolay bir şekilde analiz edilebilmesini sağlayan bu programlama modellerinden biridir. Mapreduce programlama modeli, büyük miktardaki verileri işlemek için yüksek maliyetli süper bilgisayarlar ve veri tabanı sunucuları yerine sıradan bilgisayarlardan oluşan bir ağ kullanır. Ağ üzerindeki bilgisayarlar üzerinde map ve reduce fonksiyonları paralel olarak çalıştırılır. Mapreduce mimarisi ağ üzerinde veriyi taşımak yerine verinin bulunduğu makinelere ilgili map veya reduce fonksiyonunu gönderir. Böylece ağ üzerinde oluşacak bant genişliği problemini ortadan kaldırır. Madreduce modeli farklı alanlarda kullanılabilmektedir. Bu çalışmada, Mapreduce modeli günlük meteorolojik verilerden anlamlı sonuçlar üretebilmek için kullanıldı. Tüm dünyanın en belirgin sorunu olan iklim değişiklikleri ülkemiz için de büyük bir problemdir. Çünkü iklim değişikliklerinin etkisi ile kullanılabilir tatlı su kaynaklarının azalacağı, ortalama sıcaklıklarının artacağı, az ılıman alanlarda uzun kuraklıklara ve çöller oluşturmaya sebep olabileceği düşünülmektedir. Yapılan tez çalışmasında Karadeniz Bölgesine ait meteorolojik veriler analiz edilerek söz konusu iklim değişikliklerin olup olmadığı saptanılmaya çalışılmıştır. Meteoroloji 10. Bölge Müdürlüğünden günlük yağış, sıcaklık, rüzgâr, nem, basınç, 20 cm toprak altı sıcaklığı, 50 cm toprak altı sıcaklığı, açık yüzey buharlaşma miktarı, güneşlenme süresi ve güneş şiddeti bilgileri alındı. Alınan bu verilerin yıllık ortalamaları tam dağıtık modda çalıştırılan Hadoop/Mapreduce yöntemi kullanılarak hesaplandı. Elde edilin verilerin trend analizleri için parametrik olmayan Mann-Kendall testi ve Spearman'ın Rho testi uygulandı. Çalışma sonunda günlük ortalama sıcaklık, günlük ortalama toprak altı sıcaklığı (50 cm için), günlük ortalama nem ve günlük ortalama açık yüzey buharlaşma verilerinin artan yönde bir trende sahip olduğu görülmüştür.
Özet (Çeviri)
In order to detect climate changes, the data obtained as a result of observations made over many years are in the large data class nowadays. Since the analysis of these data stacks is not possible with conventional methods, new models have been developed. The Mapreduce library is one of those programming models that allows very large data to be easily analyzed on the distributed architecture that is gained to the world of informatics by Google. The Mapreduce programming model uses a network of ordinary computers instead of high-cost supercomputers and database servers to handle large amounts of data. The map and reduce functions are executed in parallel on the computers on the network. Mapreduce architecture sends relevant map or reduce function to the machines where the data is stored instead of moving the data over the network. This situation eliminates the problem of bandwidth on the network. Madreduce model can be used in different areas. In this study, Mapreduce model was used to produce meaningful results from daily meteorological data. Climate change, which is the most obvious problem of the whole world, is a major problem in our country, too. It is thought that because of the effects of climate change, available freshwater resources can be reduced, mean temperatures will increase, long term droughts in less temperate areas and deserts. In the thesis study, meteorological data belonging to the Black Sea Region were analyzed and it was tried to determine whether there are climate changes. Daily precipitation, temperature, wind, humidity, pressure, 20 cm soil temperature, 50 cm soil temperature, open surface evaporation amount, sunshine duration and solar intensity information were obtained from the Meteorology 10th Regional Directorate. This data is calculated using the Hadoop / Map-reduce method, which runs in full distributed mode. For the trend analysis of the obtained data, Mann-Kendall test and Spearman's Rho test, which are non-parametric,were applied. At the end of the study, daily mean temperature, daily average mean soil temperature (for 50 cm), daily mean moisture and daily mean open surface evaporation data were found to have a increased trend.
Benzer Tezler
- Lexicon based opinion mining on twitter data by using hadoop
Hadoop kullanarak twitter verileri üzerindeki görüş madenciliği tabanlı veri sözlüğü
MOHAMMED RAAED MAHMOOD ALKSSO
Yüksek Lisans
İngilizce
2017
Bilim ve TeknolojiÇankaya ÜniversitesiMatematik Ana Bilim Dalı
Assist. Prof. Dr. ABDÜL KADİR GÖRÜR
- Büyük veri araçlarından Hadoop kullanarak veri madenciliği
Data mining using Hadoop big data tool
MEHMET UMUT SALUR
Yüksek Lisans
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolPamukkale ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. SEZAİ TOKAT
- Tıbbi görüntü veri setlerinde matlab ile büyük veri teknikleri uygulaması
Application of big data techniques for medical images datasets with matlab
EISSA FAISAL ALI AL-ZABIDI
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ URAZ YAVANOĞLU
- Scalable Data Analytics using Spark
Spark kullanarak Ölçeklenebilir Veri Analitiği
ASLAN BAKIROV
Yüksek Lisans
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Şehir ÜniversitesiElektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. AHMET BULUT
- HADOOP/MapReduce teknolojisi kullanılarak hızlı tüketim sektöründe büyük veri analizi
Big data analysis in fast mooving consumer sector by using HADOOP/MapReduce technology
SERDAR ÇETİNKAYA
Yüksek Lisans
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. FATİH KELEŞ