Mapreduce kullanarak RDFS üzerinde dağıtık çıkarsama
Implementation of distributed RDFS reasoning
- Tez No: 361082
- Danışmanlar: DOÇ. DR. OSMAN ABUL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2014
- Dil: Türkçe
- Üniversite: TOBB Ekonomi ve Teknoloji Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 68
Özet
Günümüzde teknoloji çağında büyük veriler üzerinde işlemlerin gerçekleştirilebilmesi gerekmektedir. Bu verilerin ölçeklenebilir bir şekilde gerçekleştirilebilmesi için en önemli çözüm yolu dağıtık ve paralel hesaplama yöntemidir. MapReduce, büyük veri kümeleri üzerinde ve çok sayıda bilgisayarı birlikte kullanarak gerekli işlemleri dağıtık ve paralel olarak gerçekleştiren bir programlama modelidir. Öte yandan RDFS veri kümelerinin dosya boyutu ve karmaşıklığı giderek artmaktadır. Bu da RDFS çıkarsama işlemlerinde performans sıkıntılarına neden olmaktadır. Bunun çözümü için büyük veri çözümleri kullanılabilir. RDFS çıkarsama sonucu oluşan çıktılar başka bir çıkarsama işlemi için girdi olabilir böylece eldeki büyük veriler için çıkarsama yapılırken veriler giderek büyür. Bu çalışmada Hadoop üzerinde kullanılan paralel ve dağıtık çalıştırma teknolojileri MapReduce, Hive ve Pig kullanarak dağıtık RDFS çıkarsama işlemi gerçekleştirip, performanslarını gözlemleyeceğiz. Ayrıca doküman indeksleme yöntemi kullanarak performans artışı sağlamayı amaçlamaktayız. Bunun içinde MapReduce ve indeksleme yaklaşımları kullanılarak efektif ve dikkate değer bir şekilde çıkarsama işleminin gerçekleştirebileceği gösterilmektedir. Deneysel çalışmalar Dbpedia ve Freebase veri kümeleri üzerinde gerçekleştirilmiştir.
Özet (Çeviri)
We live in big data age in which many computational tasks either generate or need to use large datasets. This makes parallel and distributed computing a key for scalability. MapReduce is a programming model for processing large datasets in parallel and distributed fashion on cluster of computers. Today, since the size and complexity of RDFS documents increase rapidly, RDFS reasoning problem has to embrace and address the big data solutions. The output of RDFS reasoning job can be input to another job and the output of RDFS reasoning jobs grow big as the input documents gets bigger. In this study, MapReduce programming model, in particular Hadoop with related core technology like Hive and Pig, is used for improving the performance of distributed RDFS reasoning. Additionally, document indexing is used for further performance gain. The study shows that both of the MapReduce and indexing approaches are quite effective and offer significant performance improvements and scalable solutions. Experimental evaluations on two RDFS datasets, namely Dbpedia and Freebase, are provided.
Benzer Tezler
- Tıbbi görüntü veri setlerinde matlab ile büyük veri teknikleri uygulaması
Application of big data techniques for medical images datasets with matlab
EISSA FAISAL ALI AL-ZABIDI
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ URAZ YAVANOĞLU
- Social media data filtering and analysis using mapreduce programming model
Mapreduce programlama modelini kullanarak sosyal medya veri filtreleme ve analizi
ÜMİT DEMİRBAGA
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolNewcastle UniversityBilgisayar Bilimleri Ana Bilim Dalı
DR. RAJİV RANJAN
- Sentiment analysis and opinion mining from big social data using mapreduce and machine learning methods
Mapreduce ve makine öğrenmesi yöntemleri ile büyük sosyal veride duygu analizi ve fikir madenciliği
BANAN JAMIL AWRAHMAN AWRAHMAN
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
DOÇ. DR. BİLAL ALATAŞ
- HADOOP/MapReduce teknolojisi kullanılarak hızlı tüketim sektöründe büyük veri analizi
Big data analysis in fast mooving consumer sector by using HADOOP/MapReduce technology
SERDAR ÇETİNKAYA
Yüksek Lisans
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. FATİH KELEŞ
- HADOOP kullanarak meteoroloji verilerinden bir iklim değişimi eğilim analizi
A climate change trend analysis from meteorological data using HADOOP
MUSTAFA KAYA
Yüksek Lisans
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSüleyman Demirel ÜniversitesiElektronik ve Bilgisayar Sistemleri Eğitimi Ana Bilim Dalı
PROF. DR. TUNCAY AYDOĞAN