Hadoop tabanlı büyük ölçekli görüntü işleme altyapısı
Hadoop based large scale image processing infrastructure
- Tez No: 315729
- Danışmanlar: YRD. DOÇ. DR. AHMET SAYAR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2012
- Dil: Türkçe
- Üniversite: Kocaeli Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 87
Özet
Hadoop Dağıtık Dosya Sistemi (Hadoop Distributed File System (HDFS)) büyük boyutlu veriyi saklama ve işlemede yaygın olarak kullanılmaktadır. HDFS paralel işleme için MapReduce programlama modelini kullanır.Bu tez ile sunulan çalışma kapsamında MapReduce modeli ile görüntü dosyalarının işlenebilmesi için yeni bir Hadoop eklentisi (plugin) geliştirilmiştir. Eklenti, görüntü ile ilgili girdi ve çıktı dosya formatları ve girdi dosyalarından kayıtları oluşturan yeni sınıfları içerir. HDFS özellikle az sayıda büyük boyutlu dosyalarla çalışması için tasarlanmıştır. Dolayısıyla, önerilen teknik, HDFS'de büyük miktarda küçük boyutlu görüntü dosyası kullanımından kaynaklanan performans kayıplarını önlemek için, imgelerin birleştirilerek büyük boyutlu dosyalara dönüştürülmesini temel almıştır. Böylelikle, her bir işleyici çok sayıda imgeyi tek çalışma döngüsünde işleyebilir hale gelir.Önerilen tekniğin etkinliği dağıtık görüntü dosyaları üzerinde yüz saptama (face detection) uygulama senaryosu ile kanıtlanmıştır. Başarısı kanıtlanmış olan bu teknikler araştırmacılar ve uygulama geliştiriciler için bu konuda referans olma niteliği taşımaktadır.
Özet (Çeviri)
Hadoop Distributed File System (HDFS) is widely used in large-scale data storage and processing. HDFS uses MapReduce programming model for parallel processing.A novel Hadoop plugin to process image files with MapReduce model is developed in the work presented in this thesis. The plugin introduces image related I/O formats and novel classes for creating records from input files. HDFS is especially designed to work with small number of large size files. Therefore, the proposed technique is based on merging multiple small size files into one large file to prevent the performance loss stemming from working with large number of small size files. In that way, each task becomes capable of processing multiple images in a single run cycle.The effectiveness of the proposed technique is proven by an application scenario for face detection on distributed image files. This successfull technique and developed plugin may become a reference for researchers and developers in this field.
Benzer Tezler
- Real-time performance diagnosis and evaluation of big data systems in cloud datacenters
Bulut veri merkezlerinde büyük veri sistemlerinin gerçek zamanlı performans teşhisi ve değerlendirilmesi
ÜMİT DEMİRBAGA
Doktora
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolNewcastle UniversityBilgisayar Bilimleri Ana Bilim Dalı
PROF. DR. RAJIV RANJAN
- Improving the performance of Hadoop/Hive by sharing scan and computation tasks
Tarama ve hesaplama işlerinin paylaştırılmasıyla Hadoop/Hive üzerinde performans iyileştirimi
SERKAN ÖZAL
Yüksek Lisans
İngilizce
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET COŞAR
- Gezgin satıcı probleminin hadoop üzerinde çalışan paralel genetik algoritma ile çözümü
Parallel genetic algorithm to solve traveling salesman problem on hadoop cluster
HARUN RAŞİT ER
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. NADİA ERDOĞAN
- Die implementierung der hive-architektur in big data in einem virtuellen unternehmen
Büyük veride hive mimarisinin sanal bir firma üzerine uygulanması
MEHMET IŞIK
Yüksek Lisans
Almanca
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara ÜniversitesiEnformatik Ana Bilim Dalı
DOÇ. DR. DENİZ HERAND
- Büyük dikgen görüntülerin örülmesi işleminin eşle/indirge tabanlı büyük veri mimarilerine uyarlanması
Adaptation of ortogonal image stitching to big data frameworks
HAYRUNNİSA SARI
Yüksek Lisans
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKocaeli ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET SAYAR