Query optimization on partitioned and replicated data
Bölümlenmiş ve çoğaltılmış veri üzerinde sorgu eniyilemesi
- Tez No: 1022126
- Danışmanlar: PROF. DR. BELGİN ERGENÇ BOSTANOĞLU
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Dağıtık veri tabanı sistemleri, Distributed database systems
- Yıl: 2026
- Dil: İngilizce
- Üniversite: İzmir Yüksek Teknoloji Enstitüsü
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Dağıtık birleştirme (join) optimizasyonu, büyük ölçekli analitik veri işleme sistemlerinin kritik bileşenlerinden biridir. Son yıllarda önerilen yaklaşımlar, uyarlanabilir ve iş yükü farkındalığına sahip maliyet modelleri aracılığıyla join yöntemi seçimini iyileştirmiş olsa da, özellikle paralellik derecesi ve veri çoğaltma seviyesi gibi temel yürütme parametreleri genellikle optimizasyon değişkenleri yerine statik olarak sistem yapılandırmaları olarak ele alınmaktadır. Bu durum, optimize edicinin farklı iş yükü özelliklerine ve küme koşullarına uyum sağlayabilme yeteneğini sınırlamaktadır. Bu tezde, dağıtık join seçimi sürecine hem paralellik düzeyini hem de çoğaltma faktörünü dâhil eden yeni bir maliyet tabanlı optimizasyon çerçevesi olan Dynamic Parallelization Based Join Query Optimization (DPJoin) önerilmektedir. Hesaplama maliyeti, iletişim yükü, koordinasyon etkileri ve veri yerelliği arasındaki etkileşimi modelleyerek, DPJoin yürütme yapılandırmasını sabit bir varsayım olarak ele almak yerine plan arama uzayının bir parçası olarak değerlendirmektedir. Önerilen çerçeve, genişletilebilir bir dağıtık sorgu planlayıcı altyapısına entegre edilmiş ve çalışma zamanı istatistiklerini kullanarak uygun join stratejileri ile paralellik seviyelerini dinamik olarak belirleyecek şekilde tasarlanmıştır. Transaction Processing Council Decision Support Benchmark (TPC-DS) ölçütü kullanılarak gerçekleştirilen kapsamlı deneysel değerlendirmeler, DPJoin yaklaşımının farklı veri ölçekleri ve çoğaltma yapılandırmaları altında geleneksel shuffle tabanlı join stratejileri ve yakın dönem uyarlanabilir yaklaşımlara kıyasla sorgu yürütme performansında dikkate değer iyileşmeler sağlayabildiğini göstermektedir. Genel olarak bu çalışma, join seçimini yürütme stratejisi ile dinamik paralellik modellemesini birlikte ele alan bir optimizasyon problemi olarak yeniden tanımlayarak dağıtık maliyet tabanlı optimizasyon alanına katkı sağlamaktadır.
Özet (Çeviri)
Distributed join optimization is a critical component of large-scale analytical data processing systems. Although recent approaches improve join method selection through adaptive and workload-aware cost models, key execution parameters, particularly the degree of parallelism and the data replication level, are generally treated as static system configurations rather than optimization variables. This limitation restricts the optimizer's ability to adapt execution strategies to varying workload characteristics and cluster conditions. This thesis proposes Dynamic Parallelization Based Join Query Optimization (DPJoin), a novel cost-based optimization framework that incorporates both parallelism and replication factors into the distributed join selection process. By modeling the interaction among computation cost, communication overhead, coordination effects, and data locality, DPJoin treats execution configuration as part of the plan search space rather than as a fixed assumption. The proposed framework is integrated into an extensible distributed query planner framework and utilizes runtime statistics to dynamically determine suitable join strategies and parallelism levels. Extensive experimental evaluations conducted using the Transaction Processing Council Decision Support Benchmark (TPC-DS) indicate that DPJoin can achieve noticeable improvements in query execution performance compared with traditional shuffle-based join strategies and recent adaptive approaches under varying data scales and replication configurations. Overall, this study advances distributed cost-based optimization by redefining join selection as a joint optimization problem that integrates execution strategy with dynamic parallelism in distributed environments.
Benzer Tezler
- Partial query evaluation for vertically partitioned signature files in very large unformatten databases
Çok büyük kalıpsız veri tabanlarında dikey dilimlenmiş imza kütükleri ile kısmi sorgu hesabı
SEYİT KOÇBERBER
Doktora
İngilizce
1996
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiDOÇ.DR. FAZLI CAN
- Novel merging based height-balanced histogram computation for big data
Büyük veriler için yeni birleştirme tabanlı yükseklik dengelenmiş histogram oluşturma
TOLGA BÜYÜKTANIR
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldırım Beyazıt ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. AHMET ERCAN TOPCU
- Domain adaptive visual inertial global localization in GNSS-denied environments
GNSS olmayan ortamlarda görüntü uyarlamalı görsel-ataletsal küresel konum belirleme
ABDÜLBAKİ ŞANLAN
Yüksek Lisans
İngilizce
2025
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DOÇ. DR. EMRE KOYUNCU
- Dynamic query optimization on a distributed object management platform
Dağıtık bir nesne yönetim platformunda dinamik sorgulama en iyileştirmesi
FATMA ÖZCAN
Yüksek Lisans
İngilizce
1996
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ASUMAN DOĞAÇ
- Optimization methods for large-scale distributed query processing on linked data
Büyük ölçekli dağıtık bağlı veri üzerinde sorgu işleme için eniyileme yöntemleri
DAMLA OĞUZ
Doktora
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. BELGİN ERGENÇ BOSTANOĞLU
PROF. DR. ABDELKADER HAMEURLAIN