Hybrid job scheduling for improved shared cluster utilization
İyileştirilmiş paylaşımlı küme kullanımı için melez iş çizelgelemesi
- Tez No: 371119
- Danışmanlar: YRD. DOÇ. DR. İSMAİL ARI
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2014
- Dil: İngilizce
- Üniversite: Özyeğin Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tezde, bilgisayar küme yapıları üzerinde hibrid iş yüklerinin birlikte işlenmesiyle ilgili modeller, sorunlar ve performans kazanımları incelenmektedir. Desteklenen kümeleme teknolojileri arasında MPI, Hadoop-MapReduce ve NoSQL sistemleri bulunmaktadır. Önerilen programlayıcı modeli işletim sistemi seviyesindeki arakatman yazılımların üzerinde ve onları destekleyici niteliktedir. Tezde ilk olarak, MPI,Hadoop ve NoSQL işlerini bir arada programlayabildiğimizi göstermekteyiz.İkinci olarak, farklı özelliklere sahip (CPU vs. Girdi/Çıktı yoğunluklu) işlerin, aynı özelliklere sahip işlere göre (2 adet veya daha fazla CPU yoğunluklu) beraber daha iyi programlanabildiği bulgusu paylaşılmaktadır. Son olarak, bu bulgunun ışığında yeni bir greedy sort-merge programlayıcısı tasarımı anlatılmaktadır. İş tamamlama sürelerinde %37 zamansal kazanım gösterilmektedir, ancak %50 kazanımlar da (2x hızlanma) teorik olarak mümkündür. Bu zamansal kazanımlar kuyrukta yeterince yük olduğu takdirde kümenin kullanım kapasitesini de arttırıcı nitelikte olacaktır. Tezin sonunda, hibrid iş programlama ile sağlanabilecek potansiyel güç-enerji kazanımları da tartışılmaktadır.
Özet (Çeviri)
In this thesis, We investigate the models and issues as well as performance benefits of hybrid job scheduling over shared physical clusters. Clustering technologies that are compared include MPI, Hadoop-MapReduce and NoSQL systems. Our proposed scheduling model is above the operating system and cluster-middleware level job schedulers and operating system level schedulers and it is complementary to them. First, we demonstrate that we can schedule MPI, Hadoop and NoSQL cluster-level jobs together in a controlled-fashion over the same physical cluster. Second, we find that it is better to schedule cluster jobs with different job characteristics together (CPU vs. I/O intensive) rather than two or more CPU intensive jobs. Third, we describe the design of a greedy sort-merge scheduler that uses the learning outcome of this principle. Up to 37% savings in total job completion times are demonstrated for I/O and CPU-intensive pairs of jobs, but up to 50% savings (or 2x speedup) is theoretically possible. These savings would also be proportional to the cluster utilization improvements, if there are jobs waiting in the queue. At the end of the thesis, we also discuss potential power-energy savings from hybrid job scheduling.
Benzer Tezler
- Tam zamanında üretim sistemi ve imalat kaynak planlaması (MRP II) sistemi ile ilişkileri
Just-in-time productıon system and its relatıons with MRP II (Material Resource Plannıng)
BAYBARS ELİÇİN
Yüksek Lisans
Türkçe
1993
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiDOÇ.DR. MEHMET TANYAŞ
- Dağıtılmış permütasyon akış tipi atölye çizelgeleme problemleri
Distributed permutation flowshop scheduling problems
MÜNEVVER GÜNAY VAN
Doktora
Türkçe
2025
İstatistikVan Yüzüncü Yıl Üniversitesiİstatistik Ana Bilim Dalı
DOÇ. DR. ALPER HAMZADAYI
- Entegre proses planlama, çizelgeleme, teslim tarihi belirleme ve teslimat
Integrated process planning, scheduling, due date assignment and delivery
ONUR CANPOLAT
Doktora
Türkçe
2023
Endüstri ve Endüstri MühendisliğiSakarya ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HALİL İBRAHİM DEMİR
- A hybrid evolutionary algorithm for multi-objective flexible job shop problems
Çok amaçlı esnek atölye tipi çizelgeleme problemlerine yönelik hibrit evrimsel bir algoritma
ALPER TÜRKYILMAZ
Doktora
İngilizce
2023
Endüstri ve Endüstri MühendisliğiMarmara ÜniversitesiMühendislik Yönetimi Ana Bilim Dalı
PROF. DR. SEROL BULKAN
DOÇ. DR. ÖZLEM ŞENVAR
- Esnek atölye tipi çizelgeleme problemi için bir hibrid genetik algoritma yaklaşımı
A hybrid problem perturbation and genetic algorithm for the flexible job-shop scheduling problem
BİLAL METO
Yüksek Lisans
Türkçe
2013
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTobb Ekonomi ve Teknoloji ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. KADİR ERTOĞRAL
DOÇ. DR. ERDOĞAN DOĞDU