Geri Dön

Hybrid job scheduling for improved shared cluster utilization

İyileştirilmiş paylaşımlı küme kullanımı için melez iş çizelgelemesi

  1. Tez No: 371119
  2. Yazar: UĞUR KOÇAK
  3. Danışmanlar: YRD. DOÇ. DR. İSMAİL ARI
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2014
  8. Dil: İngilizce
  9. Üniversite: Özyeğin Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 40

Özet

Bu tezde, bilgisayar küme yapıları üzerinde hibrid iş yüklerinin birlikte işlenmesiyle ilgili modeller, sorunlar ve performans kazanımları incelenmektedir. Desteklenen kümeleme teknolojileri arasında MPI, Hadoop-MapReduce ve NoSQL sistemleri bulunmaktadır. Önerilen programlayıcı modeli işletim sistemi seviyesindeki arakatman yazılımların üzerinde ve onları destekleyici niteliktedir. Tezde ilk olarak, MPI,Hadoop ve NoSQL işlerini bir arada programlayabildiğimizi göstermekteyiz.İkinci olarak, farklı özelliklere sahip (CPU vs. Girdi/Çıktı yoğunluklu) işlerin, aynı özelliklere sahip işlere göre (2 adet veya daha fazla CPU yoğunluklu) beraber daha iyi programlanabildiği bulgusu paylaşılmaktadır. Son olarak, bu bulgunun ışığında yeni bir greedy sort-merge programlayıcısı tasarımı anlatılmaktadır. İş tamamlama sürelerinde %37 zamansal kazanım gösterilmektedir, ancak %50 kazanımlar da (2x hızlanma) teorik olarak mümkündür. Bu zamansal kazanımlar kuyrukta yeterince yük olduğu takdirde kümenin kullanım kapasitesini de arttırıcı nitelikte olacaktır. Tezin sonunda, hibrid iş programlama ile sağlanabilecek potansiyel güç-enerji kazanımları da tartışılmaktadır.

Özet (Çeviri)

In this thesis, We investigate the models and issues as well as performance benefits of hybrid job scheduling over shared physical clusters. Clustering technologies that are compared include MPI, Hadoop-MapReduce and NoSQL systems. Our proposed scheduling model is above the operating system and cluster-middleware level job schedulers and operating system level schedulers and it is complementary to them. First, we demonstrate that we can schedule MPI, Hadoop and NoSQL cluster-level jobs together in a controlled-fashion over the same physical cluster. Second, we find that it is better to schedule cluster jobs with different job characteristics together (CPU vs. I/O intensive) rather than two or more CPU intensive jobs. Third, we describe the design of a greedy sort-merge scheduler that uses the learning outcome of this principle. Up to 37% savings in total job completion times are demonstrated for I/O and CPU-intensive pairs of jobs, but up to 50% savings (or 2x speedup) is theoretically possible. These savings would also be proportional to the cluster utilization improvements, if there are jobs waiting in the queue. At the end of the thesis, we also discuss potential power-energy savings from hybrid job scheduling.

Benzer Tezler

  1. Tam zamanında üretim sistemi ve imalat kaynak planlaması (MRP II) sistemi ile ilişkileri

    Just-in-time productıon system and its relatıons with MRP II (Material Resource Plannıng)

    BAYBARS ELİÇİN

    Yüksek Lisans

    Türkçe

    Türkçe

    1993

    Endüstri ve Endüstri Mühendisliğiİstanbul Teknik Üniversitesi

    DOÇ.DR. MEHMET TANYAŞ

  2. Entegre proses planlama, çizelgeleme, teslim tarihi belirleme ve teslimat

    Integrated process planning, scheduling, due date assignment and delivery

    ONUR CANPOLAT

    Doktora

    Türkçe

    Türkçe

    2023

    Endüstri ve Endüstri MühendisliğiSakarya Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ HALİL İBRAHİM DEMİR

  3. Methods for hybrid flow shop scheduling and a case study in an aerospace company

    Melez akış tipi atölye çizelgelemesi için yöntemler ve bir havacılık firmasında vaka analizi

    YİĞİTALP ÖZMEN

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Endüstri ve Endüstri MühendisliğiOrta Doğu Teknik Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    DOÇ. DR. FATMA SEDEF MERAL

  4. Süreç planlama ve çizelgeleme entegrasyonu için yapay sinir ağları ve genetik algoritmayı birleştiren hibrit bir yaklaşım

    A hybrid approach combining fuzzy neural networks and genetic algorithm to integrate process planning and scheduling for mass customization

    ALPER ŞEKER

    Doktora

    Türkçe

    Türkçe

    2013

    Endüstri ve Endüstri MühendisliğiGazi Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    PROF. DR. SERPİL EROL

  5. A hybrid evolutionary algorithm for multi-objective flexible job shop problems

    Çok amaçlı esnek atölye tipi çizelgeleme problemlerine yönelik hibrit evrimsel bir algoritma

    ALPER TÜRKYILMAZ

    Doktora

    İngilizce

    İngilizce

    2023

    Endüstri ve Endüstri MühendisliğiMarmara Üniversitesi

    Mühendislik Yönetimi Ana Bilim Dalı

    PROF. DR. SEROL BULKAN

    DOÇ. DR. ÖZLEM ŞENVAR