Bulut tabanlı genel amaçlı ölçeklenebilir bir veri madenciliği sistemi
Cloud-based general-purpose scalable data mining system
- Tez No: 1015900
- Danışmanlar: PROF. DR. SERDAR İPLİKÇİ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Pamukkale Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Veri madenciliği alanında yaygın olarak kullanılan Weka, KNIME gibi geleneksel araçlar, çoğunlukla masaüstü odaklıdır ve çalışmak için yüksek donanım gücüne ihtiyaç duyar. Bu durum, araştırmacıların büyük veri setlerini analiz ederken kişisel bilgisayarlarının kilitlenmesine veya yetersiz kalmasına neden olmaktadır. Bu tez çalışmasında, donanım darboğazını aşan ve platform bağımsız çalışabilen, bulut tabanlı, ölçeklenebilir bir veri madenciliği sistemi tasarlanmış ve prototipi geliştirilmiştir. Sistemin mimarisinde, modern web teknolojilerinin sunduğu esneklikten faydalanılarak olay güdümlü (event-driven) bir mikroservis yapısı kurulmuştur. Sunucu tarafında NestJS çatısı kullanılırken, asenkron iş kuyrukları için Redis ve RabbitMQ tercih edilmiştir. Bu sayede, tarayıcı tabanlı sistemlerdeki en büyük sorun olan büyük dosya yükleme problemi çözülmüş; 1TB boyutuna varan veri setleri“parçalı yükleme”(chunked upload) yöntemiyle Google Drive entegrasyonu üzerinden sisteme aktarılabilmiştir. Analiz işlemleri, ana sunucuyu meşgul etmemek adına Docker konteynerleri üzerinde çalışan izole Python sunucularına aktarılır. Böylece dağıtık bir sistem ile analiz yükü dengelenir. Sistemde Apriori, Eclat, FP-Growth ve H-Mine algoritmaları aktif olarak çalışmakta olup, kullanıcılar web arayüzü üzerinden parametreleri (Destek, Güven vb.) dinamik olarak değiştirebilmektedir. Yapılan testlerde, 1 milyon satırı aşan işlem verilerinin, kullanıcı tarayıcısında herhangi bir yavaşlama yaratmadan işlendiği ve sonuçların WebSocket üzerinden anlık olarak görselleştirildiği görülmüştür. Geliştirilen bu sistem, karmaşık kurulum süreçlerini ortadan kaldırarak, büyük veri madenciliğini sadece bir web tarayıcısı üzerinden erişilebilir hale getirmektedir.
Özet (Çeviri)
Traditional data mining tools widely used in the field, such as Weka and KNIME, are predominantly desktop-oriented and require significant hardware resources to operate effectively. This situation often causes researchers' personal computers to crash or prove insufficient when attempting to analyze large datasets. In this thesis, a cloud-based, scalable data mining system that overcomes hardware bottlenecks and operates platform-independently has been designed and prototyped. Leveraging the flexibility offered by modern web technologies, an event-driven microservice architecture was established within the system. The NestJS framework was utilized on the server side, while Redis and RabbitMQ were preferred for asynchronous job queues. Through this architecture, the challenge of large file uploads in browser-based systems was resolved; datasets up to 1TB were successfully transferred to the system via Google Drive integration using a“chunked upload”strategy. Analysis operations are offloaded to isolated Python servers running on Docker containers to prevent blocking the main server, thereby balancing the analysis load through a distributed system. The Apriori, Eclat, FP-Growth, and H-Mine algorithms are actively integrated into the system, allowing users to dynamically adjust parameters (e.g., Support, Confidence) via the web interface. Experimental tests demonstrated that transaction data exceeding 1 million rows were processed without causing any performance degradation in the user's browser, with results visualized continuously in real-time via WebSockets. The developed system eliminates complex installation processes, making big data mining accessible solely through a web browser.
Benzer Tezler
- Bulut bilişim hizmetlerini kullanarak nesnelerin interneti tabanlı bir uygulamanın geliştirilmesi
Developing an application based on the internet of things using cloud computing services
KARRAR FADHIL MOHAMMED ALSABAK
Yüksek Lisans
Türkçe
2020
Bilim ve TeknolojiKastamonu ÜniversitesiMalzeme Bilimi ve Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YASEMİN GÜLTEPE
- A cloud based architecture for distributed real time processing of continuous queries
Dağıtık gerçek zamanlı sürekli sorguları işlemek için bulut tabanlı bir mimari
MERT ONURALP GÖKALP
Yüksek Lisans
İngilizce
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilişim Sistemleri Ana Bilim Dalı
DOÇ. DR. ALTAN KOÇYİĞİT
- Data traffic management in IoT applications using complex event processing
Kompleks olay işleme kullanarak IoT uygulamalarında veri trafiği yönetimi
KEMAL ÇAĞRI SERDAROĞLU
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYeditepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ŞEBNEM BAYDERE
- Smart card and biometric based general purpose access control system design
Akıllı kart ve biyometrik tabanlı genel amaçlı erişim kontrolü sistemi tasarımı
SERCAN AYGÜN
Yüksek Lisans
İngilizce
2015
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ECE OLCAY GÜNEŞ
- Design and implementation of a microcontroller based radio modem
Mikrodenetleyici tabanlı bir radyo modemin tasarımı ve yaılması
CEM MUŞABAK
Yüksek Lisans
İngilizce
1997
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. M. METE BULUT