Adaptive system for dynamic handling of concept drift: Detection, modeling, and weighted ensemble predictions
Konsept kaymasıyla dinamik başa çıkmak için adaptif sistem: Tespit, modelleme ve ağırlıklı oylama ile tahmin
- Tez No: 916195
- Danışmanlar: PROF. DR. BANU GÜNEL KILIÇ
- Tez Türü: Yüksek Lisans
- Konular: Yönetim Bilişim Sistemleri, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Management Information Systems, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Veri Bilimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Makine öğrenimi modelleri, eğitim sürecinde kullanılan verilerin kalitesine ve miktarına bağımlıdır. Bu bağımlılık, veri toplama yöntemlerinde ve mevcut veri kaynaklarının optimizasyonunda sürekli gelişmeyi zorunlu kılmaktadır. Toplanan verileri etkin bir şekilde kullanmakta karşılaşılan önemli bir engel; zaman içinde verilerdeki temel örüntülerin evrimleşmesi olan, modelin performansını ve alakasını düşüren konsept kaymasıdır. Konsept kayması yaygın olarak varlığı kabul edilen bir fenomen olmasına karşın; onun niceliklendirilmesi ve çözümü için standartlaştırılmış bir yaklaşım henüz geliştirilememiştir. Araştırmamız, konsept kaymasını yalnızca tespit etmekle kalmayan, aynı zamanda dinamik olarak uyum sağlayan bir sistem geliştirilmesini içeren bütünsel bir yaklaşım önermektedir. Geliştirdiğimiz sistem, mevcut modeller tarafından anlaşılan konseptleri değerlendirir ve bu konseptleri yeni veri kümelerindeki konseptlerle karşılaştırır. Sistem bu karşılaştırmaya dayanarak; mevcut modellerin güncellenmesine veya yeni tanımlanan konseptlere uygun yeni modellerin geliştirilmesine karar verir. Bu yaklaşım, sürekli model iyileştirmesine olanak tanır ve veri kümesinin belirli sınıfları içindeki olası konsept kaymasını ele alır. Konsept kayması problemini çözmek için kapsamlı bir sistem kurmak amacıyla centroid farkları ve performansa dayalı değerlendirmeler de dahil olmak üzere çeşitli konsept kayması tespiti yöntemleri incelenmektedir. Konsept kayması tespiti yöntemlerini her konsept için farklı bir model eğitmek için eğitim sürecine uyarlıyoruz. Ayrıca, çalışmamız, belirli konseptlerde uzmanlaşmış modellerden oluşan model topluluğu için etkili tahmin stratejilerini araştırmaktadır. Araştırmamız, eğitim süreçlerinde sınıf dengesizliklerinin oluşması sorununu, sentetik veri üretim tekniklerini dahil ederek ele almaktadır. Kısaca; bu tez, dinamik bir düzlemde, konsept kaymasını tespit etme yöntemlerini geliştirmeyi ve konsept kayması olayına uyum sağlamayı amaçlamaktadır.
Özet (Çeviri)
Machine learning models depend on the quality and quantity of data used in the training process. This dependency necessitates continuous development in data collection methods and the optimization of existing data resources. A notable obstacle for using collected data effectively is concept drift, which is evolving the underlying patterns within data over time, causing a reduction in model performance and relevance. Although the phenomenon of concept drift is widely acknowledged, a standardized approach for its quantification and remedy remains elusive. Our research proposes a holistic approach to handle concept drift by developing a system that not only detects but also dynamically adapts to new data concepts. We introduce a system that examines the concepts understood by existing models and compare these with the concepts present in new datasets. Based on this comparison, the system decides whether to update existing models or to develop new models tailored to the newly identified concepts. This approach enables continuous model improvement and addresses the potential for concept drift within specific classes of a dataset. To establish a comprehensive system for resolving concept drift problem, our research studies various detection methods, including centroid differences and performance-based evaluations. We adapt these concept drift detection methods to the training process by developing different machine learning models for each concept. Also, our study explores various prediction strategies for effectively using ensemble models that consist of models specialized in specific concepts. Additionally, our research addresses the potential occurrence of class imbalances during the training processes by incorporating synthetic data generation techniques. In summary, this thesis aims to refine methods to detect concept drift and develop adaptive solutions for the concept drift problem in dynamic settings.
Benzer Tezler
- Nöromorfik hesaplama ve memristor tabanlı ağ saldırı tespit sistemleri: Siber güvenlikte yeni yaklaşımlar
Neuromorphic computing and memristor-based network attack detection systems: New approaches in cyber security
YUSUF ETKA KÖYLÜ
Yüksek Lisans
Türkçe
2025
İstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Devre bağlaşmalı telefon şebekesi için yönlendirme yazılımı tasarımı
Software design of routing for circuit switched telephone network
TAHİR GÜN
- A model based flight control system design approach for micro aerial vehicles using integrated flight testing and hil simulations
Küçük boyutlu insansız hava araçları üzerinde sistem tanılama, uçuş kontrol sistem tasarımı ve donanım ile benzetim uygulamaları
BURAK YÜKSEK
- Etmen tabanlı bir anlamsal süreç çalışma ortamının geliştirilmesi
Development of an agent-based semantic business process management framework
HÜSEYİN KIR
- Routing and network mobility management in next generation satellite networks
Gelecek nesil uydu ağlarında yol atama ve ağ hareketliliğinin yönetimi
ÖMER KORÇAK
