Fine tuning of global models: Localization of anomaly detection for video surveillance and user-adaptation for BCI spellers
Küresel modellerin ince ayarı: Video gözetimi için anomali tespiti yerelleştirmesi ve BCI yazımcıları için kullanıcı uyarlaması
- Tez No: 928744
- Danışmanlar: DR. ÖĞR. ÜYESİ HÜSEYİN ÖZKAN
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 171
Özet
İnce Ayar, bir kaynak alandaki bilgiyi daha küçük ve sınırlı bir hedef alandaki perfor- mansı artırmak için kullanan bir tekniktir. Her bir alan için ayrı yerel modeller eğit- mek veya tüm mevcut verileri kullanarak tek bir küresel model oluşturmak gibi basit yaklaşımlar genellikle sınırlamalara sahiptir. Yerel modeller, sınırlı veri nedeniyle yüksek varyansa yatkınken, küresel modeller, alanlara özgü ayrıntıları yakalamakta başarısız olduklarından yüksek yanlılık sergileyebilirler. Bu tez, özellikle video ta- banlı anomali tespiti ve beyin-bilgisayar arayüzü (BCI) yazıcıları için görsel olarak uyarılmış EEG sinyallerine odaklanarak, küresel bir modeli hedef alanlara dikkatlice ince ayar yaparak yanlılık-varyans dengesini sağlamayı amaçlamaktadır. Bu tezde tanıtılan ana fikir, tüm mevcut veriler üzerinde eğitilmiş düşük varyanslı bir küresel modelle başlayıp, daha sonra daha fazla yerel veri kullanılabilir hale geldikçe, alanlara özgü ayrıntıları yakalamak için, modeli kademeli olarak ince ayar yaparak küresel uzmanlıktan yerel uzmanlığa geçirmektir. Ayrıca tez, hiyerarşik ve hiyerarşik olmayan olmak üzere iki farklı alan yapısını inceler. Hiyerarşik alanlar, doğal ilişkiler veya benzerlikler sergileyerek, ince ayar sırasında ilişkili verileri etkili bir şekilde tanımlamak ve kullanmak için yapılandırılmış yöntemlere olanak tanır. Buna karşılık, hiyerarşik olmayan alanlar doğal yapılar içermez ve alanlar arası farklılıkları yönetmek ve ince ayar için ilgili verileri seçmek için alternatif stratejiler gerektirir. Bu stratejiler, her alan yapısının getirdiği benzersiz zorlukları ele alarak performansı en uyguna getirmeyi amaçlar. Hiyerarşik ilişkileri kullanmak için bu tez, benzer alanları gruplamak ve model- lerin daha etkili bir şekilde ince ayarını yapmak için bağlam ağacı bölme yöntem- ini kullanır. Yeni veriler geldikçe, yerel modellere geçiş, hem anomali etiketlerini hem de bunların karşılık gelen mekansal konumlarını geliştirerek anomali tespitinin yerelleştirilmesini sağlar. Bu yaklaşımı anomali tespitine uygulayarak Street Scene ve Shanghai veri kümelerinde iyileştirilmiş performans gözlemledik. Bağlam ağacı bölme yöntemiyle Alan Altında Kalan Eğri (AUC) skoru 0.87'ye ulaşırken, tüm veri kümesi kullanıldığında bu değer 0.56 ve yalnızca en küçük bölümler kullanıldığında 0.80 olarak kaydedilmiştir. Hiyerarşik olmayan veriler için, örneğin EEG sinyallerinde olduğu gibi, bir hiyerarşi oluşturmak mümkün olmadığında, kullanıcı uyarlaması, ince ayar sürecine rehber- lik etmek için doğrudan benzerlik ölçütleri kullanılarak gerçekleştirilir. SSVEP BCI yazıcısının performansını, her yeni kullanıcı için kalibrasyon gerektirmeden bir DNN modelini uyarlayarak artırıyoruz. Önceki kullanıcıların etiketli verileri üzerinde eği- tilmiş bir küresel modelle başlayarak, uyarlama süreci, yeni kullanıcıdan elde edilen verilerden oluşturulan sözde etiketleri kullanarak denetimsiz ince ayar uygular. Bu yinelemeli yaklaşım, özellikle kısa sinyallerde, iki halka açık büyük veri kümesinde (BENCH ve BETA) karakter tanımlama doğruluğunu önemli ölçüde artırır. BENCH veri kümesinde, küresel modelin başlangıç doğruluğu, 0.2 ila 1 saniyelik sinyal uzunlukları için %21.75'ten %71.32'ye kadar değişmiştir. İlk uyarlamadan sonra doğruluk %28.28–88.34'e yükselmiş ve sonraki yinelemelerde %29.85–91.55'e ulaşmıştır. Benzer şekilde, BETA veri kümesinde başlangıç doğruluğu %19.44 ile %51.28 arasında değişirken, ilk uyarlamada %20.66–66.90'a, son uyarlamada ise %19.50–75.53'e yükselmiştir. Bu sonuçlar, sözde etiketleri iyileştirmek ve model per- formansını optimize etmek için silüet skorları, normalleştirilmiş mesafeler ve yerel düzenlilik kaybının kullanımının etkinliğini vurgulamaktadır. Özellikle yeni kul- lanıcı uyarlama senaryolarında kısa sinyaller için etkili bir kişiselleştirilmiş perfor- mans sağlanmaktadır.
Özet (Çeviri)
Fine-tuning is a technique that leverages knowledge from a source domain to enhance performance in a smaller, more limited target domain. Simple approaches, such as training separate local models for each domain or creating a single global model using all available data, often suffer from inherent limitations. Local models are prone to high variance due to limited data, while global models may exhibit high bias, failing to capture domain-specific nuances. This thesis aims to strike a balance in the bias- variance trade-off by carefully fine-tuning a global model to target domains, with a particular focus on applications in video-based anomaly detection and visually evoked EEG signals for brain-computer interface (BCI) spellers. The central idea introduced in this thesis is the transition from global to local expertise, starting with a low-variance global model trained on all available data and progressively fine-tuning it to capture domain-specific nuances as local data becomes available. Furthermore, the thesis examines two distinct types of domain structures: hierarchical and non-hierarchical. Hierarchical domains exhibit natural relationships or similarities, allowing structured methods to identify and leverage related data effectively during fine-tuning. In contrast, non-hierarchical domains lack inherent structures, necessitating alternative strategies to manage inter-domain differences and select relevant data for fine-tuning. These strategies aim to optimize performance by addressing the unique challenges posed by each domain structure. To exploit hierarchical relationships, this thesis employs context tree partitioning to group similar domains, enabling more effective fine-tuning of models. As new data arrives, the transition to local models enhances the localization of anomaly detec- tion by refining both the anomaly labels and their corresponding spatial locations. Applying this approach to anomaly detection, we observe improved performance on the Street Scene and Shanghai datasets, achieving an Area Under Curve (AUC) of 0.87 with the context tree partitioning method compared to 0.56 when using the en- tire dataset and 0.80 when using only the smallest partitions. For non-hierarchical data, such as those involving EEG signals, where constructing a hierarchy is not feasible,user adaptation is achieved through direct similarity measures to guide the fine-tuning process. We enhance SSVEP BCI speller performance by adapting a DNN model for each new user without calibration. Starting with a global model trained on labeled data from previous users, the adaptation process leverages un- supervised fine-tuning using pseudolabels generated from the new user's data. This iterative approach significantly improves the character identification accuracy on two publicly available large datasets (BENCH and BETA), particularly at short signal lengths. On the BENCH dataset, initial global model accuracy ranged from 21.75% to 71.32% for signal lengths of 0.2 to 1 second, improving after the first adaptation to 28.28%–88.34% and further to 29.85%–91.55% in subsequent iterations. Similarly, on the BETA dataset, initial accuracy ranged from 19.44% to 51.28%, increasing to 20.66%–66.90% and reaching 19.50%–75.53% after final adaptation. These results highlight the effectiveness of leveraging silhouette scores, normalized distances, and local regularity loss to refine pseudolabels and optimize model performance, partic- ularly for short signals in new user adaptation scenarios.
Benzer Tezler
- Assessing the generalization ability of a global model for rapid building damage assessment in real-world disaster scenarios
Hızlı bina hasarı değerlendirmesine yönelik küresel bir modelin genelleştirme yeteneğinin gerçek dünya afet senaryolarında değerlendirilmesi
EREN BERK EDİNÇ
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ULUĞ BAYAZIT
- Derin ötektik çözücüler ile fındık küspesinden protein ekstraksiyonu ve fındık proteinlerinin karakterizasyonu
Protein extraction from hazelnut meal and characterization of hazelnut protein
ESRA KİBAR BALBALLI
Yüksek Lisans
Türkçe
2025
Gıda MühendisliğiSakarya ÜniversitesiGıda Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÜLŞAH KARABULUT
- Antenna design for 4G mobile phones
4G cep telefonları için anten tasarımı
SERDAR OKUYUCU
Yüksek Lisans
İngilizce
2018
Elektrik ve Elektronik MühendisliğiYaşar ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUSTAFA SEÇMEN
- Covıd-19 pandemisi sürecinde Bitcoin, altın ve S&P500 reaksiyonları
Bitcoin, gold and S&P500 reactions during the Covid-19 pandemic
MAHMUT YAVUZ BAHÇECİ
- Deprem sonrasında binaların hasar tespitinde kullanılan yapay öğrenme algoritmalarının analizi
Analysis of machine learning algorithms used in post-earthquake building damage assessment
SERHAT MÜRSEL KÖROĞLU
Yüksek Lisans
Türkçe
2025
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
DOÇ. DR. CANER GÜNEY