Bridging time-series sensors and frozen language models
Zaman serisi sensörleri ile dondurulmuş dil modelleri arasında köprü
- Tez No: 984120
- Danışmanlar: DR. ÖĞR. ÜYESİ OSMAN SERDAR GEDİK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Ankara Yıldırım Beyazıt Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
RoadSense-LM, kodlayıcı ve dil modelini donmuş tutarak ham zaman serisi sensörleri üzerinde doğal dilde akıl yürüten ilk sistemdir. 90 milyon parametreli Omega dönüştürücüsü, 256 örneklik z ekseni magnetometre penceresini 768 boyutlu bir vektöre dönüştürür. 3,3 Milyon parametreli bir eşleyici (mapper) bu vektörü, 7 Milyar parametreli donmuş Llama-2-Chat'in anladığı 32 sürekli tokene yansıtır. Yalnızca eşleyiciyi eğitmek tek bir H100 GPU'da 20 dakika sürer ve toplam parametrelere yüzde 0,05'ten az ek yük getirir. Toprak, arnavut kaldırımı ve asfalt yüzeylerini içeren PVS2 veri setinde RoadSense-LM, pencere bazında yüzde 88 doğruluk elde eder; bu, Omega tarafından üretilen vektörlere uygulanan lojistik sınıflandırıcıya göre 3 puan daha yüksektir. Serbest biçimli yanıtlar dört istem tipinde de doğrudur ve konu dışı dünya bilgisini korur. Çıkarmalı çalışmalar, 32 mapper token'ının kararlı performans için gerekli olduğunu ve küresel z-skor normalizasyonunun pencere bazlı ölçeklendirmeyi 7,7 puan geçtiğini gösterir. t-SNE görselleri, eşleyicinin Omega uzayını daha sıkı ve anlamca hizalı bir forma dönüştürdüğünü ortaya koyar. Modüler yapı hızlı aktarımı mümkün kılar: herhangi bir donmuş kodlayıcı eklenip iki projeksiyon katmanı yeniden başlatılarak eşleyici yalnızca birkaç bin data ile ince-ayarlanabilir. RoadSense-LM, sürekli sensör verilerinden sohbet edebilen yapay zekâya parametre-verimli bir köprü sunar.
Özet (Çeviri)
RoadSense-LM is the first system that performs natural-language reasoning directly on raw time-series sensors while keeping both the encoder and the language model frozen. A 90 million parameter Omega transformer converts a 256-sample z-axis magnetometer window into a 768 dimensional vector. A 3.3 Million parameter mapper projects this vector into 32 continuous tokens that a frozen 7 Billion parameter Llama-2-Chat decoder already understands. Training the mapper alone takes 20 minutes on one H100 GPU and adds less than 0.05 percent to the total parameters. On the PVS2 road-surface corpus (dirt, cobblestone, asphalt), RoadSense-LM attains 88 percent window-level accuracy—3 pp above a logistic probe on Omega embeddings. Free-form answers remain correct across four prompt types and preserve off-topic world knowledge. Ablations show that 32 mapper tokens are needed for stable performance and that corpus-level normalization outperforms per-window scaling by 7.7 pp. t-SNE projections reveal that the mapper reshapes Omega's space into a tighter, semantically aligned manifold without altering either backbone. The modular design invites rapid transfer: swap in any frozen encoder, re-initialize two projection layers, and fine-tune the mapper on a few thousand windows. RoadSense-LM thus demonstrates a parameter-efficient bridge from continuous sensor data to conversational AI.
Benzer Tezler
- Bina tipi taşıyıcı sistemlerde bir yapı sağlığı izleme yöntemi önerisi: Basitleştirilmiş sayısal model ve hasar tespit algoritması
A structural health monitoring method proposal for building-type structural systems: Simplified numerical model and damage detection algorithm
EMRE GÖNÜLCÜ
Doktora
Türkçe
2026
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. ENGİN ORAKDÖĞEN
DR. ÖĞR. ÜYESİ AHMET ANIL DİNDAR
- Otomatik transfer hatları ve PLC destekli bir işlem hücresi
Automatic transfer lines and a PLC controlled manufacturing cell in the valve industry
ERKİN ÖZGÜR
- Hava kirliliği konusunda çevre bilgi sistemi tasarımı ve gerçekleştirilmesi pilot projesi
Design of an information system about air pollution
HARUN İYİDİKER
- CFRP plakalarda delaminasyon hasarının makina öğrenmesi ile tahmin edilmesi
Predicting delamination failure in CFRP composite plates with machine learning algorithms
AMMAR TARIK DİNÇER
Yüksek Lisans
Türkçe
2024
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA BAKKAL