Online long-term point tracking in the foundation model era
Temel modeller çağinda uzun vadeli çevrimiçi nokta izleme
- Tez No: 982946
- Danışmanlar: YRD. DOÇ. DR. FATMA GÜNEY
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Nokta izleme, aynı fiziksel noktanın video çerçeveleri boyunca tanımlanmasını hedefler ve hareketin geometriye duyarlı bir temsili olarak işlev görür. Bu temsil, dinamik ortamların doğru modellenmesini sağlayarak robotikten artırılmış gerçekliğe kadar çeşitli uygulamalara olanak tanır. Mevcut uzun vadeli izleme yöntemlerinin çoğu, gelecekteki çerçevelerin erişilebilir olduğu çevrimdışı senaryolarda çalışır. Oysa gerçek dünyada, modelin yalnızca geçmiş ve mevcut çerçeveleri kullanarak nedensel şekilde çalışması gereken çevrimiçi tahminler gereklidir. Bu durumda, bakış açısına karşı değişimsizlik kritik hâle gelir. Büyük ve çeşitli veri kümeleri üzerinde eğitilen görsel temel modeller, sağlam geometrik temsiller sunabilir. Zamanla ilgili çıkarım yetenekleri sınırlı olsa da, bu modeller izleme sistemlerine entegre edilerek mekansal özellikleri zenginleştirebilir. Bu tezde, geleceğe erişim olmadan çerçevelerin sırayla işlendiği çevrimiçi ortamda uzun vadeli nokta izleme problemini ele alıyoruz. Görsel temel modellerin bu görevde yararlı başlangıç noktaları sunduğunu gösteriyoruz; ancak uzun vadeli izleme için özel bir tasarım gereklidir. Bu amaçla her noktayı bir sorgu olarak işleyen ve video çerçevelerini sırasıyla değerlendiren transformatör tabanlı bir model olan Track-On'u sunuyoruz. Yama sınıflandırması ve yerel iyileştirme ile eşleşmeleri tahmin ederken, bellek modülleriyle zaman boyunca tutarlılığı korur. Track-On, yedi denektaşında geleceğe erişim olmadan uzun vadeli izlemenin mümkün olduğunu göstermektedir.
Özet (Çeviri)
Point tracking aims to identify the same physical point across video frames and serves as a geometry-aware representation of motion. This representation supports a wide range of applications, from robotics to augmented reality, by enabling accurate modeling of dynamic environments. Most existing long-term tracking approaches operate in an offline setting, where future frames are available to refine predictions and recover from occlusions. However, real-world scenarios often demand online predictions: the model must operate causally, using only current and past frames. This constraint is critical in streaming video and embodied AI, where decisions must be made immediately based on past observations. Under such constraints, viewpoint invariance becomes essential. Visual foundation models, trained on diverse large-scale datasets, offer the potential for robust geometric representations. While they lack temporal reasoning on their own, they can be integrated into tracking pipelines to enrich spatial features and improve robustness. In this thesis, we address the problem of long-term point tracking in an online setting, where frames are processed sequentially without access to future information or sliding windows. We begin by evaluating the suitability of visual foundation models for this task and find that they can serve as useful initializations and be integrated into tracking pipelines. However, to enable long-term tracking in an online setting, a dedicated design is still required. In particular, maintaining coherence over time in this causal regime requires memory to propagate appearance and context across frames. To address this, we introduce Track-On, a transformer-based model that treats each tracked point as a query and processes video frames one at a time. It predicts correspondences through patch classification followed by local refinement. To ensure temporal consistency, memory modules are incorporated to carry relevant information across frames. Track-On sets a new state of the art across seven public benchmarks, demonstrating the feasibility of long-term tracking without future access.
Benzer Tezler
- Binalarda güvenlik
Başlık çevirisi yok
O. RIZA CENANİ
Yüksek Lisans
Türkçe
1998
Mimarlıkİstanbul Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. ALTAN ÖKE
- Dikkat eksikliği ve hiperaktivite bozukluğu olan çocukların el yazılarının görüntü işleme teknikleri ile analizi
Analysis of handwriting of children with attention deficit hyperactivity disorder using image processing techniques
ÖZLEM YILDIZ BUDAK
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUHAMMED FATİH ADAK
- İslam botanik tarihi üzerine oryantalist çalışmalar: Fuat Sezgin'in eserleri ışığında bir inceleme
Orientalist studies on the history of Islamic botany:an analysis in the light of Fuat Sezgi̇n's works
SÜMEYYE BAYBARA KHEERDALI
Yüksek Lisans
Türkçe
2025
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiBilim ve Teknoloji Tarihi Ana Bilim Dalı
DOÇ. DR. HASAN KARATAŞ
- Sanal ortamda ortaokul öğrencilerinin güneş sistemindeki gözlem ve meraklarının göz takip cihazıyla incelenmesi
Investigation of secondary school students' observations and curiosities about the solar system with eye tracking device in virtual environment
BİRCAN KASIMOĞLU
Yüksek Lisans
Türkçe
2025
Eğitim ve ÖğretimDokuz Eylül ÜniversitesiMatematik ve Fen Bilimleri Eğitimi Ana Bilim Dalı
PROF. DR. SUAT TÜRKOGUZ
- Türkiye'deki e-ticaret sektöründe, müşteri deneyiminin müşteri memnuniyeti üzerindeki etkisi
The impact of customer experience on customer satisfaction in the e-commerce sector in Turkey
ŞEVVAL KARABACAK