Markerless matching and pose estimation from 3D models for augmented reality applications
Artırılmış gerçeklik uygulamaları için 3 boyutlu modellerden işaretleyicisiz eşleştirme ve poz kestirimi
- Tez No: 986188
- Danışmanlar: DR. ÖĞR. ÜYESİ MURAT DURMAZ
- Tez Türü: Yüksek Lisans
- Konular: Jeodezi ve Fotogrametri, Mühendislik Bilimleri, Geodesy and Photogrammetry, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Geomatik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Geomatik Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Artırılmış Gerçeklik (AR) uygulamaları, hem savunma hem de sivil sektörlerde bakım ve onarım faaliyetlerini desteklemek amacıyla giderek daha yaygın hale gelmektedir. Bu uygulamaların temel yeteneği, sahadaki personele, üzerinde çalışılan nesne hakkında ayrıntılı bilgi sağlamaktır. Ayrıca, dijital ikiz teknolojilerindeki gelişmeler sayesinde, bakım yapılan nesnenin belirli onarım senaryolarına nasıl tepki vereceği simüle edilebilmektedir. Bu 3B modelin ve bileşen bilgilerinin mobil AR uygulamalarına entegre edilmesi, saha operasyonlarının başarısını önemli ölçüde artırabilir. En kritik gereklilik, AR donanımının, AR gözlükleri, cep telefonları, tabletler, kameralar vb. cihazlardan elde edilen görüntülerin 3B modelin temsilci özellikleri ile eşleştirilmesi yoluyla, ilgilenilen nesneye göre konum ve yöneliminin doğru bir şekilde belirlenmesidir. Takibi geliştirmek için, hassas IMU tabanlı takip sistemleri AR donanımına entegre edilmektedir. Ayrıca, son donanım gelişmeleri, görüntü ve derinlik tabanlı SLAM algoritmalarında önemli iyileştirmeler sağlamıştır. Ancak bu iyileştirmeler, çoğunlukla sahadaki bilinen bir nesnenin takibi yerine, gerçek zamanlı çevre haritalamasına dayanmaktadır. Kritik bakım ve onarım operasyonlarında, gerçek dünyadaki nesnenin konumsal ve yönelimsel doğruluğunu sağlamak amacıyla ek fiziksel işaretleyiciler sıklıkla gerekmektedir. Bu çalışma, sahada bilinen 3B nesnelerin üzerine herhangi bir fiziksel işaretleyici yerleştirmeden doğrudan eşleştirme yöntemlerini araştırmayı amaçlamaktadır. Ayrıca, özellik veritabanı çıkarımı, görüntü eşleştirme ve poz kestirimi için bir yazılım çerçevesi geliştirilmiş ve gerçek bir senaryoda test edilmiştir. Altı sorgu görüntüsü üzerinde yürütülen deneyler, farklı özellik eşleştirme ve poz kestirim yöntemlerinin konumsal ve yönelimsel doğruluğunu değerlendirmek amacıyla gerçekleştirilmiştir. Sonuçlar, LoFTR algoritmasının hem konum hem de yönelim açısından en yüksek kararlılığı gösterdiğini ortaya koymuştur. Konum hataları 0,78 m ile 4,92 m arasında değişirken, yönelim (azimut) hataları 1° ile 14° arasında değişmiştir. OmniGlue da güvenilir bir performans sergilemiş, tüm sorgular için geçerli poz kestirimi yapabilmiş ve konum hataları 1,27 m ile 13,84 m arasında gerçekleşmiştir. Buna karşılık, ALIKE yalnızca altı sorgudan üçünde başarılı olmuş, konum hataları 1,76 m ile 19,25 m arasında değişmiş ve yönelim tahminlerinde önemli dalgalanmalar göstermiştir. Klasik SIFT yöntemi ise en az güvenilir olanı olmuş, yalnızca bir sorguda geçerli poz kestirimi sağlamış ve bu durumda konum hatası 18,68 m'ye ulaşmıştır. Sonuçlara göre, LoFTR ve OmniGlue gibi yoğun eşleştirme tabanlı yöntemler, yüksek konumsal ve yönelimsel doğruluk gerektiren AR tabanlı bakım ve onarım uygulamaları için daha uygun olabilir. Buna karşılık, ALIKE ve özellikle SIFT, karmaşık gerçek dünya ortamlarında işaretleyicisiz 3B–2B poz kestirimi için sınırlı güvenilirlik göstermektedir.
Özet (Çeviri)
Augmented Reality (AR) applications that support maintenance and repair activities in both defense and civilian sectors are becoming increasingly widespread. The primary capability of these applications is to provide field personnel with detailed information about the object being serviced. Furthermore, with advances in digital twin technologies, it is possible to simulate how the serviced object might respond to specific repair scenarios. Integrating this 3D model and component information into mobile AR applications can significantly enhance the success of field operations. The most crucial requirement is to accurately determine the position and orientation of the AR hardware relative to the object of interest by matching the captured images (from AR glasses, mobile phones, tablets, cameras, etc.) with representative features of the 3D model. To enhance tracking, precise IMU-based tracking systems are integrated into AR hardware. Additionally, recent hardware improvements have introduced significant enhancements using image and depth-based SLAM algorithms. However, these improvements mainly rely on real-time environmental mapping rather than tracking a known object in the field. In critical maintenance and repair operations, additional physical markers are often required to ensure the positional and orientational accuracy of the real-world object of interest. This study aims to investigate methods for direct matching of 3D objects in the field without placing any physical markers on the object. Furthermore, a software framework for feature database extraction, image matching, and pose estimation has been developed and tested in a real-world scenario. Experiments conducted on six query images to evaluate the positional and orientational accuracy of different feature matching and pose estimation methods show that the LoFTR algorithm demonstrated the highest robustness in terms of both position and orientation. Positional errors ranged from 0.78 m to 4.92 m, while orientation (azimuth) errors varied between 1° and 14°. OmniGlue also provided reliable performance, successfully estimating valid poses for all queries with positional errors ranging from 1.27 m to 13.84 m. In contrast, ALIKE succeeded in only three out of six queries, producing positional errors between 1.76 m and 19.25 m, with considerable variability in orientation estimates. The classical SIFT method was the least reliable, yielding a valid pose in only one query, where the positional error reached 18.68 m. According to the results, dense matching-based methods such as LoFTR and OmniGlue may be more suitable for AR-based maintenance and repair applications that require high positional and orientational accuracy. Conversely, ALIKE and particularly SIFT demonstrate limited reliability for markerless 3D-to-2D pose estimation in complex real-world environments.
Benzer Tezler
- Learning markerless robot-depth camera calibration and end-effector pose estimation
Öğrenim tabanlı robot-3B kamera harici kalibrasyonu ve uç efektörpozisyonu tahmini
BUĞRA CAN SEFERCİK
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BARIŞ AKGÜN
- İşaretçisiz tabanlı takip sistemlerinin eğitim alanındaki artırılmış gerçeklik uygulamalarında performas analizi
Performance analysis of markerless tracking systems for augmented reality applications in education
CEREN AKMAN
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBursa Teknik ÜniversitesiAkıllı Sistemler Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ERGÜN GÜMÜŞ
- Levrek balığı (Dicentrarchus labrax) yetiştiriciliğinde sperm inseminasyonu uygulamasının başarısı ve ebeveyn tayini
Success of sperm insemination and parentage assignment in european sea bass (Dicentrarchus labrax) culture
BAHAR ELDEMİR
Yüksek Lisans
Türkçe
2026
GenetikAkdeniz ÜniversitesiSu Ürünleri Yetiştiriciliği Ana Bilim Dalı
DOÇ. DR. TÜRKER BODUR
- Orta Anadolu kökenli mor havuç genotiplerinin moleküler karakterizasyonu
Molecular characterization of purple carrot originated from Central Anatolia
HİLMİYE ERİŞDİ
Yüksek Lisans
Türkçe
2015
BiyoteknolojiSelçuk ÜniversitesiBahçe Bitkileri Ana Bilim Dalı
PROF. DR. ÖNDER TÜRKMEN
- Markerless augmented reality applications
İşaretçisiz eklenmiş gerçeklik uygulamaları
FESİH KESKİN
Yüksek Lisans
İngilizce
2014
Elektrik ve Elektronik MühendisliğiAnadolu ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ÖMER NEZİH GEREK