Real-time multi-object recognition using the fusion of lidar and camera data
Lidar ve kamera verilerinin birleştirilmesiyle gerçek zamanlı çoklu nesne tanıma
- Tez No: 833120
- Danışmanlar: PROF. DR. ŞERAFETTİN EREL
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Electrical and Electronics Engineering, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Görsel nesne tanıma, LIDAR, Visual object recognition, LIDAR
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Ankara Yıldırım Beyazıt Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Nesne tanıma günümüzün en önemli araştırma konularındandır. Tarımdan, savunma ve uzay sanayisine kadar her alanda kapsamlı kullanımı olan nesne tanımanın öneminin giderek artacağı beklenmektedir. Bu çalışmada, iPhone 13 Pro Max'in dahili kamerası ve LIDAR sensöründen eş zamanlı olarak alınan veriler kullanılarak kullanıcı tarafından sınırları belirlenebilen bir alan içerisinde gerçek zamanlı nesne tanıma yapılmıştır. Çalışmada Swift programlama dili, framework olarak ise SwiftUI kullanılmıştır. MS COCO veri setindeki elemanlar ile çalışma gerçekleştirilmiştir. Nesne tanıma işlemleri için YOLO V5 kullanılmış ve video işleme süreçleri Swift Metal kullanılarak gerçek zamanlı veriler üzerinde gerçekleştirilmiştir. Kamera ve LIDAR füzyonuna bağlı olarak gerçek-zamanlı olarak alınan verilerden elde edilen her bir frame üzerinde kullanıcının arayüzde belirlediği minimum-maksimum uzaklığa göre görüntü alanı daraltılarak Swift Metal ile video işleme gerçekleştirilmiştir. Alınan anlık video verilerindeki her bir frame içerisinde kullanıcının belirlediği değer aralığındaki bulunan nesnelerin konturları dışındaki alanlar karartılmıştır. Böylece karartılmış olan her bir frame içerisindeki nesnelere nesne tanıma işlemi gerçekleştirilmiştir. Sonuç olarak, arayüzde 0-15 m sınır aralığında ayarlanabilecek şekilde gerçek zamanlı LIDAR ve kamera verileriyle nesne tanıma işlemi gerçekleştirilmiştir.
Özet (Çeviri)
Object recognition is currently one of the most significant research topics. Its significance is expected to steadily increase due to its extensive applications across various fields, from agriculture to defense and the space industry. In this study, real-time object recognition processes were conducted within a user-defined area using data simultaneously captured from the built-in camera of the iPhone 13 Pro Max and its integrated LIDAR sensor. The Swift programming language was employed, and SwiftUI was chosen as the framework. The study utilized elements from the MS COCO dataset, employing the YOLO V5 algorithm for object recognition. Real-time video processing was accomplished using Swift Metal. The YOLO V5 algorithm was utilized for object recognition, and video processing was carried out in real-time, narrowing down the area based on the minimum-maximum distance determined in the interface using the real-time fused data from the camera and LIDAR. Areas outside the contours of objects, defined by user-specified value ranges in each frame of the captured real-time video data, were darkened. Thus, the object recognition process was performed on objects within each darkened frame. As a result, object recognition was successfully conducted within a user-defined range of 0-15 meters, as configured in the interface.
Benzer Tezler
- Çoklu sensör veri füzyonunda minimal temsil yaklaşımı ile çevre algılama
A Minimal representation approach in multisensor data fusion for environment identification
GÜLNUR PARLAK
Yüksek Lisans
Türkçe
2000
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiDOÇ.DR. HAKAN TEMELTAŞ
- Davranışsal ve fiziksel multi-biyometri ile kişi kimliklendirme ve hareket tanıma üzerine yaklaşımlar
Approaches to person identification and motion recognition with behavioral and physical multi-biometrics
ONUR CAN KURBAN
Doktora
Türkçe
2022
Elektrik ve Elektronik MühendisliğiYıldız Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. TÜLAY YILDIRIM
- Predictive error compensated wavelet neural networks framework for time series prediction
Zaman serisi tahmini için hata tazminli dalgacık dönüşümlü sinir ağları çerçeve yazılımı
SERKAN MACİT
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BURAK BERK ÜSTÜNDAĞ
- Exploring fusion models in computer vision for medical image computing
Başlık çevirisi yok
DUYGU SARIKAYA
Doktora
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolState Unıversıty Of New York At BuffaloDr. JASON J. CORSO
- Unified approaches to efficient and robust image retrieval through fusion restoration, and compression
Füzyon, sıkıştırma ve restorasyon yoluyla verimli ve dayanıklı görsel getirim için birleşik yaklaşımlar
ENİS TEPER
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YUSUF HÜSEYİN ŞAHİN