Geri Dön

Real-time multi-object recognition using the fusion of lidar and camera data

Lidar ve kamera verilerinin birleştirilmesiyle gerçek zamanlı çoklu nesne tanıma

  1. Tez No: 833120
  2. Yazar: MERT CAN YAMAN
  3. Danışmanlar: PROF. DR. ŞERAFETTİN EREL
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: Ankara Yıldırım Beyazıt Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 81

Özet

Nesne tanıma günümüzün en önemli araştırma konularındandır. Tarımdan, savunma ve uzay sanayisine kadar her alanda kapsamlı kullanımı olan nesne tanımanın öneminin giderek artacağı beklenmektedir. Bu çalışmada, iPhone 13 Pro Max'in dahili kamerası ve LIDAR sensöründen eş zamanlı olarak alınan veriler kullanılarak kullanıcı tarafından sınırları belirlenebilen bir alan içerisinde gerçek zamanlı nesne tanıma yapılmıştır. Çalışmada Swift programlama dili, framework olarak ise SwiftUI kullanılmıştır. MS COCO veri setindeki elemanlar ile çalışma gerçekleştirilmiştir. Nesne tanıma işlemleri için YOLO V5 kullanılmış ve video işleme süreçleri Swift Metal kullanılarak gerçek zamanlı veriler üzerinde gerçekleştirilmiştir. Kamera ve LIDAR füzyonuna bağlı olarak gerçek-zamanlı olarak alınan verilerden elde edilen her bir frame üzerinde kullanıcının arayüzde belirlediği minimum-maksimum uzaklığa göre görüntü alanı daraltılarak Swift Metal ile video işleme gerçekleştirilmiştir. Alınan anlık video verilerindeki her bir frame içerisinde kullanıcının belirlediği değer aralığındaki bulunan nesnelerin konturları dışındaki alanlar karartılmıştır. Böylece karartılmış olan her bir frame içerisindeki nesnelere nesne tanıma işlemi gerçekleştirilmiştir. Sonuç olarak, arayüzde 0-15 m sınır aralığında ayarlanabilecek şekilde gerçek zamanlı LIDAR ve kamera verileriyle nesne tanıma işlemi gerçekleştirilmiştir.

Özet (Çeviri)

Object recognition is currently one of the most significant research topics. Its significance is expected to steadily increase due to its extensive applications across various fields, from agriculture to defense and the space industry. In this study, real-time object recognition processes were conducted within a user-defined area using data simultaneously captured from the built-in camera of the iPhone 13 Pro Max and its integrated LIDAR sensor. The Swift programming language was employed, and SwiftUI was chosen as the framework. The study utilized elements from the MS COCO dataset, employing the YOLO V5 algorithm for object recognition. Real-time video processing was accomplished using Swift Metal. The YOLO V5 algorithm was utilized for object recognition, and video processing was carried out in real-time, narrowing down the area based on the minimum-maximum distance determined in the interface using the real-time fused data from the camera and LIDAR. Areas outside the contours of objects, defined by user-specified value ranges in each frame of the captured real-time video data, were darkened. Thus, the object recognition process was performed on objects within each darkened frame. As a result, object recognition was successfully conducted within a user-defined range of 0-15 meters, as configured in the interface.

Benzer Tezler

  1. Davranışsal ve fiziksel multi-biyometri ile kişi kimliklendirme ve hareket tanıma üzerine yaklaşımlar

    Approaches to person identification and motion recognition with behavioral and physical multi-biometrics

    ONUR CAN KURBAN

    Doktora

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. TÜLAY YILDIRIM

  2. Predictive error compensated wavelet neural networks framework for time series prediction

    Zaman serisi tahmini için hata tazminli dalgacık dönüşümlü sinir ağları çerçeve yazılımı

    SERKAN MACİT

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. BURAK BERK ÜSTÜNDAĞ

  3. Çoklu sensör veri füzyonunda minimal temsil yaklaşımı ile çevre algılama

    A Minimal representation approach in multisensor data fusion for environment identification

    GÜLNUR PARLAK

  4. Çoklu kameralı kalite kontrol sistemleri için gerçek zamanlı paralel hesaplama kullanan makine görmesi yaklaşımı

    A machine vision approach using real-time parallel computing for multi-camera quality control systems

    NURETTİN MUTLU ZORLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. MEHMET KARAKÖSE