Stereo görme ile hareketli görüntülerde engellerin uzaklık ve boyutlarının gerçek zamanlı bulunması
Real-time distance and dimension estimation of the obstacles using active stereo camera
- Tez No: 237166
- Danışmanlar: YRD. DOÇ. DR. M. ELİF KARSLIGİL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Stereo, Engel Tesbiti, Engel Aşma, Kameraya Olan Uzaklık, Stereo, Object Detection, Obstacle Avoidance, Distances Between The Obstacles and The Cameras
- Yıl: 2008
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 94
Özet
Engel tesbiti ve engel aşma konularındaki çalışmalar, başta askeri uygulamalar olmak üzere, sınır muhafaza, itfaiye, polis ve sivil savunma konularında faaliyet gösteren robot uygulamalarının; insan yaşamına elverişli olmayan ortamlarda (radyasyonlu ortam, su altı, uzay, vb.) uzaktan kontrollü olarak çalışan operasyonel uygulamaların; şüpheli şahısların teşhisi, trafik kontrolü ve düzenlenmesi, insansız gözetim, insansız araç navigasyonu, depo yönetimi gibi sistemlerin en önemli araştırma alanlarından biridir.Bu projede, iki kamera ile alınan hareketli görüntüleri değerlendirerek, otonom araçlara ya da mobil robotlara engel tanıma ve engel aşma özelliklerini kazandırmayı hedefleyen gerçek zamanlı bir sistem geliştirilmiştir.Geliştirilen sistem iki temel aşamadan oluşmaktadır. İlk aşama sistemin gerçek zamanlı adımları uygulanmadan önce ihtiyaç duyulan kamera kalibrasyonu adımlarından oluşur. Kamera kalibrasyonu sonucu iki kameranın iç ve dış parametreleri elde edilir. Eğer görüntü alımı yapacak kameralar paralel olacak ve optik eksenlerde dönme olmayacak şekilde konumlandırılmışsa, kamera kalibrasyonu aşaması uygulanmadan doğrudan ikinci aşamaya geçilir. İkinci aşama sistemin gerçek zamanlı adımlarından oluşur. Bu aşamada öncelikle iki adet 90 derece görme açısına sahip, renkli video kamera ile eş zamanlı olarak görüntü alımı yapılır. Alınan görüntüler, önceden kamera kalibasyonu yapılmışssa, kalibrasyon parametreleri kullanılarak düzeltilir. Böylece görüntülerdeki eş piksellerin aynı y koordinatlarında olması sağlanır. Bu adım, kameraların paralel olmaması durumunda uygulanır. Eğer görüntü alımı, paralel olarak konumlandırılmış kameralardan yapılmışsa elde edilen görüntülerin düzgün olduğu kabul edilir ve stereo eşleme adımına geçilir. Stereo eşleme adımında, sağ ve sol kameradan elde edilmiş eş zamanlı görüntülerin, Birchfield dinamik programlama yöntemi ile işlenmesi sonucu stereo uzaklık haritası elde edilir. Ardından stereo uzaklık haritası üzerinden arka arkaya gelen ve aynı fark değerine sahip olan aralıkların bulunmasıyla engeller tespit edilir. Son olarak engel olarak tespit edilen bölgedeki fark değeri ile kameraların geometrik yerleşiminden yararlanılarak engelin kameralara olan uzaklığı ve gerçek dünyadaki boyutları bulunur.Platformun durağan değil hareketli olması, hareketi esnasında sistemin çalışacağı ortamın sürekli değişmesi, dolayısıyla ortamdaki engellerin daha önceden belirlenmiş sabit nesneler olmaması, stereo görme özelliği kullanılarak görüntünün üç boyutlu değerlendirilmesi ve tüm bu işlemlerin gerçek zamanlı yapılması geliştirilen sistemde göz önünde bulundurulan karmaşıklık düzeyi yüksek problemlerdir.Geliştirilen sistem, üç farklı gerçek zamanlı uygulama ile test edilmiştir. İlk uygulamada kameraların monte edildiği platform sabit, ortamdaki nesneler hareketlidir. İkinci uygulamada kameraların monte edildiği platform hareketli, ortamdaki nesneler sabittir. Üçüncü ve son uygulamada ise hem kamera platformu hem de ortamdaki nesneler hareketlidir. Doğru ve güvenilir stereo uzaklık haritası elde etmenin, tüm uygulamalardaki engel tespiti ve engellerin kameraya olan uzaklığının bulunması aşamalarının başarıyla sonuçlanmasını sağlayan en önemli faktör olduğu görülmüştür. Düzgün bir stereo uzaklık haritası elde edilmesi durumunda, engelin kameraya olan uzaklığı ve boyutları, +10 cm, -10 cm hatayla doğru hesaplanmıştır. Aynı zamanda gerçekleştirilen sistemin gerçek zamanlı bir uygulamanın en büyük gereksinimlerinden biri olan hız konusunda yeterli olduğu görülmüştür. Yapılan testler sonucunda, tüm sistemin başarısını etkileyen başlıca faktörler, ortamın ışık şiddeti, kameraların ışıklandırılma seviyeleri, arka plan deseni, ortamdaki nesnelerin hareket hızı ve ortamdaki nesnelerin kameraya olan mesafesi olarak belirlenmiştir.
Özet (Çeviri)
Object detection and obstacle avoidance applications are among the most important research areas of especially military applications, robotic applications utilized for border protection, fire-fighting, police and civil defense; and remote controlled operational robotic applications, where the environment is not suitable for human life (radiation, underwater, space etc.). Research in this area is also beneficial for systems like tracking suspects, monitoring and regulating traffic, surveillance without human, vehicle navigation without human and warehouse management.In this project, a system, which enables autonomous vehicles or mobile robots to detect and avoid obstacles in real-time using two active cameras in dynamic environments, was developed.The system is based on two fundamental parts, namely calibration and real time stages. The first stage is camera calibration steps, which is the initial phase of the system. Intrinsic and extrinsic parameters of the cameras are calculated as a result of the calibration. If the cameras that capture image are to be parallel and positioned so that optical axes would not rotate, calibration step can be skipped. The second part consists of the real time steps. In this part, two cameras having 90 degrees viewing capability used for synchronized capturing. The captured images are rectified if the camera calibration steps were performed. Hence, the same pixels of the images would have the same y coordinates. This step is applied if the cameras are not parallel. If images were captured via parallel cameras, the images are considered as having the same y coordinates for same pixels, and proceeds to stereo matching. The synchronized images, which are captured from right and left cameras, are processed with Burchfield dynamic programming methodology, and disparity map is obtained. From disparity map, the obstacles are detected by finding intervals having same disparity value. Finally, obstacle?s distance and real dimension are calculated using the disparity value of the region that is defined as an obstacle and the cameras geometrical position.The fact that the platform is moving in a changing environment having not preset obstacles makes the problem quite complex for the system. Also, using stereo vision studying on 3D geometry and performing all of these processes in real-time are challenges of the systems.System is tested in three different applications. In the first application, the platform which cameras are entagrated to is stable and the objects in the environment are mobile. In the second application, the platform which cameras are entagrated to is mobile and the objects in the environment are stable. In the third application, both the platform which cameras are entagrated to and the objects in the environment are mobile. Obtaining correct and reliable stereo disparity map is the most important factor in accurate obstacle detection and estimating exact distances of the obstacles to the cameras. In the case of obtaining correct disparity map, the distance between the obstacle and the camera, and the dimensions of the obstacle are estimated correctly with the ±10 cm tolerance. As seen from results the performed system is sufficient in runtime, and that is crucial in a real-time system. In the results of the tests, the major factors that effects the performance of the system are determined as illuminance intensity in the environment, illumination levels of the cameras, background texture, movement velocities of the objects in the environment, and the distances between the obstacles and the cameras.
Benzer Tezler
- Omni-directional vision based environment sensing for movement control of mobile robots
Gezgin robotların hareket kontrolü için tüm-yönlü görüntüleme tabanlı ortam algılaması
KALİ GÜRKAHRAMAN
Doktora
İngilizce
2011
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDokuz Eylül ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. YALÇIN ÇEBİ
- Obstacle avoidance with object detection using 3-D stereo cameras for indoor mobile robots
Gezgin robotlar için iç mekanlarda 3-B stereo kameraya dayalı nesne tespiti ile engellerden kaçınma
MOHAMMAD M. T. MOHAMMAD
Yüksek Lisans
İngilizce
2020
Mekatronik MühendisliğiBahçeşehir ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET BERKE GÜR
- Design of mobility, manipulation and vision system of a conceptual lunar micro-rover
Gezici mikro ay robotunun hareketlilik, manipülasyon ve görüntü işleme sistemleri tasarımı
NECMİ CİHAN ÖRGER
Yüksek Lisans
İngilizce
2015
Mühendislik Bilimleriİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
ÖĞR. GÖR. TURGUT BERAT KARYOT
- Vi̇sual servo control appli̇cati̇on i̇n a humanoi̇d robot usi̇ng depth-camera i̇nformati̇on
Derinlik kamera bilgisini kullanarak insansı robot'ta görsel servo-kontrol uygulaması
AREZOU RAHİMİ
Yüksek Lisans
İngilizce
2014
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ALİ FUAT ERGENÇ
YRD. DOÇ. DR. PINAR BOYRAZ