3D nokta bulutu verileri kullanılarak otonom sürüş için nesne algılama yöntemi ile karayolu envanterlerinin tespit edilmesi
Determination of highway inventories with object detection method for autonomous driving using 3D point cloud data
- Tez No: 947610
- Danışmanlar: PROF. DR. REHA METİN ALKAN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilişim Uygulamaları Ana Bilim Dalı
- Bilim Dalı: Coğrafi Bilgi Teknolojileri Bilim Dalı
- Sayfa Sayısı: 96
Özet
Trafik işaretleri, karayollarında düzeni sağlamak, sürücü ve yayalara rehberlik etmek, trafik güvenliğini artırmak ve trafik akışını düzenlemek amacıyla kullanılan semboller, levhalar ve işaretlemelerdir. Yapılan araştırmalar, trafik işaretlerinin eksikliği veya yetersizliği nedeniyle meydana gelen kazaların oranının önemli ölçüde arttığını göstermektedir. 2023 yılında yayımlanan raporda, her yıl yaklaşık 1.19 milyon insanın trafik kazalarında hayatını kaybettiği ve 17.8 milyon kişinin ciddi şekilde yaralandığı belirtilmiştir. Trafik işaretleri, olası tehlikelere karşı sürücü ve yayalara uyarıda bulunarak kazaların önlenmesine yardımcı olmakta ve trafik kurallarının anlaşılmasını kolaylaştırmaktadır. Yol envanteri ise, yolların fiziksel özelliklerini, trafik işaretlerini, sinyalizasyon sistemlerini ve diğer altyapı unsurlarını içeren kapsamlı bir veri bütünüdür. Yol envanterinin düzgün ve güncel olması, trafik işaretlerinin doğru konumda olması sürücülerin güvenli bir şekilde seyahat edebilmesi için hayati önem taşımaktadır. Ayrıca, trafik yönetimi ve şehir planlaması açısından da yolların bakım ve geliştirme süreçlerinin daha verimli hale getirilmesi için gereklidir. Türkiye'de trafik işaretleri ve yol envanteri yönetimi, Karayolları Genel Müdürlüğü (KGM), Ulaştırma ve Altyapı Bakanlığı, Belediyeler ve İçişleri Bakanlığı'na bağlı Emniyet Genel Müdürlüğü ve Jandarma Genel Komutanlığı gibi kurumlar tarafından yönetilmektedir. Yol bilgileri, trafik yoğunluğu izleme, kavşak düzenlemeleri sistemleri ve bakım-onarım ihtiyaçları gibi işlemler için gerekli veriler çoğunlukla saha çalışmalarıyla toplanmaktadır. Karayolları Genel Müdürlüğü,“Yol Envanter Sistemi”aracılığıyla tüm verileri merkezi bir veritabanında saklamaktadır. Dünyada ise manuel çalışmalara ek olarak Geographic Information System (GIS) tabanlı veri sistemleri, uydu görüntüleri, otomatik veri toplama sistemleri, dronlar, LiDAR ölçmeleri ve yapay zeka destekli sistemler ile yol envanteri bilgi sistemleri güncel tutulmaya çalışılmaktadır. Trafik işareti ve yol envanteri bilgi sistemi oluşturmak için geleneksel yöntemlerle sahada ölçüm yapmak, bilgilerin dijital ortama aktarılması ve yönetilmesi oldukça zaman alıcı ve maliyeti yüksek olan bir süreçtir. Bunun yanı sıra, bu geleneksel yöntemler veri üretimini zorlaştırırken, iş güvenliği açısından da çeşitli riskler taşımaktadır. Bu risklerin de etkisiyle hızlı veri toplamaya olan ihtiyaç, yeni araştırma alanlarının ortaya çıkmasına neden olmuştur. Özellikle 3D yol envanterinin hazırlanması, oluşturulması ve güncellenmesi gibi süreçleri, sahaya gitmeye gerek kalmadan hızlı ve verimli bir şekilde gerçekleştirilebilmek mümkündür. Bu noktada Mobil Haritalama Sistemleri (MHS), High Definition (HD) harita üretimi, simülasyon tabanlı senaryo geliştirme ve otonom sürüş teknolojileri gibi çeşitli alanlarda kritik bir rol üstlenmektedir. Dünya genelinde yaygın olarak kullanılan bu sistemler, yol envanterinin oluşturulması ve yönetilmesinde giderek daha önemli hale gelmektedir. Özellikle nüfus artışı, kentleşme ve ulaşım altyapısındaki değişimler, akıllı şehir teknolojilerinin daha da önem kazanmasına neden olmaktadır. Trafik yoğunluğunu azaltmak, ulaşım güvenliğini artırmak ve çevresel sürdürülebilirliği desteklemek amacıyla geliştirilen çeşitli akıllı ulaşım çözümleri, şehirlerin daha yaşanabilir hale gelmesini sağlamaktadır. Akıllı Şehir konseptinin en kritik bileşenlerinden biri olan Akıllı Ulaşım Sistemleri (AUS), trafik yönetimini optimize ederek ulaşımı daha güvenli, verimli ve sürdürülebilir hale getirmeyi amaçlamaktadır. AUS, yapay zeka, büyük veri analitiği ve nesnelerin interneti gibi yenilikçi teknolojileri kullanarak trafik akışını düzenlemekte, sürücülere anlık trafik bilgileri sunmakta ve trafik kazalarını önleyici önlemler almaktadır. Bu sistemler sayesinde trafik ışıkları ve kavşak yönetimi daha akıllı hale getirilerek şehir içi ulaşımın daha akıcı olması sağlanmakta, gereksiz trafik yoğunluğunu azaltılmaktadır. Otonom araçların başarılı bir şekilde çalışabilmesi için, yalnızca GPS/GNSS verileri yeterli olmamakta, yüksek hassasiyetli harita verilerine de ihtiyaç duyulmaktadır. HD haritalar, otonom araçlara yalnızca coğrafi konum bilgisi sağlamakla kalmayıp, yol eğimleri, kavşaklar, trafik tabelaları ve yaya geçitleri gibi detaylı yol bilgilerini de sunarak, araçların çevresini daha iyi algılamasına olanak tanımaktadır. Geleneksel navigasyon sistemlerine kıyasla santimetre hassasiyetine sahip olan bu haritalar, otonom sürüş güvenliğini artırmakla kalmayıp, otonom taksi ve toplu taşıma hizmetleri gibi yeni nesil ulaşım çözümlerinin de temelini de oluşturmaktadır. Ayrıca ileri seviye sürücü destek sistemleri için hassas yol bilgileri sunmayı amaçlamaktadır. Bu sistemler, şerit takip asistanları, acil fren destek sistemleri ve trafik işareti algılama teknolojileri gibi birçok gelişmiş özelliği bünyesinde barındırmaktadır. HD haritalar ve ADAS teknolojileri birlikte çalışarak, sürücülerin çevresel farkındalığını artırmakta ve kazaların önlenmesine önemli ölçüde katkı sağlamaktadır. HD haritalar, geleneksel haritalardan çok daha yüksek doğruluk sunarak yol yüzeyi detaylarını, şerit bilgilerini, trafik işaretlerini ve yol eğimlerini hassas bir şekilde tanımlayarak, akıllı trafik yönetiminin daha verimli çalışmasına yardımcı olmaktadır. Yol üzerindeki hız limitleri, kavşak yapıları ve yol çalışmaları gibi dinamik veriler de sürekli olarak güncellenerek sürücülerin en güncel bilgilere erişmesini sağlamaktadır. 3D yol envanterleri ise yol altyapısının dijital ikizini oluşturarak, trafik akışı analizleri, bakım-onarım planlamaları ve şehir içi ulaşım optimizasyonu gibi işlemler için kapsamlı bir veri tabanının oluşmasını sağlamaktadır. Bu teknolojiler, akıllı şehirlerde dinamik trafik yönlendirmeleri, güvenli sürüş asistanları ve otonom mobilite çözümlerinin temelini oluşturmaktadır. Akıllı ulaşım sistemlerine verilen önemin artmasıyla birlikte, trafik işaretlerinin otomatik tespit edilmesi üzerine yapılan çalışmalar da artmakta, birçok ülke kendine ait trafik işareti veri setleri oluşturarak bu sistemlerin doğruluğunu ve verimliliğini artırmayı hedeflemektedir. Bu çalışmada, trafik işaretlerinin otomatik tespit edilebilmesi için MHS'ye dayalı bir yöntem önerilerek, daha önce mevcut olmayan ve ilk kez bu çalışmada oluşturulan Türkiye'ye ait trafik işaretleri veri kümesi hazırlanmıştır. Yapay zeka ile otomatik olarak tespit edilmesi ve tanınması istenilen 10 farklı trafik işaretinin seçimi KGM Trafik İşaretleri El Kitabından yapılmıştır. Çalışma için seçilen trafik işaretlerinin daire, üçgen, sekizgen gibi farklı şekillerde, farklı renklerde olmasına dikkat edilmiştir. Ayrıca trafik işaretlerinin içerisinde yazı ve küçük şekiller bulunması ve tüm Dünya'da kullanılan trafik işaretleri arasında yer alması dikkate alınmaya çalışılmıştır. 2021 yılı Temmuz ayında, yaklaşık 80 km/s hızla seyreden bir araca monte edilen MHS ile Karadeniz Bölgesi'nde bir otoyolun yaklaşık 6 km'lik bölümünde ölçmeler yapılarak veri toplanmıştır. MHS kullanılarak gerçek trafik sahnelerinden görüntüler elde edilmesi çalışmada ortaya konulan modelin güvenilirliğini arttırmaktadır. Bu çerçevede, trafik işaretlerinin tespiti ve tanınması için mobil araçlar için daha uygun olduğu öngörülen, bu çalışma ile dünyada ilk defa MHS sistemi verileri üzerinde kullanılan nesne tespit algoritmalarından YOLOv4-Tiny kullanılmıştır. Bu algoritma diğer algoritmalara göre basit sinir ağı yapısından dolayı düşük işlem maliyeti sunmaktadır. Donanımsal yapısı açısından gömülü cihazlar için daha uygundur. Ayrıca gerçek zamanlı algılama için diğer yaklaşımlara göre daha iyi bir seçenektir. Geliştirilen yöntemde modelin eğitimi amacıyla, bir kısmı gerçek saha ölçümlerine dayanan MHS kaynaklı görüntülerden, bir kısmı ise açık kaynaklı veri setlerinden temin edilen görüntülerden oluşan bir veri kümesinden yararlanılmıştır. Bu geliştirilen modelin eğitimi sonucunda Ortalama Hassasiyet (𝑚𝐴𝑃) değeri %98.18 olarak elde edilmiştir. Elde edilen 𝑚𝐴𝑃 değeri, nesne tespiti modelleri üzerine yapılan diğer çalışmalara göre oldukça yüksektir. Buna ek olarak özellikle trafik işareti gibi karmaşık senaryoların içinde yer alan küçük nesnelerin tespitinde büyük bir başarı oranını göstermektedir. Eğitim süreci tamamlanan model, öncelikle açık kaynaklı görüntüler ile MHS verileri üzerinde test edilmiştir. Ardından, laboratuvar koşullarında sabit bir web kamerası aracılığıyla gerçek zamanlı testler gerçekleştirilmiştir. Elde edilen test bulguları, önerilen yöntemin trafik işaretlerini hızlı ve isabetli biçimde algılayarak sürüş güvenliğine katkı sağlayabileceğini ortaya koymuştur. Böylece trafik işaretlerinin de içinde bulunduğu yol envanterlerinin otomatik olarak tespit edilmesi ve tanınmasına katkı sağlayarak, süreçleri hızlı ve daha az riskli bir hale getirebileceği görülmüştür. Önerilen yöntemin mobil ve otonom sistemler için gerçek hayatta uygulanmasının kolay olması sebebiyle, otonom araçlarda kullanım için uygun olduğu ve akıllı şehir planlamalarında yer alan akıllı ulaşım sistemlerine entegre edilerek katkı sağlayacağı düşünülmektedir. Çalışmanın giriş bölümünde konuyla ilgili detaylı bir literatür taraması ve çalışmanın amaç ve hedefleri ortaya konulmuştur. İkinci bölümde çalışmada kullanılan yapay zeka teknolojileri ile ilgili detaylı bilgiler paylaşılmıştır. Üçüncü bölümde yapay zeka nesne tespit algoritmalarından YOLOv4-Tiny'nin tarafımızca modellenmesi, eğitilmesi, MHS verileri kullanılarak trafik işareti veri seti üretimi ve model üzerinde yapılan testlerin uygulanması ile ilgili bilgiler verilmiştir. Dördüncü bölümde ise gerçek hayatta karşılaşılabilecek çeşitli senaryolara göre farklı testler yapılarak önerilen yöntemin performansına etkisi olabilecek durumlar tartışılarak değerlendirilmiştir. Sonuç kısmında ise çalışmanın sonuçları ile ilgili bilgiler verilmiş ve gelecekte konuyla ilgili yapılacak benzer çalışmalar için bazı önerilerde bulunulmuştur.
Özet (Çeviri)
Traffic signs are symbols, signs and markings used to maintain order on highways, guide drivers and pedestrians, increase traffic safety and regulate traffic flow. Studies show that the rate of accidents caused by the lack or inadequacy of traffic signs has increased significantly. In 2023, it was reported that approximately 1.19 million people lose their lives and 17.8 million people are seriously injured in traffic accidents every year. Traffic signs help prevent accidents by warning drivers and pedestrians of potential hazards and facilitate understanding of traffic rules. A road inventory is a comprehensive set of data that includes the physical characteristics of roads, traffic signs, signaling systems and other infrastructure elements. A proper and up-to-date road inventory and the correct location of traffic signs are vital for drivers to travel safely. It is also necessary for traffic management and urban planning to make road maintenance and development processes more efficient. In Turkey, traffic signs and road inventory management are managed by the General Directorate of Highways (KGM), the Ministry of Transport and Infrastructure, municipalities, and the General Directorate of Security and Gendarmerie General Command under the Ministry of Interior. Data for road information, traffic density monitoring, intersection arrangement systems and maintenance and repair needs are mostly collected through field studies. The General Directorate of Highways stores all data in a central database through the“Road Inventory System”. In the world, in addition to manual studies, Geographic Information System (GIS) based data systems, satellite images, automatic data collection systems, drones, LiDAR measurements and artificial intelligence supported systems are used to keep road inventory information systems up to date. Traditional methods for creating a traffic sign and road inventory information system are time-consuming and costly, including field measurements, digitizing and managing the information. In addition, these traditional methods make data generation difficult and carry various risks in terms of occupational safety. The need for rapid data collection due to these risks has led to the emergence of new research areas. In particular, processes such as the preparation, creation and updating of 3D road inventories can be carried out quickly and efficiently without the need to go to the field. At this point, Mobile Mapping Systems (MHS) play a critical role in various fields such as High Definition (HD) map production, simulation-based scenario development and autonomous driving technologies. These systems, which are widely used around the world, are becoming increasingly important in the creation and management of road inventory. Especially population growth, urbanization and changes in transportation infrastructure cause smart city technologies to gain more importance. Various smart transportation solutions developed to reduce traffic density, increase transportation safety and support environmental sustainability make cities more livable. Intelligent Transportation Systems (ITS), one of the most critical components of the Smart City concept, aims to make transportation safer, more efficient and sustainable by optimizing traffic management. ITS use innovative technologies such as artificial intelligence, big data analytics and the Internet of Things to regulate traffic flow, provide instant traffic information to drivers and take measures to prevent traffic accidents. Thanks to these systems, traffic lights and intersection management are made smarter, making urban transportation smoother and reducing unnecessary traffic congestion. For autonomous vehicles to operate successfully, not only GPS/GNSS data is not enough, but also high-precision map data is needed. HD maps not only provide autonomous vehicles with geolocation information, but also detailed road information such as road gradients, intersections, traffic signs and pedestrian crossings, allowing vehicles to better perceive their surroundings. With centimeter accuracy compared to traditional navigation systems, these maps not only improve autonomous driving safety, but also form the basis of next-generation transportation solutions such as autonomous taxi and public transport services. It also aims to provide precise road information for advanced driver assistance systems. These systems incorporate many advanced features such as lane keeping assistants, emergency braking support systems and traffic sign detection technologies. HD maps and ADAS technologies work together to increase drivers' environmental awareness and contribute significantly to accident prevention. HD maps offer much higher accuracy than traditional maps, helping intelligent traffic management work more efficiently by precisely identifying road surface details, lane information, traffic signs and road gradients. Dynamic data such as speed limits, intersection structures and road works are also continuously updated to ensure that drivers have access to the most up-to-date information. 3D road inventories create a digital twin of the road infrastructure, providing a comprehensive database for traffic flow analysis, maintenance-repair planning and urban transportation optimization. These technologies form the basis of dynamic traffic routing, safe driving assistants and autonomous mobility solutions in smart cities. With the increasing importance given to intelligent transportation systems, studies on automatic detection of traffic signs are also increasing, and many countries aim to increase the accuracy and efficiency of these systems by creating their own traffic sign data sets. In this study, a method based on MHS for automatic detection of traffic signs is proposed and a dataset of traffic signs of Turkey, which is not available before and created for the first time in this study, is prepared. The selection of 10 different traffic signs to be automatically detected and recognized by artificial intelligence was made from KGM Traffic Signs Manual. The traffic signs selected for the study should have different shapes such as circles, triangles, octagons and different colors. In addition, it was tried to take into account that the traffic signs contain text and small shapes and are among the traffic signs used all over the world. In July 2021, data was collected by measuring a 6 km section of a highway in the Black Sea Region with a MHS mounted on a vehicle traveling at a speed of approximately 80 km/h. Obtaining images from real traffic scenes using the MHS increases the reliability of the model presented in the study. In this framework, YOLOv4-Tiny, one of the object detection algorithms, which is predicted to be more suitable for mobile vehicles for the detection and recognition of traffic signs, was used for the first time in the world on MHS system data. This algorithm offers low computational cost due to its simple neural network structure compared to other algorithms. It is more suitable for embedded devices in terms of hardware structure. It is also a better option for real-time detection than other approaches. In the proposed method, a dataset consisting partly of images taken with MHS based on realistic field measurements and partly of images obtained from open datasets was used to train the model. As a result of the training of this developed model, the Average Precision (𝑚𝐴𝑃) value was obtained as 98.18%. The obtained 𝑚𝐴𝑃 value is quite high compared to other studies on object detection models. In addition, it shows a great success rate especially in the detection of small objects in complex scenarios such as traffic signs. The trained model was first tested on existing open source images and MHS images. Then, real-time tests were conducted in a laboratory environment using a simple fixed webcam. The test results show that the proposed method can improve driving safety by detecting traffic signs quickly and accurately. Thus, it can contribute to the automatic detection and recognition of road inventories, including traffic signs, making the processes faster and less risky. Since the proposed method is easy to implement in real life for mobile and autonomous systems, it is thought that it is suitable for use in autonomous vehicles and will contribute to smart transportation systems in smart city planning. In the introduction section of the study, a detailed literature review on the subject and the aims and objectives of the study are presented. In the second section, detailed information about the artificial intelligence technologies used in the study is shared. In the third section, the modeling and training of YOLOv4-Tiny, one of the artificial intelligence object detection algorithms, the generation of a traffic sign dataset using MHS data, and the implementation of tests on the model are presented. In the fourth section, the performance of the proposed method is discussed and evaluated by performing different tests according to various scenarios that can be encountered in real life. In the conclusion, the results of the study are presented and some suggestions are made for future similar studies on the subject.
Benzer Tezler
- Design, implementation and comparison ofsensor fusion methods for object detection and trackingbased on multiple 3D lidar sensors
Çoklu 3D lidar sensörleri üzerindenesne algılama ve takibi için sensör füzyon yöntemlerinintasarımı, uygulaması ve karşılaştırılması
ELİF AKSU TAŞDELEN
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. VOLKAN SEZER
- Investigation of artificial intelligence-based point cloud semantic segmentation
Yapay zeka tabanlı nokta bulutu semantik bölümlendirmesinin incelenmesi
MUHAMMED ENES ATİK
Doktora
İngilizce
2022
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ZAİDE DURAN
- Histogram-based sampling and multi-level global registration for 3D point clouds
3B nokta bulutları için histogram tabanlı örnekleme ve çok katmanlı global eşleştirme
OSMAN ERVAN
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN TEMELTAŞ
- Towards robustness in 3D point cloud analysis: Novel approaches to adversarial attacks and defences
3B nokta bulutu analizinde gürbüzlüğe doğru: Çekişmeli saldırılar ve savunmalar için yeni yaklaşımlar
BATUHAN CENGİZ
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. GÖZDE ÜNAL
- Otonom araçlar için 2B lazer tarayıcı kullanılarak yeni 3B LIDAR sistemi elde edilmesi ve engel tespiti
Obtaining a new type 3D LIDAR system using 2D laser scanner for autonomous vehicles and obstacle detection
AHMET KAĞIZMAN
Yüksek Lisans
Türkçe
2018
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ERDİNÇ ALTUĞ