Geri Dön

Integrating path planning and image processing with UAVs for disease detection and yield estimation in indoor agriculture

Kapalı alan tarımda hastalık tespiti ve verim tahmini için rota planlama ve görüntü işlemenin İHA'larla entegre edilmesi

PDF İndir

  1. Tez No: 888651
  2. Yazar: ONAT ERDOĞMUŞ
  3. Danışmanlar: PROF. DR. ERDİNÇ ALTUĞ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Mekatronik Mühendisliği, Mechatronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Mekatronik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 77

Özet

Bu tezde, İnsansız Hava Araçları (İHA) ile kontrollü ortam tarımının entegrasyonu incelenmektedir. Özellikle, iç mekan tarımında hastalık tespiti ve verim tahmini ile ilgili büyük engellerin aşılması üzerinde durulmaktadır. Araştırma, yüksek çözünürlüklü sensörlerle donatılmış İHA'ların gelişmiş yeteneklerinden yararlanarak ve karmaşık rota planlama ve görüntü işleme algoritmalarını kullanarak iç mekan tarım uygulamalarını en üst düzeye çıkarmayı amaçlamaktadır. Sistemin temel komponentlerinden biri olan rota planlama modulünün ana görevi, İHA'ları iç mekan çiftliklerinin dar alanlarında etkin bir şekilde yönlendirmektir. Bu, bitki yatakları, duvarlar ve destek kirişleri gibi engellerden kaçınarak mümkün olan en kısa rotada uçmayı ve seranın tamamını kapsadığından emin olmayı içerir. Bu problem, Gezgin Satıcı Problemi'ne (TSP) benzer şekilde graf teorisi kullanılarak formüle edilmiştir ve amaç, tüm önemli noktaları ziyaret eden en kısa rotayı bulmaktır. Christofides Algoritması ve En Yakın Komşu gibi sezgisel yaklaşımlar, Dal ve Sınır gibi kesin yöntemler ve Genetik Algoritmalar, Karınca Kolonisi Optimizasyonu ve Benzetimli Tavlama gibi meta-sezgisel stratejiler dahil olmak üzere birçok algoritma değerlendirildi. Bu değerlendirmelerin çıktısına bakıldığında ve insansız hava araçlarının sahip olduğu işlemci gücü veyahut zaman sınırlamaları gibi faktörlerin de değerlendirilmesiyle çalışmada, sezgisel ve meta-sezgisel stratejilerin kombinasyonunun kesin algoritmalardan daha iyi olacağı sonucuna varıldı. Bu kombinasyon, hesaplama verimliliği ve çözüm kalitesi arasında optimum dengeyi sağlamış ve Google'ın OR-Tools kütüphanesi kullanılarak uygulandı. Rota planlama modülü, seranın düzenini kullanarak ızgara noktaları oluşturmak ve mesafe matrislerini hesaplamak suretiyle problemin tabanını oluşturmaktadır. Daha sonra, TSP, yerel arama meta-sezgiselleri ve çeşitli ilk çözüm metodolojileri kullanılarak erken çözümlerin rafine edilmesiyle çözülmektedir. Meta-sezgisel karşılaştırmalar için seçilen yöntem olan“Path Cheapest Arc”, hızlı bir ilk rota oluşturma hareketi gösterdi ve daha fazla karşılaştırma ve pratik uygulama için uygun olduğunu kanıtladı. Seçilen ilk çözüm stratejisi kullanılarak farklı nokta sayıları ve farklı mesafe matrisleriyle testler çoklandı. Problem boyutuna bağlı olarak farklı meta-sezgisel yöntemlerin davranışları değerlendirildi. İHA'ların çektiği anlık görüntülerdeki meyvelerin tespit edilmesi ve sayılması, görüntü işleme modülünde verim tahmini görevinin bir parçasıdır. Yolov8, hız ve hassasiyeti birleştirme yeteneği sayesinde tek aşamalı dedektörler arasından seçildi ve bu kategoriye mensup diğer dedektörler gibi YOLO'nun da gerçek zamanlı uygulamalar için avantajlı bir konumda olduğu tekrar kanıtlanmış oldu. Yüksek hassasiyet ve geri çağırma metriklerine sahip YOLOv8s modeli, altı farklı meyve sınıfını içeren 8,479 fotoğraftan oluşan bir veri seti üzerinde eğitildi. Modelin performansını değerlendirmek için bir dizi ölçüm kullanıldı ve sonuçlar, modelin dayanıklı ve etkili bir şekilde öğrenildiğini gösterdi. Bu ölçümler arasında Hassasiyet-Güven Eğrisi, F1-Güven Eğrisi, Geri Çağırma-Güven Eğrisi ve Hassasiyet-Geri Çağırma Eğrisi yer almaktadır. Hastalık tespitinin ana amacı, hastalık belirtilerini tanımak için bitki yaprağı görüntülerini kategorize etmektir. YOLOv8s-cls gibi yüksek doğruluk ve hesaplama verimliliğine sahip en son mimariler seçildi. Modeli eğitmek için hem sağlıklı hem de sağlıksız elma ve üzüm yapraklarını içeren 18.741 fotoğraftan oluşan bir veri seti kullanıldı. Modelin performansını değerlendirmek için karmaşıklık matrisleri ve eğitim kaybı grafikleri kullanıldı ve bunlar, modelin çeşitli hastalık sınıflandırmaları ve sağlık durumları arasında ayrım yapma kapasitesini ve güvenilirliğini doğruladı. Sistem entegrasyonu ve simülasyon için ROS ve Gazebo platformları kullanıldı. İHA platformu, sanal ortamla entegre edilmiş temel sensörler ve kontrol algoritmalarını içermektedir ve Kopterworx Eagle quadcopter baz alınarak oluşturulmuştur. Bu konfigürasyon sayesinde, gerçek uçuş operasyonlarıyla gelen tehlikeler olmadan kontrol teknikleri ayrıntılı olarak test edilip geliştirilebildi. İşlemci gücü ve benzeri teknik kısıtlamaların da bu sayede önüne geçildi. ROS çerçevesi, rota planlama ve görüntü işleme bileşenleri arasında sorunsuz iletişim sağladı ve modüler ve dağıtılmış sistem geliştirmeyi kolaylaştırdı. Görüntü İşleme düğümü, gerçek zamanlı görüntü analizi ve hassas verim tahmini ile hastalık tespiti sağlarken, Rota Planlayıcı düğümü etkili uçuş yolları oluşturdu. Gazebo'daki simülasyon kurulumunun gerçekçi bir iç mekan tarım ortamını taklit etmesi sayesinde, İHA gerçek bir serada çalışacağı gibi işlev gösterebildi. İç mekan kurulum boyunca İHA, oluşturulan uçuş rotalarını doğru bir şekilde takip ederek sabit ve düzgün bir şekilde hareket etti. İHA'nın kamerası tarafından alınan görüntülerin gerçek zamanlı işlenmesi, doğru verim tahminlerini ve hastalık belirtisi tespitlerini doğrulayan açıklamalı görüntülere dönüştü. Bu simülasyonlar sayesinde, sistemin sağlıksız bitkileri tanımlama ve verim hesaplama kapasitesi doğrulandı; çok az sayıda hatalı algılama sayesinde sistemin büyük oranda doğruluk ve güvenilirlik gösterdi. Bu hatalı algılamalar temelinde esnek hesaplama metotlarının optimal olmayan sonuçlar vermesinden kaynaklanmaktadır. Çalışmanın bulguları, yenilikçi rota planlama ve görüntü işleme algoritmalarıyla donatılmış insansız hava araçlarının entegre bir sisteminin, iç mekan tarımının sürdürülebilirliğini ve verimliliğini önemli ölçüde artırabileceğini öne sürmektedir. Rota planlama modülünün dinamik zaman sınırı fonksiyonu, farklı sera boyutlarında etkili işleyişi garanti altına almak için büyük bir öneme sahiptir. Bu fonksiyon, sera düzeninin karmaşıklığını ve ızgara noktalarının sayısını hesaba katarak zaman sınırını dinamik olarak ayarlamaktadır. Değişen nokta sayıları için rastgele girdili testler tekrar tekrar yürütülerek, çözüm mesafelerinin düzlüğe ulaştığı nokta belirlenmektedir. Bu uyarlanabilir teknik, daha basit düzenler için gereksiz gecikmeleri en aza indirerek ve karmaşık durumlar için yeterli hesaplama süresi sağlayarak sistemin üstün performansını korumasını sağladı. Aynı zamanda, görüntü işleme modülünün güçlü performans göstergeleri, gerçek zamanlı uygulamalarda ne kadar iyi çalıştığını da vurgulamış oldu. Fiziksel denemelerle ilişkili tehlikeleri ve maliyetleri azaltarak, ROS ve Gazebo simülasyon platformlarının kullanımı, ölçeklenebilir ve düşük maliyetli testler yapılmasını sağladı. Gerçek dünya görüntüleriyle test edilen meyve algılama modeli, zorlu koşullar altında bile üzüm çeşitlerini filtrelemek ve hatalı pozitifleri azaltmak için ortalama renk analizini kullanarak güçlü bir performans sergiledi. Hastalık sınıflandırma modeli, ideal olmayan koşullarda uzman doğrulaması gerektirmekle beraber, yaprakları doğru bir şekilde tespit edip sınıflandırdı. Sonuç olarak, bu çalışma, İHA'ların yenilikçi teknolojilerle birleşmesinin, iç mekan tarımının verim tahmini ve hastalık tespiti konusundaki sorunlarını aşmasına nasıl yardımcı olabileceğini gösterdi. Önerilen sistem, simüle edilmiş durumlarda başarılı sonuçlar göstererek kaynak tahsisini optimize etme, mahsul yönetimini iyileştirme ve gıda arzını sürekli olarak sağlama alanlarında etkinliğini kanıtladı. Gelecek araştırmalar, gerçek dünya senaryolarında ölçeklenebilirliğe ve uygulamaya, çeşitli iç mekan tarım konfigürasyonlarında saha testlerine ve daha gelişmiş sensörler ile geliştirilmiş İHA uçuş dinamiklerinin entegrasyonunu araştırmaya odaklanmalıdır. Bu gelişmeler, sistemin genel performansını arttırarak iç mekan tarımda kullanılan metotları ilerletecek, sistemin dayanıklılığını ve uyarlanabilirliğini güçlendirecektir.

Özet (Çeviri)

The integration of Unmanned Aerial Vehicles (UAVs) with Controlled Environment Agriculture (CEA) is examined in this thesis, with a particular emphasis on tackling the major obstacles associated with disease detection and yield estimation in indoor farming. In order to maximize indoor agricultural practices, the research intends to take advantage of the advanced capabilities of UAVs fitted with high-resolution sensors together with complex path planning and image processing algorithms. One of the main components of the system is the path planning module. The main task of the path planning module is to effectively guide UAVs through the small areas of indoor farms. This entails flying in the shortest path possible, avoiding obstructions like plant beds, walls and support beams, and making sure the entire greenhouse is covered. Similar to the Traveling Salesman Problem (TSP), the problem is formulated using graph theory and the objective is to find the shortest route that visits all important points. Numerous algorithms, including heuristic approaches like Christofides' Algorithm and Nearest Neighbor, exact methods like Branch and Bound, and metaheuristic strategies like Genetic Algorithms, Ant Colony Optimization, and Simulated Annealing, were assessed. The study came to the conclusion that it would be better to use a combination of heuristic and metaheuristic strategies rather than exact algorithms. They provided the optimum compromise between computational efficiency and solution quality, and they were implemented using Google's OR-Tools library. The path planning module was implemented by generating grid points by using the greenhouse layout and computing distance matrices. Later, the TSP was resolved by refining the early solutions using local search metaheuristics and a variety of first solution methodologies. Path Cheapest Arc, the approach that was selected for the metaheuristic comparisons, showed a consistent rate of path creation, which qualified it for more comparisons and practical deployment. Identifying and counting fruits in snapshots that the UAVs took was part of the yield estimation task in the image processing module. Yolov8, a single-stage detector, was chosen because of its ability to merge speed and precision, which makes it perfect for real-time applications. With a high precision and recall metrics, the YOLOv8s model was trained on a dataset of 8,479 photos that included six different fruit classes. A number of measures were used to assess the model's performance, and the results showed that it was robust and effectively learned, including the Precision-Confidence Curve, F1-Confidence Curve, Recall-Confidence Curve, and Precision-Recall Curve. The main goal of disease detection was to categorize plant leaf images in order to recognize disease symptoms. Latest architectures with great accuracy and computational efficiency, such as YOLOv8s-cls, were selected. A dataset of 18,741 photos, containing both healthy and unhealthy apple and grape leaves, was used to train the model. Confusion matrices and training loss graphs were used to evaluate the model's performance, and they verified the model's dependability and capacity to discriminate between various disease classifications and health states. The ROS and Gazebo platforms were used for system integration and simulation. The UAV platform included key sensors and control algorithms that were integrated with the virtual environment. It was based on the Kopterworx Eagle quadcopter. With this configuration, the control techniques may be thoroughly tested and improved without the hazards that come with actual flight operations. The ROS framework enabled smooth communication between the path planning and image processing components, facilitating modular and distributed system development. The Image Processing node provided real-time picture analysis and precise yield estimation and disease detection while the Path Planner node created effective flight pathways. The UAV was able to function as it would have in a real greenhouse given that to the simulation setup in Gazebo, which imitated a realistic indoor agricultural environment. Throughout the interior setup, the UAV moved steadily and smoothly, accurately following the created flight routes. Real-time processing of the UAV's camera's acquired visuals translated into annotated images that validated accurate yield estimations and accurate disease symptom identification. Through these simulations, the system's capacity to identify unhealthy plants and calculate yields was verified; despite a couple of discrepancies, it demonstrated great accuracy and dependability. The study's findings suggested that an integrated system of unmanned aerial vehicles equipped with innovative path planning and image processing algorithms could substantially improve indoor agriculture's sustainability and efficiency. The dynamic time limit function of the path planning module was essential in guaranteeing effective functioning in different greenhouse sizes. The complexity of the greenhouse arrangement and the quantity of grid points were taken into account by this function while adjusting the time limit dynamically. Through iteratively executing randomized tests for varying point counts, the function determined the point at which solution distances plateud. By minimizing needless delays for simpler layouts and giving enough computing time for complex instances, this adaptive technique allowed the system to maintain superior performance. In the meantime, the image processing module's strong performance indicators highlighted how well it worked in real-time applications. Reducing the dangers and costs associated with physical trials, scalable and cost-effective testing was made possible by the use of the ROS and Gazebo simulation platforms. Additionally, the fruit detection model, tested with real-world images, demonstrated robust performance by utilizing average color analysis to filter grape varieties and reduce false positives, even under challenging conditions. The disease classification model accurately detected and classified leaves, with expert validation recommended to confirm the results, especially under non-ideal conditions. In conclusion, this study showed how combining UAVs with novel technologies might help indoor agriculture overcome its problems with yield estimation and disease detection. In simulated situations, the suggested system demonstrated successful outcomes, demonstrating its capacity to optimize resource allocation, enhance crop management, and guarantee a steady supply of food. Future research should concentrate on scalability and implementation in real-world scenarios, field testing in various indoor farming configurations, and investigating the integration of more sophisticated sensors and enhanced UAV flight dynamics. These developments will improve the system's overall performance in revolutionizing indoor agriculture methods as well as its resilience and adaptability.

Benzer Tezler

  1. Tez No

    844768

    Vision-based landing site detection for a UAV: From theory to application

    İHA için görüş tabanlı iniş yeri tespiti: Teoriden uygulamaya

    HEDAYAH OTHMAN ISMAIL OZDEMIR

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Havacılık ve Uzay MühendisliğiAdana Alparslan Türkeş Bilim Ve Teknoloji Üniversitesi

    Havacılık ve Uzay Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ DAVOOD ASADIHENDOUSTANI

  2. Tez No

    609804

    3 boyutlu nesne algılaması ile çalışan robot kollu otonom taşıma sistemi tasarımı

    Design of autonomous handling robotic manipulator system with3D object detection

    TICHAONA JONATHAN MAKOMO

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Mekatronik MühendisliğiSakarya Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ BARIŞ BORU

  3. Tez No

    778020

    Otonom uçan robot için nesne sınıflandırma yaklaşımıyla bilinmeyen kapalı alan içinde gerçek zamanlı ortam haritalandırması ve yol planlaması

    Real-time mapping and path planning in an unknown indoor environment by object classification approach for autonomous flying robots

    ÖNDER ALPARSLAN

    Doktora

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMilli Savunma Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ÖMER ÇETİN

  4. Tez No

    356077

    Coğrafi bilgi sistemleri (CBS) ve analitik hiyerarşi yöntemi (AHY) ile üretilen deprem tehlike haritalarının duyarlılık analizi

    Sensitivity analysis of earthquake hazard maps produced by geographic information systems (GİS) and analytic hierarchy process (AHP)

    MUSTAFA ALİ GÖKKAYA

    Yüksek Lisans

    Türkçe

    Türkçe

    2014

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    Geomatik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. TURAN ERDEN

  5. Tez No

    525195

    Görsel servolama yaklaşımı ile endüstriyel robot kol kontrolü

    Control of industrial robot manipulator using visual servoing approach

    DANIEL HABIYAMBERE

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Elektrik ve Elektronik MühendisliğiEskişehir Osmangazi Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. METİN ÖZKAN

Geri Dön