Geri Dön

Doku ve renk öznitelikleriyle tarla görüntülerinden bitki ve fenolojik evrelerinin çıkarımı

Plant and phenology recognition from field images using texture and color features

PDF İndir

  1. Tez No: 511565
  2. Yazar: FATİH GÜLAÇ
  3. Danışmanlar: PROF. DR. ULUĞ BAYAZIT
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2018
  8. Dil: Türkçe
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 69

Özet

Günümüz dünyasında küresel ısınma, nüfus artışı, kuraklık, erozyon, tarım alanlarının farklı amaçlar için kullanılması gibi etkenler tarımsal verimlilik konusunu önemli hale getirmiştir. Tarımsal verimlilik konusunda ilerlemek için günümüz bilgi teknolojilerine ihtiyaç duyulmaktadır. Tarım alanlarının sensörler ve kameralar aracılığıyla izlenmesi sonucu toplanan veriler sayesinde tarımsal araziler üzerinde verimliliği artırıcı uygulamalar geliştirilebilmiştir. Dünyada pek çok ülkede ulusal tarım gözlemleme ağı bulunmaktadır. Türkiye'de de Tarım, Gıda ve Hayvancılık Bakanlığı tarafından kurulan ve desteklenen TARBIL, tarımsal gözlemleme ve bilişim sistemidir. Türkiye'nin birçok yerinde tarımsal alanlara çok sayıda sensörlerle ve kameralarla donaltılmış yer istasyonları kurulmuştur. Bu istasyonlardan toplanan meteorolojik ve görüntü verileri merkeze anlık olarak aktarılmaktadır. Mevcut sistemde, toplanan görüntülerden bitki türü ve fenolojik aşama bilgilerinin arşivleme amaçlı olarak etiketlenmesi ve sulama, gübreleme ve dezenfeksiyon rejimlerinin geliştirilmesi ile ilgili araştırmaların yapılması ve ekili ürünün tahmin edilmesi için manuel uzman insan iş gücü gerekmektedir. İnsanın olduğu yerde hatanın da olabileceği düşünülürse, fenolojik evrelerin saptanmasının otomatik hale getirilmesi, hem iş gücü kazancı hem de tarımsal verimliliğe hızlı çözüm üretmek anlamına gelecektir. Bu tez çalışmasında, 58 farklı TARBIL istasyonundaki 66 farklı gözlem aralığında arpa, ayçiçeği, buğday, mısır, nohut ve pamuk bitkilerine ait çekilmiş 1x ve 10x yakınlaştırma seviyelerindeki toplamda 13323 adet yakın plan görüntüler kullanılarak geliştirilen sistem ile bitki türü ve fenolojik evrelerinin otomatik tespit edilmesine çalışılmıştır. Bu problemin çözümüne ilişkin görüntülerin doku ve renk öznitelikleri kullanılmıştır. Kullanılan doku öznitelik çıkarma yöntemleri, Yönlü Gradyanların Histogramı (İng. HOG, Histogram of Oriented Gradients), Gri Seviye Eş Oluşum Matrisleri (İng. GLCM, Gray Level Co-occurence Matrices) ve Laws'ın Doku Enerjisi Ölçümleri (İng. LTEM, Law's Texture Energy Measures)'dir [6-9,12]. Kullanılan renk öznitelik çıkarım yöntemi ise renk momentleridir [11]. Yönlü Gradyanların Histogramı (HOG), görüntülerdeki nesnelerin kenar bilgisi ve gradyan değerine bakarak nesne ile ilgili öznitelik çıkarımı için kullanılan bir yöntemdir. Bu yöntem, görüntünün“hücre”denilen küçük yerel bölgelere bölünüp bu bölgeleri tanımlayıcılar olarak adlandırılan yerel histogramlar ile tanımlama esasına dayanır. Yerel histogram, hücreler için hesaplanan gradyan vektörlerin belirlenen yön aralığındaki oluşma sayısının dağılımını ifade eder. HOG tanımlayıcıları, yerel hücreler üzerinden hesaplandığı için objenin geometrik ve fotometrik değişimlerine karşı iyi sonuç verir. Bu çalışmada her bir görüntü verisi, 100 (10x10) adet hücreye bölünmüş ve her bir hücre için normalize edilmiş yerel histogram oluşturulmuştur. Sonuç olarak her hücre için normalize edilmiş 9 aralıklı bir yerel histogram olmak üzere toplamda 100 adet hücredeki histogramlar birleştirilerek (10x10x9) = 900 boyutlu HOG özniteliği hesaplanmıştır. HOG yöntemiyle elde edilen öznitelikler yüksek boyutlara sahip olduğu için yapılacak olan işlem sayısını ve bu işlemlerin çalışma zamanını azaltmak amacıyla elde edilen öznitelik boyutlarını indirgemek için Temel Bileşenler Analizi (PCA) yöntemi kullanılmıştır. Gri Seviye Eş Oluşum Matrisleri (GLCM), görüntülerin doku özelliklerinin çıkarılması için kullanılan istatistiksel bir yöntem olup aralarında belli bir geometrik uzaklık bulunan i ve j gri seviye değerine sahip piksel çiftlerinin belli bir yöndeki oluşum sıklıklarını ifade eden ve boyutu görüntüdeki farklı gri seviye değer sayısı (N) kadar olan bir kare matristir. Gri seviye eş oluşum matrisleri hesaplanırken iki piksel arasındaki ilişki, uzaklık ve yön bilgisine bağlı olarak belirlenir. Elde edilen eş oluşum matrisleri dokuyu tanımlamak için istatistiksel bilgiler elde etmek amacıyla kullanılmaktadır. Bu çalışmada bu istatistik bilgilerinden 0◦, 45◦, 90◦, 135◦ yönlerinde kontrast, homojenlik, entropi, enerji ve benzemezlik olmak üzere (4x5) = 20 adet öznitelik çıkarımı gerçekleştirilmiştir. Law's Doku Enerji Ölçümleri (LTE), görüntüdeki doku enerjilerini hesaplamak için görüntü üzerinde kullanacağı iki boyutlu konvolüsyon maskeleri oluşturmak için önceden belirlenmiş olan 4 adet tek boyutlu vektörlerin kullanılması esasına dayanır. Elde edilen iki boyutlu konvolüsyon maskeleri görüntüler ile konvolüsyon işlemine sokularak doku enerji haritaları elde edilir. Bu çalışmada 9 adet doku enerji haritası kullanılmıştır. Elde edilen 9 adet doku enerji haritalarından değerlerin ortalamaları alınarak 9 adet öznitelik çıkarımı gerçekleştirilmiştir. Renk öznitelik vektörleri çıkarımı için kullanılan ve görüntülerin renk dağılımlarının benzerliğini hesaplayan bir yöntem olan renk momentleri, görüntülerin tüm renk bilgisini dikkate almak yerine renklerin baskın özelliklerini dikkate almaktadır. Bu baskın özellikler, renklerin olasılık dağılımlarına ait ilk üç moment olan ortalama, standart sapma ve eğrilik momentleridir. Bu çalışmada, ışık, gölge, arka plan gibi çeşitli aydınlatma koşullarından etkilenilmemesi için görüntüler RGB renk formatından HSV renk formatına dönüştürüldükten sonra renk momentleri çıkarılması işlemi yapılmıştır. Her bir görüntüde, HSV renk formatında 3 adet kanalın her biri için 3 farklı moment toplamda 9 adet renk öznitelik çıkarımı gerçekleştirilmiştir. Bu çalışmada hesaplanarak elde edilen renk öznitelikleri, her bir doku özniteliği ile birleştirilerek Naive Bayes, k-en yakın komşu, destek vektör makineleri ve rastgele ormanlar sınıflandırıcılar ile sınıflandırılmıştır. Destek vektör makineleri ve k-en yakın komuşu sınıflandırıcıları için parametre optimizasyonu yapılarak sınıflandırma sonuçlarının başarısı artırılmıştır. Sınıflandırma işlemleri öncesinde sınıflandırıcının eğitilmesi için eğitim seti ile eğitim sonrası oluşturulan modelin test edilmesi için test seti oluşturulması gerekmektedir. Bu çalışmada eğitim ve test setlerinin oluşturulması için 5-tabakalı çapraz doğrulama (İng. Stratified 5-fold cross validation) ve birini dışarıda bırakarak çapraz doğrulama (İng. Leave-one-out cross validation) yöntemleri kullanılmıştır. Renk analiz yöntemleri ile birlikte kullanılan doku analiz yöntemlerinin farklı sınıflandırıcılar ile doğruluk başarı oranları ölçülmüştür. Sonuçlara bakıldığında, eğitim ve test veri setinin hazırlanma şeklinin sınıflandırma performansına etkisinin büyük olduğu görülmüştür. 5-tabakalı çapraz doğrulama ile yapılan sınıflandırma performansları, birini dışarıda bırakarak çapraz doğrulama ile yapılan sınıflandırma performansına göre oldukça yüksektir. Sonuçlar, HOG yönteminin destek vektör makineleri sınıflandırıcısı ile en iyi performansı verdiğini göstermektedir. Sınıflandırıcılar içinde genel olarak en düşük performans Naive Bayes sınıflandırıcısı ile alınmıştır. Bu çalışmada geliştirilen sistem, çiftçilere verilecek tablet PC'ler ile sahada otomatik tür ve evre çıkarma işleminde kullanılabilir. Bunun yardımıyla çiftçiler sulama, gübreleme rejimi belirleme ve ürün verimi tahmini konularında çıkarımlarda bulunabilirler. Ayrıca çok sayıda merkezdeki kameralardan iletilen görüntünün arşivlenmeden önce otomatik etiketlenmesi ile sulama, gübreleme rejimi, ilaçlama, rekolte tahmini üzerine yapılacak olan araştırmalarda kullanılabilir. Bu çalışmanın sonuçları aynı zamanda, derin öğrenme ile geliştirilecek yöntemlerin performansını değerlendirmek için bir kriter olarak kullanılacaktır.

Özet (Çeviri)

In today's world, factors such as global warming, population growth, drought, erosion and the use of agricultural fields for different purposes have made the issue of agricultural efficiency important. Today's information technology is needed to advance agricultural efficiency. The data collected as a result of the monitoring of agricultural areas through sensors and cameras leads to productivity-enhancing applications on agricultural terrain. There are national agricultural monitoring networks in many countries around the world. TARBIL agricultural monitoring and information system was established and supported by the Ministry of Agriculture, Food and livestock in Turkey. In many parts of Turkey, agricultural areas have been furnished with ground stations that accommodate sensors and cameras. Meteorological and image data collected from these stations are transmitted instantly to a server. In the current system, manual expert analysis is needed to determine the plant type and phenological stage information from the collected images in order to label them for archival use as well as for research related to the development of irrigation, fertilization and disinfection regimes and prediction of yield. In this work, we consider the utility of automatic image classification since manual classification is time consuming and hinders agricultural efficiency. In this thesis study, a system was developed to automatically detect the plant type and phenological stage by using 13323 close-up field images in 1x and 10x zoom type levels of barley, sunflower, wheat, corn, chickpeas and cotton plants taken in 66 different observation periods at 58 different TARBIL stations. The texture and color features of the images were used to solve this problem. Methods of extracting texture features are Histogram of Oriented Gradients (HOG), Gray Level Co-occurence Matrices (GLCM) and Law's Texture Energy Measures (LTE)[6-9,12]. The color feature extraction method used is Color Moments [11]. Histogram of Oriented Gradients (HOG) is a method used to extract object-related features by looking at edge information and gradient values of objects in the images. In this method, the image is divided into small local regions called“cells”and these regions are defined by local histograms as identifiers. The local histogram refers to the distribution of the number of occurrences of the gradient vectors calculated for the cells in the specified direction range. HOG descriptor operates on localized cells, so the method is invariant to geometric and photometric transformations and is not affected by varying lighting conditions. In this study, each image data is divided into 100 (10x10) cells and a normalized local histogram is created for each cell. The histograms in the 100 cells are combined to yield a (10x10x9) = 900 dimensional HOG features. The principal component analysis (PCA) method is used to reduce the number of operations to be performed because the features obtained by the HOG method are having high dimensions. Gray Level Co-occurrence Matrices (GLCM) is a statistical method for extracting the texture properties of images. GLCM expresses the frequency of occurrences of a certain pair of pixel pairs with i and j gray level values with a certain geometric distance between them and is a square matrix with each dimension equal to the number of different gray level values (N) in the image. When gray level co-occurrence matrices are calculated, the relation between two pixels is determined according to distance and direction information. The obtained co-occurrence matrices are used to obtain statistical information to define the texture. In this study, (4x5) = 20 features were extracted from these statistical data in terms of contrast, homogeneity, entropy, energy and dissimilarity for the 0◦, 45◦, 90◦, 135◦ directions. Law's Texture Energy Measures (LTE) is based on the use of four predetermined one-dimensional vectors to create two-dimensional convolutional masks that can be used on the image to compute the image's texture energy. The obtained two-dimensional convolution masks are convolved with the images to obtain texture energy maps. In this study, 9 texture energy maps are used. By averaging values of these maps 9 features are extracted. Color moments, a method for extracting color features and calculating the similarity of color distributions of images, take into account the dominant features of colors, rather than considering all color information in the images. These dominant features are the mean, standard deviation and skewness moments, which are the first three moments of probability distributions of colors. In this work, color moments are extracted after converting images from RGB color format to HSV color format so that lighting conditions such as light, shadow, background do not affect the results. In each image, 9 color attributes are extracted by calculating 3 different moments for each of 3 channels in the HSV color format. The color features obtained in this study were classified by Naive Bayesian, k-nearest neighbor, support vector machines and random forest classifiers after being combined with each texture feature. Parameter optimization for support vector machines and k-nearest neighbor classifiers improves the success of the classification results. In order to train the classification before the classification procedures, it is necessary to create a training set and a test set to test the model created after the training. In this study, 5-fold cross validation and leave-one-out cross validation method was used to construct training and test sets. Accuracy success rates of texture analysis methods used with color analysis methods were measured with different classifiers. From the results, it was seen that the effect of the preparation method of the training and test data set on the classification performance was great. Classification performance by 5-fold cross validation method is considerably higher than the classification performance by leave-one-out cross validation method. The results show that the HOG method gives the best performance with the support vector machine classifier. In general, the lowest performance in classifiers is achieved with the Naive Bayes classifier. The system proposed in this study can be used for the automated plant and its phenological stage recognition process on the field with Tablet PCs to be given to farmers. Farmers can then make inferences about irrigation, fertilization regime determination and yield prediction. In addition, automatic labelling of images captured by cameras in many stations before archiving facilitates research on the prediction of irrigation, fertilization regime, spraying and yield. The results of this study will also be used as a benchmark to assess the performance of the methods to be developed with deep learning.

Benzer Tezler

  1. Tez No

    472654

    Yenidoğanlarda sarılık tespiti için optimum yöntemin belirlenmesi

    Determination of optimal method for jaundice detection in newborns

    SERHAT KARAP

    Doktora

    Türkçe

    Türkçe

    2017

    Elektrik ve Elektronik MühendisliğiGazi Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. FIRAT HARDALAÇ

  2. Tez No

    596110

    Emotion prediction in movies using visual features

    Filmlerde görsel özellikler kullanılarak duygu tahmini

    FATİH ASLAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HAZIM KEMAL EKENEL

  3. Tez No

    251904

    Çok değişkenli Gauss karışım modelleme yöntemiyle görsel doku analizi

    Visual texture analysis using multivariate Gaussian mixture method

    YİĞİTCAN SAVRAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2009

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. BİLGE GÜNSEL

  4. Tez No

    329347

    Olgunlaşmamış şeftali meyvesini doğal bahçe koşullarında alınmış görüntülerde görüntü işleme teknikleri ve yapay sınıflandırıcılarla saptayarak sayan algoritmaların geliştirilmesi

    Developping algorithms to detect and count immature peach in colour images acquired in natural orchard conditions using image processing and artificial classifiers

    FERHAT KURTULMUŞ

    Doktora

    Türkçe

    Türkçe

    2012

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolUludağ Üniversitesi

    Tarım Makineleri Ana Bilim Dalı

    DOÇ. DR. ALİ VARDAR

  5. Tez No

    553322

    Gerçek zaman uygulamaları için görüntü bölütleme yöntemlerinin geliştirilmesi

    Improvement of image segmentation methods for real time applications

    YUNUS KOÇ

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. TAMER ÖLMEZ

Geri Dön