Geri Dön

Deep learning based fruit and vegetable recognition for android pos devices

Android pos cihazları için derin öğrenme tabanlı meyve ve sebze tanıma

  1. Tez No: 709406
  2. Yazar: EGE EKİCİ
  3. Danışmanlar: PROF. DR. ECE OLCAY GÜNEŞ
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Elektronik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 71

Özet

Teknolojideki gelişmeler ile ürünlerin kazandırdığı zaman ve maliyet verimliliği alışveriş eğilimlerinde önemli bir karar etkeni haline gelmiştir. Son yıllarda artan alışveriş akımlarıyla birlikte ödeme teknolojilerinin hızlanması da önemli bir gereklilik olmaya başlamıştır. Mevcut sistemde market alışverişlerinde çoğunlukla barkod teknolojisi kullanılmaktayken bu sistem özellikle paketlenmemiş ürünlerde insana bağımlılığı açısından hatalara ve verimsizliklere son derece açık durumdadır. Özellikle meyve ve sebze gibi“aldığın kadar öde”ürünlerinde çoğu zaman kasiyerler ürün kodlarını elle girmekte ve hataya açık bir durum oluşturmaktadır. Bunun yanında, genellikle alışverişin yoğun olduğu saatlerde ödeme süresini kısaltmak ve çalışan maliyetini azaltmak isteyen işletmeler, müşterilerin kendi ödemelerini kendi yapabilecekleri kasa sistemlerini hayata geçirmişlerdir. Ancak bu sistemler de, paketlenmemiş ürünlerde müşteriye güven sistemi üzerine işlemektedir. Alıcının meyve ve sebzenin türünü önündeki ekrandan seçerken, fiyatı farklı olan bir ürünü seçmesi durumunda sistemin buna karşı bir güvenlik önlemi bulunmamaktadır. Aynı zamanda bu sistemler geliri daha düşük olan küçük işletmeler için oldukça maliyetli olmaktadır. Bahsedilen bu sorunlara karşı bu projede güvenlik, maliyet ve zaman açısından kazanç sağlaması hedeflenen bir sistem önerilmiştir. Halihazırda çoğu işletmede bulunan Point of Sale - Ödeme Noktası (POS) cihazları kullanılarak, işletmelere fazladan donanım masrafı çıkarmama amacı hedeflenirken, projenin maliyet açısından da avantajlı olması sağlanmıştır. Meyve ve sebze gibi paketlenmemiş ürünlere odaklanırken, mevcut sistemin güvenlik açıklarına karşı cihazın kamerası ürün tanıma sistemine eklenerek insan kaynaklı hatalar azaltılmaya çalışılmış ve çeşitli yöntemler kullanılarak gerçek zamanlı bir sistem geliştirilmiştir. Bu projenin veri setinde poşetli ve poşetsiz tipte olmak üzere 14 adet meyve veya sebze çeşidi bulunmaktadır. Benzer çalışmalarda çoğunlukla obje sınıflandırma ve obje tanıma algoritmaları kullanılmaktadır. Ürünün ekran içinde farklı yerlerde ve miktarlarda bulunabilmesinden dolayı, bu projede obje tanıma algoritması kullanılmasına karar kılınmıştır. Obje tanıma algoritmalarının obje sınıflandırma algoritmalarından daha karmaşık yapıya sahip olmalarının yanı sıra, kullanılan POS cihazlarının sınırlı kaynaklara sahip olması sorunu yüzünden, cihazın bu algoritmalardaki işlem sayısı için yeterli olmama problemi ile karşı karşıya kalınmıştır. Bu sebepten dolayı model oluşturulurken boyutunun küçük olmasına dikkat edilirken, işlem zamanı kısa tutularak gerçek zamana yaklaştırılması hedeflenmiştir. Bu sebeple obje tanıma yöntemlerinden tek aşamalı dedektör yapısına ait en bilinen algoritmalardan biri olan“You Only Look Once (YOLO)”algoritmasına karar kılınmıştır. YOLO algoritmasının birden çok versiyonu geliştirilmiştir, ancak bu projede en son versiyonlardan olan YOLOv4 ile YOLOv5 uygulanarak performans kıyaslaması yapılmıştır ve en iyi sonucun %98 mAP skoru ile YOLOv5 ile alındığı gösterilmiştir. Daha sonra modelin boyutunu daha da küçültmek ve performansını arttırmak amacıyla kuvantumlama yöntemleri uygulanarak karşılaştırmalar yapılmıştır. Bu yöntemlerden“Full Integer Quantization”yöntemine karar verilirken model boyutunda %75 azalma sağlanmıştır. Oluşturulan model Token Finansal Teknolojiler şirketi tarafından geliştirilen android tabanlı MT8167A (1.5 GHz) CPU'suna sahip 400TR cihazına yüklenmiştir. Sistemin cihaz üzerinde bir çıkarım yapma süresi 1.332 saniye olarak ölçülmüştür.

Özet (Çeviri)

With the recent improvements in technology, time and expense-saving products have gained an important trend in marketplaces. Recent increases in shopping trends created a need for faster payment technologies. Even though the barcode system is currently one of the most popular technologies being used, this system is not fault-tolerant and likely to be inefficient for unpackaged products by being human dependent. As an example, fruits and vegetables are two of the most popular unpackaged product categories that are being priced based on the amount bought and cashiers usually enter a product code manually in case of purchase. Along with that, some businesses have installed self-checkout tables where customers can handle their own payments to decrease shopping time in rush hours and save on employee expenses. But self-checkout tables depend on customer trust when it comes to unpackaged products since any customer can select a product of a different price from the list. At the same time, self-checkout tables are very costly for most businesses. As a solution to the aforementioned problems, a system is proposed in this project that aims to benefit in security, expense, and time. The system aims to be advantageous by not creating an additional hardware expense by using the Point of Sale (POS) devices that most businesses already have. Focusing on fruits and vegetables, a recognition system is added using the device camera to prevent human-dependent security problems of the existing systems. Various techniques are experimented with to achieve a real-time system. In this project, a dataset consisting of 14 types of packaged and unpackaged fruits and vegetables is used. Related works usually implemented object classification and object recognition algorithms for similar problems but since objects can exist in different locations and amounts on a frame, an object recognition algorithm is decided to be more suitable for this project. Along with object detection algorithms being more complex than object classification algorithms, having POS devices with limited resources created a risk of the device being insufficient against the high computational needs of the system. For this reason, decreasing the model size and making the model closer to real time by decreasing the computation time became one of the purposes of this project. Therefore, among the object detector methods, it is decided to select a one-shot detector model.“You Only Look Once (YOLO)”is one of the state-of-the-art one-shot algorithms and is a well-known algorithm that has several versions developed over years. In this project, two of the latest versions; YOLOv4 and YOLOv5 are used and compared under several performance metrics and the best results are obtained with YOLOv5 with a mAP score of 98%. Later, several quantization methods are examined and compared for the purpose of creating a model of smaller model size and better performance. Among the quantization methods, best results are achieved with Full Integer Quantization, and model size is decreased by 75%. The proposed detection model is deployed on an android-based 400TR POS device developed by Token Financial Technologies with MT8167A (1.5 GHz) CPU. On the final system, inference time is observed as 1.332 seconds.

Benzer Tezler

  1. İş süreçlerinde insan görüsünü derin öğrenme ile destekleme

    Supporting human vision with deep learning on business process

    ALTUĞ YİĞİT

    Yüksek Lisans

    Türkçe

    Türkçe

    2017

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTrakya Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. CEM TAŞKIN

  2. Makine öğrenmesi algoritmalarıyla gıda sektöründe karar destek sistemlerinin oluşturulması

    Creating decision support systems in the food industry with machine learning algorithms

    EMRE KURU

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    EkonometriDokuz Eylül Üniversitesi

    Ekonometri Ana Bilim Dalı

    PROF. DR. İPEK DEVECİ KOCAKOÇ

  3. An intelligent system for detecting Mediterranean fruit fly [Medfly; Ceratitis capitata (Wiedemann)]

    Akdeniz meyve sineğinin (Ceratitis capitata) akıllı sistemile tespit edilmesi

    YUSUF UZUN

    Doktora

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAksaray Üniversitesi

    Elektrik-Elektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. MEHMET REŞİT TOLUN

  4. Derin Öğrenme Tabanlı Meyve Ayrıştırma Sistemi

    Deep learning based fruit separation system

    MUHAMMED TELÇEKEN

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİskenderun Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. YAKUP KUTLU

  5. Crop and fruit classification using ensemble deep learning and transfer learning

    Kolektif derin öğrenme ve transfer öğrenme yoluyla mahsul ve meyve sınıflandırması

    ZEYNEP DİLAN DAŞKIN

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Mekatronik MühendisliğiAtılım Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MUHAMMAD UMER KHAN