Geri Dön

Bilgisayarla görme ve makine öğrenmesi yöntemleri kullanılarak market raflarında ürün tanıma

Product recognition on grocery shelves using computer vision and machine learning methods

  1. Tez No: 860898
  2. Yazar: CEREN GÜLRA MELEK
  3. Danışmanlar: PROF. DR. SONGÜL VARLI, DOÇ. DR. ELENA BATTİNİ SÖNMEZ
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: Türkçe
  9. Üniversite: Yıldız Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 105

Özet

Market raflarındaki ürünlerin görüntüden tanıması için akıllı bir sistemin kullanılması, perakendecilik sektöründe karşılaşılan planogram uyumluluğu, stok takibi ve müşteri desteği gibi birçok sorunun çözümüne fayda sağlar. Ürün tanıma probleminin normal bir nesne tanıma probleminden farklı olarak kendine has zorlukları vardır: (1) ürün çeşitliliğinin ve ürünler arasındaki benzerliklerin fazla olması, (2) ürün boyutlarının birbirinden çok farklı olması (3) yenilenen ambalajlar ve eklenen yeni ürünlere ait verilerin sürekli toplanması ve sisteme eklenmesi. Bu nedenle, problemin çözümü için geleneksel yöntemlerin tek başına kullanılması yeterli değildir. Bu tez çalışmasında önerilen çok aşamalı uçtan-uca süreç ile ürün çeşidinden bağımsız olarak ürünlerin algılanması ve farklı ölçek, döndürme ve afin değişmez özellik çıkarma yöntemlerinin hibrit kullanımı sayesinde market raflarında ürün tanıma probleminin zorluklarına çözüm üretilmiştir. Ürünün algılanması, sınıflandırılması ve sonuçların iyileştirilmesini içeren bu yöntem ile girdi olarak alınan bir raf görüntüsünde önceden tanımlanmış tüm ürünlerin lokalizasyon ve sınıflandırma sonuçları elde edilir. Ürün algılama aşamasında, görüntüdeki her bir mevcut ürünün lokalizasyonu SSD algoritması ile tespit edilir. Ürün sınıflandırma aşamasında, probleme uygun özellik çıkarma yöntemleri SURF, BRISK ve ORB'nin hibrit kullanımı ile ürün şablonları, ürün algılama aşamasından elde edilen bölge önerileriyle eşleştirilir. Son aşama olan iyileştirme aşamasındaysa, komşuluk ilişkisi eklenmiş kümeleme algoritması ile aynı ürüne ait çoklu bölge önerileri üzerinde iyileştirmeler yapılarak nihai sonuca ulaşılır. Geliştirilen yöntem, farklı sayıda ürün çeşidi ve görüntüden oluşan Grocery Products veri seti ve onun alt kümeleri olan GP-20, GP-181 veri setlerinde test edilmiştir. Ayrıca, ürün algılama aşamasında eğitim için Grocery Dataset ve SKU-110K'nın alt kümesinden bir eğitim seti oluşturulmuştur. Bu tez çalışmasında, ürün çeşidinden bağımsız bir algılama süreci sağlandığından sürekli yenilenen ürün ambalajları ve eklenen yeni ürünlerden dolayı eğitim sürecinin tekrarlanması gerekmez. Ayrıca, hibrit bir ürün tanıma konseptiyle geniş ürün çeşitliliğinin market raflarındaki ürünlerin görüntüden tanınması probleminde yarattığı zorluğun üstesinden gelinmektedir. İyileştirme prosedürü ile güçlendirilen yöntemimiz, sunulan farklı yöntemlerle karşılaştırılır sonuçlar elde etmiştir.

Özet (Çeviri)

Using an intelligent system to recognize products from grocery shelf images provide to solve many problems encountered in the retail industry, such as planogram compatibility, stock tracking and customer support. The product recognition problem, unlike a normal object recognition problem, has its own difficulties: (1) product diversity and similarities between products are high, (2) product sizes are very different from each other (3) constantly collecting and adding the data of renewed packaging and new products to the system. Therefore, the use of conventional methods alone is not enough to solve problem. In this thesis, the proposed multi-stage end-to-end process produces solution to the difficulties of product recognition problem on grocery shelves with a product-independent detection process and the hybrid use of different scale, rotation, and affine invariant feature extraction methods. The method which includes product detection, classification and refinement of results, returns the localization and label results of all predefined products in a shelf image that takes as input. In the detection phase, the localization of each existing product in the image is detected with SSD algorithm. In the classification phase, product templates are matched with the region proposals obtained from the detection phase with the hybrid use of problem- appropriate feature extraction methods: SURF, BRISK and ORB. In refinement, the final result is achieved by making improvements on multiple region proposals for the same product with the neighborhood-related clustering algorithm. The developed method was tested on the dataset of Grocery Products and its subsets GP-20 and GP-181, which consists of different numbers of product types and images. Additionally, a training set was created from the Grocery Dataset and subset of SKU-110K for training in detection phase. In this thesis, retraining process does not required due to constantly renewed packaging and newly added products because a product-independent detection is provided. Moreover, a hybrid product recognition concept overcomes the difficulty created by product diversity in the problem of product recognition from shelf images. Our method, enhanced by the refinement procedure, achieved comparable results with the different presented methods.

Benzer Tezler

  1. Cryptocurrency price prediction by using social media data

    Makine öğrenmesi teknikleri kullanılarak sosyal medya verileri ile kripto para fiyat tahmini

    ÖZLEM GÜL PAMUK

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilim ve Teknolojiİstanbul Teknik Üniversitesi

    Bilişim Uygulamaları Ana Bilim Dalı

    DOÇ. DR. SEFER BADAY

  2. Fotovoltaik enerji sistemleri için öngörü modellerinin geliştirilmesi: Veri madenciliği ve derin öğrenme yaklaşımları

    Development of forecasting models for photovoltaic energy systems: Data mining and deep learning approaches

    FATMA DİDEM ALAY

    Doktora

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHarran Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. MEHMET TAHİR GÜLLÜOĞLU

    DR. ÖĞR. ÜYESİ NAGEHAN İLHAN

  3. Makine öğrenmesi yöntemleri ile kredi risk analizi

    Credit risk analysis using machine learning algorithms

    SACİDE KALAYCI

    Yüksek Lisans

    Türkçe

    Türkçe

    2018

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. MUSTAFA ERSEL KAMAŞAK

  4. Hava trafiği yönetimi için ADS-B sistemi uçuşverilerinin veri madenciliği yöntemleriyledeğerlendirilmesi

    ADS-B system for air traffic managementevaluation with efficiency methods

    MUHAMMET ÇELİK

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat Üniversitesi

    Yazılım Mühendisliği Ana Bilim Dalı

    PROF. DR. ENGİN AVCI

  5. Modelling and state of charge estimation of lithium-ion batteries

    Lityum bazlı batarya hücrelerininmodelleme ve şarj durumu tahmini

    MANİ KAZIMI

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı

    PROF. DR. METİN GÖKAŞAN