Bilgisayarla görme ve makine öğrenmesi yöntemleri kullanılarak market raflarında ürün tanıma
Product recognition on grocery shelves using computer vision and machine learning methods
- Tez No: 860898
- Danışmanlar: PROF. DR. SONGÜL VARLI, DOÇ. DR. ELENA BATTİNİ SÖNMEZ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 105
Özet
Market raflarındaki ürünlerin görüntüden tanıması için akıllı bir sistemin kullanılması, perakendecilik sektöründe karşılaşılan planogram uyumluluğu, stok takibi ve müşteri desteği gibi birçok sorunun çözümüne fayda sağlar. Ürün tanıma probleminin normal bir nesne tanıma probleminden farklı olarak kendine has zorlukları vardır: (1) ürün çeşitliliğinin ve ürünler arasındaki benzerliklerin fazla olması, (2) ürün boyutlarının birbirinden çok farklı olması (3) yenilenen ambalajlar ve eklenen yeni ürünlere ait verilerin sürekli toplanması ve sisteme eklenmesi. Bu nedenle, problemin çözümü için geleneksel yöntemlerin tek başına kullanılması yeterli değildir. Bu tez çalışmasında önerilen çok aşamalı uçtan-uca süreç ile ürün çeşidinden bağımsız olarak ürünlerin algılanması ve farklı ölçek, döndürme ve afin değişmez özellik çıkarma yöntemlerinin hibrit kullanımı sayesinde market raflarında ürün tanıma probleminin zorluklarına çözüm üretilmiştir. Ürünün algılanması, sınıflandırılması ve sonuçların iyileştirilmesini içeren bu yöntem ile girdi olarak alınan bir raf görüntüsünde önceden tanımlanmış tüm ürünlerin lokalizasyon ve sınıflandırma sonuçları elde edilir. Ürün algılama aşamasında, görüntüdeki her bir mevcut ürünün lokalizasyonu SSD algoritması ile tespit edilir. Ürün sınıflandırma aşamasında, probleme uygun özellik çıkarma yöntemleri SURF, BRISK ve ORB'nin hibrit kullanımı ile ürün şablonları, ürün algılama aşamasından elde edilen bölge önerileriyle eşleştirilir. Son aşama olan iyileştirme aşamasındaysa, komşuluk ilişkisi eklenmiş kümeleme algoritması ile aynı ürüne ait çoklu bölge önerileri üzerinde iyileştirmeler yapılarak nihai sonuca ulaşılır. Geliştirilen yöntem, farklı sayıda ürün çeşidi ve görüntüden oluşan Grocery Products veri seti ve onun alt kümeleri olan GP-20, GP-181 veri setlerinde test edilmiştir. Ayrıca, ürün algılama aşamasında eğitim için Grocery Dataset ve SKU-110K'nın alt kümesinden bir eğitim seti oluşturulmuştur. Bu tez çalışmasında, ürün çeşidinden bağımsız bir algılama süreci sağlandığından sürekli yenilenen ürün ambalajları ve eklenen yeni ürünlerden dolayı eğitim sürecinin tekrarlanması gerekmez. Ayrıca, hibrit bir ürün tanıma konseptiyle geniş ürün çeşitliliğinin market raflarındaki ürünlerin görüntüden tanınması probleminde yarattığı zorluğun üstesinden gelinmektedir. İyileştirme prosedürü ile güçlendirilen yöntemimiz, sunulan farklı yöntemlerle karşılaştırılır sonuçlar elde etmiştir.
Özet (Çeviri)
Using an intelligent system to recognize products from grocery shelf images provide to solve many problems encountered in the retail industry, such as planogram compatibility, stock tracking and customer support. The product recognition problem, unlike a normal object recognition problem, has its own difficulties: (1) product diversity and similarities between products are high, (2) product sizes are very different from each other (3) constantly collecting and adding the data of renewed packaging and new products to the system. Therefore, the use of conventional methods alone is not enough to solve problem. In this thesis, the proposed multi-stage end-to-end process produces solution to the difficulties of product recognition problem on grocery shelves with a product-independent detection process and the hybrid use of different scale, rotation, and affine invariant feature extraction methods. The method which includes product detection, classification and refinement of results, returns the localization and label results of all predefined products in a shelf image that takes as input. In the detection phase, the localization of each existing product in the image is detected with SSD algorithm. In the classification phase, product templates are matched with the region proposals obtained from the detection phase with the hybrid use of problem- appropriate feature extraction methods: SURF, BRISK and ORB. In refinement, the final result is achieved by making improvements on multiple region proposals for the same product with the neighborhood-related clustering algorithm. The developed method was tested on the dataset of Grocery Products and its subsets GP-20 and GP-181, which consists of different numbers of product types and images. Additionally, a training set was created from the Grocery Dataset and subset of SKU-110K for training in detection phase. In this thesis, retraining process does not required due to constantly renewed packaging and newly added products because a product-independent detection is provided. Moreover, a hybrid product recognition concept overcomes the difficulty created by product diversity in the problem of product recognition from shelf images. Our method, enhanced by the refinement procedure, achieved comparable results with the different presented methods.
Benzer Tezler
- Cryptocurrency price prediction by using social media data
Makine öğrenmesi teknikleri kullanılarak sosyal medya verileri ile kripto para fiyat tahmini
ÖZLEM GÜL PAMUK
Yüksek Lisans
İngilizce
2019
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
DOÇ. DR. SEFER BADAY
- Fotovoltaik enerji sistemleri için öngörü modellerinin geliştirilmesi: Veri madenciliği ve derin öğrenme yaklaşımları
Development of forecasting models for photovoltaic energy systems: Data mining and deep learning approaches
FATMA DİDEM ALAY
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHarran ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET TAHİR GÜLLÜOĞLU
DR. ÖĞR. ÜYESİ NAGEHAN İLHAN
- Makine öğrenmesi yöntemleri ile kredi risk analizi
Credit risk analysis using machine learning algorithms
SACİDE KALAYCI
Yüksek Lisans
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Hava trafiği yönetimi için ADS-B sistemi uçuşverilerinin veri madenciliği yöntemleriyledeğerlendirilmesi
ADS-B system for air traffic managementevaluation with efficiency methods
MUHAMMET ÇELİK
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
PROF. DR. ENGİN AVCI
- Modelling and state of charge estimation of lithium-ion batteries
Lityum bazlı batarya hücrelerininmodelleme ve şarj durumu tahmini
MANİ KAZIMI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. METİN GÖKAŞAN