Bilgisayarla görme ve makine öğrenmesi yöntemleri kullanılarak market raflarında ürün tanıma
Product recognition on grocery shelves using computer vision and machine learning methods
- Tez No: 860898
- Danışmanlar: PROF. DR. SONGÜL VARLI, DOÇ. DR. ELENA BATTİNİ SÖNMEZ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 105
Özet
Market raflarındaki ürünlerin görüntüden tanıması için akıllı bir sistemin kullanılması, perakendecilik sektöründe karşılaşılan planogram uyumluluğu, stok takibi ve müşteri desteği gibi birçok sorunun çözümüne fayda sağlar. Ürün tanıma probleminin normal bir nesne tanıma probleminden farklı olarak kendine has zorlukları vardır: (1) ürün çeşitliliğinin ve ürünler arasındaki benzerliklerin fazla olması, (2) ürün boyutlarının birbirinden çok farklı olması (3) yenilenen ambalajlar ve eklenen yeni ürünlere ait verilerin sürekli toplanması ve sisteme eklenmesi. Bu nedenle, problemin çözümü için geleneksel yöntemlerin tek başına kullanılması yeterli değildir. Bu tez çalışmasında önerilen çok aşamalı uçtan-uca süreç ile ürün çeşidinden bağımsız olarak ürünlerin algılanması ve farklı ölçek, döndürme ve afin değişmez özellik çıkarma yöntemlerinin hibrit kullanımı sayesinde market raflarında ürün tanıma probleminin zorluklarına çözüm üretilmiştir. Ürünün algılanması, sınıflandırılması ve sonuçların iyileştirilmesini içeren bu yöntem ile girdi olarak alınan bir raf görüntüsünde önceden tanımlanmış tüm ürünlerin lokalizasyon ve sınıflandırma sonuçları elde edilir. Ürün algılama aşamasında, görüntüdeki her bir mevcut ürünün lokalizasyonu SSD algoritması ile tespit edilir. Ürün sınıflandırma aşamasında, probleme uygun özellik çıkarma yöntemleri SURF, BRISK ve ORB'nin hibrit kullanımı ile ürün şablonları, ürün algılama aşamasından elde edilen bölge önerileriyle eşleştirilir. Son aşama olan iyileştirme aşamasındaysa, komşuluk ilişkisi eklenmiş kümeleme algoritması ile aynı ürüne ait çoklu bölge önerileri üzerinde iyileştirmeler yapılarak nihai sonuca ulaşılır. Geliştirilen yöntem, farklı sayıda ürün çeşidi ve görüntüden oluşan Grocery Products veri seti ve onun alt kümeleri olan GP-20, GP-181 veri setlerinde test edilmiştir. Ayrıca, ürün algılama aşamasında eğitim için Grocery Dataset ve SKU-110K'nın alt kümesinden bir eğitim seti oluşturulmuştur. Bu tez çalışmasında, ürün çeşidinden bağımsız bir algılama süreci sağlandığından sürekli yenilenen ürün ambalajları ve eklenen yeni ürünlerden dolayı eğitim sürecinin tekrarlanması gerekmez. Ayrıca, hibrit bir ürün tanıma konseptiyle geniş ürün çeşitliliğinin market raflarındaki ürünlerin görüntüden tanınması probleminde yarattığı zorluğun üstesinden gelinmektedir. İyileştirme prosedürü ile güçlendirilen yöntemimiz, sunulan farklı yöntemlerle karşılaştırılır sonuçlar elde etmiştir.
Özet (Çeviri)
Using an intelligent system to recognize products from grocery shelf images provide to solve many problems encountered in the retail industry, such as planogram compatibility, stock tracking and customer support. The product recognition problem, unlike a normal object recognition problem, has its own difficulties: (1) product diversity and similarities between products are high, (2) product sizes are very different from each other (3) constantly collecting and adding the data of renewed packaging and new products to the system. Therefore, the use of conventional methods alone is not enough to solve problem. In this thesis, the proposed multi-stage end-to-end process produces solution to the difficulties of product recognition problem on grocery shelves with a product-independent detection process and the hybrid use of different scale, rotation, and affine invariant feature extraction methods. The method which includes product detection, classification and refinement of results, returns the localization and label results of all predefined products in a shelf image that takes as input. In the detection phase, the localization of each existing product in the image is detected with SSD algorithm. In the classification phase, product templates are matched with the region proposals obtained from the detection phase with the hybrid use of problem- appropriate feature extraction methods: SURF, BRISK and ORB. In refinement, the final result is achieved by making improvements on multiple region proposals for the same product with the neighborhood-related clustering algorithm. The developed method was tested on the dataset of Grocery Products and its subsets GP-20 and GP-181, which consists of different numbers of product types and images. Additionally, a training set was created from the Grocery Dataset and subset of SKU-110K for training in detection phase. In this thesis, retraining process does not required due to constantly renewed packaging and newly added products because a product-independent detection is provided. Moreover, a hybrid product recognition concept overcomes the difficulty created by product diversity in the problem of product recognition from shelf images. Our method, enhanced by the refinement procedure, achieved comparable results with the different presented methods.
Benzer Tezler
- Cryptocurrency price prediction by using social media data
Makine öğrenmesi teknikleri kullanılarak sosyal medya verileri ile kripto para fiyat tahmini
ÖZLEM GÜL PAMUK
Yüksek Lisans
İngilizce
2019
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
DOÇ. DR. SEFER BADAY
- Step length estimation using sensor fusion for indoor positioning
İç mekan konumlandırması için sensor füzyonu ile adım uzunlugu tahmini
HASBİ SEVİNÇ
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÖKHAN İNCE
- Recurrent neural network based approaches for electricity consumption forecasting
Tekrarlayan sinir ağı tabanlı elektrik tüketim tahmini
ALPER TOKGÖZ
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. GÖZDE ÜNAL
- Makine öğrenmesi yöntemleri ile kredi risk analizi
Credit risk analysis using machine learning algorithms
SACİDE KALAYCI
Yüksek Lisans
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Penetration rate optimization in heterogeneous formations with support vector machines method
Destek vektör makinesi yöntemi ile heterojen formasyonlarda ilerleme hızı optimizasyonu
KORHAN KOR
Doktora
İngilizce
2021
Petrol ve Doğal Gaz Mühendisliğiİstanbul Teknik ÜniversitesiPetrol ve Doğal Gaz Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÜRŞAT ALTUN