Developing semantic context-based AI solutions for food image recognition
Gıda görüntüleri tanımlamada semantik bağlam bilgisi tabanlı yapay zeka çözümlerinin geliştirilmesi
- Tez No: 717232
- Danışmanlar: DR. ÖĞR. ÜYESİ ÖVGÜ ÖZTÜRK ERGÜN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Bağlam, Derin öğrenme, Füzyon, Ontoloji, Context, Deep learning, Fusion, Ontology
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Büyük Veri Analitiği ve Yönetimi Ana Bilim Dalı
- Bilim Dalı: Büyük Veri Analitiği ve Yönetimi Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tezin amacı, gıda kategorilerini tanımlayabilen derin öğrenme algoritmalarını geliştirmek için bağlam bilgisinin füzyonuna dayanan bir yaklaşımı araştırmak ve analiz etmektir.Bağlam bilgisinin birçok çeşidi arasında, yeni bir yaklaşım olan ontoloji tasarımı sunulmuş olup bu problem için kullanılması araştırılmıştır. Literatürde Asya, Amerika ve Avrupa gibi farklı kültür yemeklerinde gıda tanımlama alanında geniş çapta araştırmalar vardır. Ancak, Türk yemeklerine özel dijital çözümler ve gıda fotoğraflarından içerik belirlemede olası yapay zeka model yaklaşımlarına dair çalışmalar çok az bulunmaktadır. Bu tezde öncelikle kapsamlı bir Türk Yemekleri Görüntüleri veriseti geliştirilmiştir. Bu veriseti aralarında Türk kültürüne özel“sevketibostan”vb. çok çeşitli 300 farklı gıda kategorilerinden oluşmuştur. Buna ek olarak, ontoloji yapısı tasarlanmış ve bu veriseti için ontoloji kurulmuştur. İkinci olarak, bu tezde literatürde bulunan bir grup derin öğrenme mimarileri araştırılmış olup, görüntülerden Türk yemeği tanımlamada uygulanmış, performansları karşılaştırılmıştır. Son olarak, bu tez“ Görüntülerdeki semantik bilgiyi temsil eden ekstra bilginin derin öğrenme mimarilerine beslenmesiyle modelin yemek tanıma doğruluğunun geliştirilmesi mümkün müdür?”,“ Ekstra bir bilgi model mimarisine nasıl beslenebilir”ve“ hangi çeşit bir ekstra bilgi yemek fotoğraflarındaki semantik içeriği temsil etmek için uygundur”gibi sorulara cevap aramıştır. Ontolojinin, gıda kategorileri, içerikler ve gıda kategorilerindeki hiyerarşi arasındaki ilişkiyi temsil edebileceği düşünülerek, ontoloji bilgisi ekstra bilgi olarak seçilmiş olup, GİZLİ bağlam bilgisi olarak kullanılmıştır. Ontolojinin modele eklenmesi girdi, çıktı katmanları ya da çoklu mimarilerin karışımı gibi üç farklı şekilde araştırılmıştır.
Özet (Çeviri)
The aim of this thesis is to investigate and analyze an approach that fuses context information as a cue to improve deep learning architectures for recognizing food types in the images. Among several choices of context, a novel approach, ontology representation, is presented and investigated for this problem. In the literature there is a wide study of food recognition problem for some kinds of cuisine, such as Asian, American or European. However, there is little study about digital solutions for Turkish Cuisine and possible AI approaches to understand the content from food photos. First, a comprehensive Turkish Food Image Dataset composed of 300 food categories, including many kinds of traditional food, i.e,“sevketi bostan”, etc was developed. In addition, an ontology structure is designed and implemented for this dataset. Second, state-of-the-art deep learning architecture models were developed for food image recognition of different food classes in Turkish cuisine and the performances were compared. Finally, it focuses on the main questions:“Is it possible to improve recognition accuracy when a deep learning architecture is fed with extra information representing semantics in the image?”,“how to fuse extra information”and“what type of extra information is good to represent semantic context in the food images”. Extra information, ontology information is called as hidden context, because it represents the relationship between food categories, ingredients and the hierarchy among food categories. The proposed ontology model fused to output layer helped to boost the perfomance of VGG16 models in recognition of different food classes.
Benzer Tezler
- Promptshıeld: polıcy-aware data loss preventıon framework for generatıve AI prompts
Promptshıeld: Politika farkındalıklı üretken yapay zekâ istemleri için veri kaybı önleme çerçevesi
EZGİ KELEŞ
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ŞERİF BAHTİYAR
- U-Mut: autolisple bilgisayar destekli uzman-mutfak tasarımı
U-Mut: a computer aided expert-kitchen design written in autolisp
MANOLYA KAVAKLI
- Software defect prediction with a personalization focus and challenges during deployment
Kişiselleştirme odaklı yazılım hata tahmini ve entegrasyon zorlukları
BEYZA EKEN
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYŞE TOSUN KÜHN
- Multi-agent planning with automated curriculum learning
Otomatik müfredat öğrenmesi ile çoklu ajan planlaması
ONUR AKGÜN
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZIM KEMAL ÜRE
- Yazılı Türkçe dilinden Türk işaret diline (tid) makine çevirisi sistemi
Text to sign language machine translation system for Turkish
CİHAT ERYİĞİT
Doktora
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE