Training-free image-level affordance discovery and labeling using pre-trained deep networks
Önceden eğitilmiş derin ağlar üzerinde eğitim gerektirmeyen görüntü düzeyinde sağlarlık keşfi ve etiketleme
- Tez No: 939365
- Danışmanlar: DOÇ. DR. AHMET BUĞRA KOKU
- Tez Türü: Doktora
- Konular: Makine Mühendisliği, Mechanical Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Makine Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 150
Özet
Hesaplama gücündeki hızlı gelişmeler, derin öğrenme modellerinin eğitim sürelerini önemli ölçüde azaltmış ve nesne tanımaya yönelik ağların hızlı bir şekilde geliştirilmesini sağlamıştır. Ancak, nesne tanımaya kıyasla, nesnenin kullanım potansiyelini yani sağlarlığını keşfetmeye yönelik çalışmalar görece daha az ilgi görmüştür. Mevcut nesne sağlarlığı modelleri, çeşitli mimarilerde sınırlı dayanıklılık ve karmaşık ortamlarda yetersiz performans gibi eksiklikler göstermektedir. Bu çalışma, nesne sınıflandırma veri kümeleri üzerinde eğitilmiş önceden eğitilmiş ağları kullanarak nesne sağlarlıklarını keşfetmeye odaklanmaktadır. Bu ağlar, sınıflandırma görevlerinde transfer öğrenme için önemli bir rol oynamış olmasına rağmen, bu çalışmada sunulan yaklaşım, son katmanları değiştirmeden sağlarlık etiketleme yaparak geleneksel nesne sınıflandırma yöntemlerinden farklılaşmaktadır. Bunun yerine, özelleştirilmiş sınıflandırma katmanlarına ihtiyaç duymadan sağlarlık etiketlerini öğrenmek için önceden eğitilmiş ağlar kullanılmaktadır. Bu amaçla, son katmanlarda değişiklik yapmadan sağlarlık etiketlerini belirlemeyi sağlayan iki yöntem test edilmiştir: Alt Uzay Projeksiyon Yöntemi ve Manifold Eğrilik Yöntemi. Hem Alt Uzay Projeksiyon Yöntemi hem de Manifold Eğrilik Yöntemi, iki farklı sağlarlık veri kümesinde dokuz farklı önceden eğitilmiş ağ kullanılarak değerlendirilmiştir. Alt Uzay Projeksiyon Yöntemi, her bir veri kümesindeki en iyi performans gösteren ağlar için sırasıyla \%94 ve \%96'ya kadar Doğru Pozitif Oranı elde ederken, Manifold Eğrilik Yöntemi en iyi ağlarıyla \%98 ve \%99'un üzerinde Doğru Pozitif Oranlarına ulaşmıştır. Ayrıca, Karşılıklı Sinkhorn Mesafe Matrislerini kullanarak sağlarlık tahminlerini birleştirme ve sıralama metodolojisi tanıtılmıştır. Bu yaklaşım, orijinal eğitim veri kümesinin parçası olmasa bile yeni sağlarlıkların keşfedilmesini ve belirli bir nesne için mantıklı bir sıralama sağlanmasını mümkün kılmaktadır. Ek olarak, sağlarlık sıralamasını iyileştirmek için insan geri bildirimi veya kendi deneyimlerinden yararlanma imkanı da sunulmaktadır. Nesne algılama, segmentasyon ve önerilen sağlarlık etiketleme tekniklerinin bir araya getirilmesiyle, gerçek dünyadaki sahnelerdeki nesnelerin sağlarlıkları otomatik eşikleme uygulanarak birleştirilmiş ve sıralanmış sağlarlık etiketleme tahmin sonuçlarından sonra tanımlanmakta ve kategorize edilmektedir.
Özet (Çeviri)
The advancement in computing power has significantly reduced the training times for deep learning, enabling the rapid development of networks designed for object recognition. However, the exploration of object utility, the object's affordance, as opposed to object recognition, has received comparatively less attention. Existing object affordance models exhibit shortcomings, including limited robustness across diverse architectures and insufficient performance in complex environments. This work focuses on using pre-trained networks trained on object classification datasets to explore object affordances. While these networks have proven instrumental in transfer learning for classification tasks, the presented approach in this study diverges from conventional object classification methods by labeling affordances without modifying the final layers. Instead, pre-trained networks are employed to learn affordance labels without requiring specialized classification layers. Two approaches are tested: Subspace Projection Method and Manifold Curvature Method, which facilitate the determination of affordance labels without such modifications. Both Subspace Projection Method and Manifold Curvature Method were evaluated using nine distinct pre-trained networks across two different affordance datasets. Subspace Projection Method achieved a True Positive Rate of up to 94\% and 96\% for the best-performing networks on each dataset, while Manifold Curvature Method attained True Positive Rates exceeding 98\% and 99\% with its top-performing networks. Furthermore, a methodology to integrate and rank affordance estimates using Cross Sinkhorn Distance Matrices is introduced. This approach enables the discovery of new affordances and provides a logical ordering for a given object, even if it's not part of the original training dataset. Additionally, human feedback or self-experience is incorporated to refine the affordance ordering. By combining object detection, segmentation, and our proposed affordance labeling techniques, the affordances of objects in real-world scenes are identified and categorized after applying an auto threshold to the combined and ranked affordance labeling estimate results.
Benzer Tezler
- İlkokul 2. sınıf Türkçe ders kitabının resim-metin ilişkisi açısından değerlendirilmesi
Evaluation of Turkish textbook for second grade in term of image text relation
FUNDA İNAN YILDIZ
Yüksek Lisans
Türkçe
2015
Eğitim ve Öğretimİstanbul Aydın ÜniversitesiSınıf Öğretmenliği Ana Bilim Dalı
DOÇ. DR. BAYRAM BAŞ
- Sigortada dağıtım ve tutundurma metodları
Başlık çevirisi yok
BANU GÖNENÇ
Yüksek Lisans
Türkçe
1994
SigortacılıkMarmara ÜniversitesiSigortacılık Ana Bilim Dalı
DOÇ. DR. OSMAN GÜRBÜZ
- Çocuk edebiyatında kurmaca gerçeklik üzerine bir inceleme
An analysis on the fictional reality in children's literature
ERHAN ŞEN
Doktora
Türkçe
2017
Eğitim ve ÖğretimAnkara ÜniversitesiEğitimin Kültürel Temelleri Ana Bilim Dalı
PROF. DR. SEDAT SEVER
- Türkülerin dinamik yapısını oluşturan olguların öğretiminde izlenecek bir yaklaşım önerisi: Orta Anadolu ağzı örneği
A recommendation for an approach to teaching the phenomenons which form that the dynamic structure of turkus: Central Anatolia example
ERHAN USLU
Doktora
Türkçe
2022
Eğitim ve Öğretimİstanbul Teknik ÜniversitesiMüzikoloji ve Müzik Teorisi Ana Bilim Dalı
PROF. DR. NİLGÜN DOĞRUSÖZ DİŞİAÇIK
- Assessing the impact of super-resolution on enhancing the spatial quality of historical aerial photographs
Tarihi hava fotoğraflarının mekansal kalitesini artırmada süper-çözünürlüğün etkisinin irdelenmesi
ABDULLAH HARUN İNCEKARA
Doktora
İngilizce
2024
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. DURSUN ZAFER ŞEKER