Distilling knowledge of neural networks for image analysis, model compression, data protection and minimization
Görüntü analizi, model sıkıştırma, veri koruma ve minimizasyonu için yapay sinir ağlarının bilgisinin damıtılması
- Tez No: 887627
- Danışmanlar: PROF. DR. BEHÇET UĞUR TÖREYİN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Bilişim Enstitüsü
- Ana Bilim Dalı: Bilişim Uygulamaları Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 106
Özet
Bilgi damıtımı, modeller arasında bilgi transferi süreci anlamına gelen ve model eğitimi için kullanılan etkili bir tekniktir. Bilgi damıtımı bağlamında, enjekte edilen bilgi ile eğitilmesi amaçlanan model öğrenci olarak adlandırılırken, bilgiyi aktaran model öğretmen olarak adlandırılır. Model performansını artırmak, modeli hızlandırmak ve model parametrelerini azaltmak gibi çeşitli amaçlar için kullanılabilir. Ayrıca, çeşitli damıtma şemaları ile birlikte, çeşitli senaryo ve problemlerde etkin bir şekilde uygulanabilir. Bu nedenle, bilgisayarlı görü, doğal dil işleme, konuşma tanıma, öneri sistemleri, çekişmeli saldırılar, model sıkıştırma ve hızlandırma, gizli bilgi damıtımı, derin öğrenme modellerinin anlamlandırılması, federe öğrenme, ve nöral mimari arama gibi geniş bir uygulama yelpazesine sahiptir. Bilgi damıtımı, başarılı bir yaklaşım olmasından dolayı, birçok farklı alanda çalışan araştırmacının dikkatini çekmeyi başarmıştır. Tezde de incelendiği gibi zamanla, Hinton ve arkadaşlarının önerdiği şema geliştirilmiş ve farklı ve karmaşık bilgi damıtma yaklaşımları ortaya çıkmıştır. Bu yaklaşımlar bilgi çeşidi, damtım şeması, uygulama alanları ve algoritmalar gibi farklı açılara göre gruplanabilir. Örneğin, mevcut yöntemler bilgi çeşidine göre üç alt başlıkta toplanabilir: Cevap-tabanlı, öznitelik-tabanlı, ve ilişki-tabanlı bilgi çeşitleri. Cevap-tabanlı yöntemler modelin tahmin ettiği olasılık dağılımını esas alarak bilgi iletimi yaparken, öznitelik-tabanlı yöntemler modelin ara katmanlarda elde ettiği öznitelikleri esas almaktadır. İlişki-tabanlı yöntemler ise modelin öğrendiği, veri kümesindeki örnekler arasındaki ilişkiyi bir şekilde diğer modele iletmektedir. Öte yandan, mevcut bilgi damıtımı yöntemleri kullanılan şema açısından gruplandığında üç başlık ortaya çıkmaktadır: Çevrimdışı, çevrimiçi, ve kendi kendine bilgi damıtımı. Çevrimdışı bilgi damıtımı, klasik yaklaşım olan ve öğretmen modelin önceden eğitildiği durumu ifade eder. Çevrimiçi damıtım ise öğretmen ve öğrenci modelin birlikte eğitildiği senaryoyu tanımlamaktadır. Kendi kendine bilgi damıtımı ise öğretmen ve öğrencinin aynı model olduğu yöntemleri kapsamaktadır. Örneğin, aynı modelin farklı veya aynı katmanları arasındaki bir bilgi aktarımı bu başlık kapsamındadır. Mevcut bilgi damıtımı yaklaşımlarında kullanılan algoritmalara göz atıldığında çok çeşitli yöntemler karşımıza çıkmaktadır. Örneğin, çekişmeli damıtım, çekişmeli öğrenmenin bilgi damıtımında kullanılmasını ifade eden yaklaşımlar dizisini tanımlar. Çapraz damıtım ise öğretmen ve öğrenci modelin farklı modaliteler üzerinde çalıştığı senaryoları ifade etmektedir. Çoklu öğretmen algoritmaları ise adından anlaşıldığı üzere bilgi damıtımı şemasında birden fazla öğretmen modelin bilgisinden faydalanıldığı durumları tanımlamaktadır. Bunların dışındaki mevcut bilgi damıtım algoritmaları arasında şunlar sayılabilir: Çizge-tabanlı damıtım, dikkat mekanizması-tabanlı damıtım, verisiz damıtma, ömürboyu damıtım, nöral mimari arama-tabanlı damıtma, ve nicelenmiş damıtma. Bu tez, çeşitli bilgi damıtımı problemlerine odaklanan çalışmaları ve ilgili literatür taramasını içermektedir. Tez kapsamında yapılan çalışmalar üç başlıkta toplanabilir: İpucu damıtımı için ipucu pozisyonu belirlenmesi, model çalma problemi için ortalamacı öğrenci yöntemi önerilmesi, ve sıkıştırılmış alandan piksel alanına bilgi aktarımı sağlayan bir çapraz damıtma yaklaşımı tasarlanması. Tez kapsamında ilk olarak, ara katmanlarda çıkarılan özniteliklerin aktarıldığı ve ipucu damıtımı olarak adlandırılan bir tür bilgi damıtımı yaklaşımı için önemli bir unsur olan ipucu pozisyonu seçimine odaklanılmıştır. Bu çalışmada öncelikle, ipucu pozisyonlarının belirlenmesinin bilgi damıtımında önemli bir etken olduğu gösterilmiştir. Sonrasında ise, PURSUhInT olarak adlandırılan ve katman kümeleme tabanlı olan etkili bir ipucu noktası seçim metodolojisi önerilmektedir. Bu amaçla, katmanların kıyaslanabilmesi için yeterli sayıda örnek üzerinden katman temsil matrisleri oluşturulmakta ve katman karşılaştırması için özel olarak tasarlanmış metriklerden faydalanarak k-ortalamalar kümeleme algoritması kullanılmaktadır. Önerilen yöntem, çeşitli öğretmen ve öğrenci mimarileri, ipucu türleri ve ipucu damıtma yöntemleri için ve iki bilindik görüntü sınıflandırma veri kümesi üzerinde kapsamlı deneyler yapılarak değerlendirilmiştir. Elde edilen sonuçlar, önerilen yöntemin geleneksel yaklaşıma göre üstün başarı elde ettiğini göstermektedir. Bununla beraber, önerilen yöntem model sıkıştırma açısından değerlendirilmiş, yöntem sayesinde elde edilen sıkıştırma oranları ve çıkarım süresi kazançları paylaşılmıştır. Bu tezde odaklanılan bir başka problem ise, ticari amaçlarlar veya gizlilik endişeleri nedeniyle korunmak istenen bir modelin bilgisini ele geçirme olarak tanımlanan model çalma problemidir. Bilgi damıtımı model çalmak için kullanılabileceğinden, yakın zamanlarda sıkıştırılamaz öğretmen kavramı tanıtılmıştır. Bu alana katkıda bulunmak için, bu tezde sıkıştırılamaz öğretmeni sıkıştırmayı amaçlayan ve ortalamacı öğrenci olarak adlandırılan bir yaklaşım önerilmektedir. Bu yaklaşım, öğretmen modelin tahmin ettiği bozulmuş olasılık dağılımlarının, aynı etiketli örnekler için ortalamasını alarak, olasılık dağılımındaki yanıltıcı zirve değerlerini gidermekte ve bu şekilde öğrenci modele iletmektedir. Önerilen yaklaşım, sıkıştırılamaz veya normal olduğu bilinmeyen öğretmen modelleri üzerinde değerlendirilmiştir. Sonuçlar, önerilen yöntemin kıyaslanan yöntemlerden daha iyi performans gösterdiğini belirtmektedir. Ele alınan son problem, farklı modalitelerde çalışan öğretmen ve öğrenci modeller arasındaki bilgi aktarım süreci olan çapraz damıtmadır. Bu çalışmada, sıkıştırılmış alan bilgisini piksel alanına aktaran bir çapraz damıtma yöntemi önerilmektedir. Çalışma, daha önce önerdiğimiz ipucu noktası seçme yönteminden faydalanan bir ipucu damıtma yaklaşımı içermektedir. Önerilen yaklaşım, nesne tespiti ve tanıma olmak üzere iki bilgisayarlı görü problemi üzerinde değerlendirilmiştir. Elde edilen sonuçlar, sıkıştırılmış alan bilgisinin piksel alanındaki bir görevde önerilen yaklaşım sayesinde etkin bir şekilde kullanılabileceğini göstermektedir. Yapılan ek deneylerde ise, öğretmen ve öğrenci ikilisi için tüm modalite seçenekleri değerlendirilmiş ve farklı modaliteler arasındaki bilgi damıtımının standart bilgi damıtımından daha iyi performans gösterdiği gözlemlenmiştir. Bununla beraber, en iyi performansın, önerilen yöntemdeki gibi sıkıştırılmış alandan piksel alanına yapılan bilgi aktarımı senaryosunda elde edildiği raporlanmıştır. Tez kapsamında önerilen yaklaşımlar, görüntü analizi, model sıkıştırma, veri koruma ve minimizasyon çalışmalarına katkı sağlamaktadır. İlk olarak, etkili ipucu pozisyonlarının seçimine ilişkin çalışmamız, model sıkıştırma performansını iyileştirmeyi amaçlamaktadır, ancak önerilen yaklaşım bu alanda sınırlı olmayıp, diğer damıtma şemaları için de kullanılabilir. Yöntemimizin model sıkıştırma açısından kazanımları, önerilen algoritmanın performans sonuçlarının yanı sıra sunulmaktadır. Ardından, model fikri mülkiyet (IP) koruması ve veri koruması literatürüne katkıda bulunmak amacıyla model çalma konusu üzerine yapılan çalışmada, korunan bir modelin bilgisini damıtacak bir algoritma tanıtılmıştır. Bununla beraber, çapraz damıtma üzerine yapılan çalışma veri koruma ve minimizasyon çalışmalarına katkı sağlamaktadır. Bu çalışmada piksel alanı problemlerinde sıkıştırılmış alan bilgisinden yararlanan bir damıtma metodolojisi önerilmiştir. Yaklaşımımız, daha fazla örnek yerine farklı modalite verisi kullanarak sınırlı bilgiyi genişleten bir teknik ortaya koymaktadır. Sıkıştırılmış alan görüntüleri kullanılması ve performansı artırmak için kullanılabilecek daha fazla örnek ihtiyacının ortadan kaldırılması dolayısıyla, kişisel veya hassas olabilecek daha fazla verinin kullanılması önlenmektedir.
Özet (Çeviri)
Knowledge distillation is an effective tool for model training, which refers to the process of knowledge transfer between models. In the context of knowledge distillation, the model to be trained with the injected knowledge is named student, where the teacher refers to the model whose knowledge is acquired. It can be exploited for various aims including improving model performance, accelerating the model, and reducing model parameters. Further, with the advent of diverse distillation schemes, it can be efficiently applied in various scenarios and problems. Thus, it has a wide range of application fields including computer vision and natural language processing. This thesis comprises the studies conducted on numerous problems of knowledge distillation, as well as the literature review. The first problem we focus on is hint position selection as an essential element in hint distillation, which is transferring features extracted in intermediate layers, namely hints. First, we demonstrate the importance of the determination of the hint positions. Then, we propose an efficient hint point selection methodology based on layer clustering. For this purpose, we exploit the k-means algorithm with specially designed metrics for layer comparison. We validate our approach by conducting comprehensive experiments utilizing various architectures for teacher-student pairs, hint types, and hint distillation methods, on two well-known image classification datasets. The results indicate that the proposed method achieves superior performance compared to the conventional approach. Another problem focused on in this thesis is model stealing, which refers to acquiring knowledge of a model that is desired to be protected due to the privacy concerns or commercial purposes. Since knowledge distillation can be exploited for model stealing, the concept of the undistillable teacher has been introduced recently, which aims to protect the model from stealing its knowledge via distillation. To contribute to this field, we propose an approach called averager student, whose goal is distilling the undistillable teacher, in this thesis. We evaluate the proposed approach for given teachers which are undistillable or normal. The results suggest that the proposed method outperforms the compared methods whose aim is the same as ours. The last problem we addressed is cross distillation, which means the distillation process between teacher and student models that operate on different modalities. In this work, we introduce a cross distillation scheme that transfers the compressed domain knowledge to the pixel domain. Further, we employ hint distillation which utilizes our previously proposed hint selection method. We evaluate our approach on two computer vision tasks, that are object detection and recognition. The results demonstrate that compressed domain knowledge can be efficiently exploited in a task in the pixel domain via the proposed approach. The proposed approaches in the context of the thesis, contribute to studies on image analysis, model compression, data protection, and minimization. First, our study on the selection of efficient hint positions aims to improve model compression performance, although the proposed approach can also be employed for other distillation schemes. The gains of our method in terms of model compression are presented as well as the performance results of the proposed algorithm. Then, our work on model stealing targets to contribute to the literature on model intellectual property (IP) protection and data protection, where we introduce an algorithm to distill a protected model's knowledge. Moreover, our study on cross distillation provides a contribution to data protection and minimization studies, where we propose a distillation methodology that utilizes compressed domain knowledge on pixel domain problems. Our approach demonstrates a technique that expands limited knowledge by employing different modality data instead of more samples. Since we utilize compressed domain images and eliminate the need for more samples to boost performance, we prevent the use of more data that may be personal or sensitive.
Benzer Tezler
- Lightweight facial expression recognition systems for social robots
Sosyal robotlar için hafif ağırlıklı yüz ifadesi tanıma sistemleri
ERHAN BİÇER
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- Upcycling design proposals in urban design competitions: Bandirma Park competition
Kentsel tasarım yarışmalarında tasarım önerilerinin ileri dönüştürülmesi: Bandırma Tasarım Parkı yarışması
ELİF DEMİROĞLU
Yüksek Lisans
İngilizce
2017
Mimarlıkİstanbul Teknik ÜniversitesiKentsel Tasarım Ana Bilim Dalı
DOÇ. DR. YÜKSEL DEMİR
- Örnek bir mütefekkir: Sâmiha Ayverdi (1905-1993)
An example alliance: Sâmiha Ayverdi (1905-1993)
İLKNUR SÖKER
Yüksek Lisans
Türkçe
2021
TarihAnkara Hacı Bayram Veli ÜniversitesiTarih Ana Bilim Dalı
DOÇ. DR. ŞARİKA BERBER
- Beykoz-Kadıköy-Tuzla (İstanbul) bölgesinin hidrojeoloji incelemesi
Hidrogeology of Beykoz-Kadıköy-Tuzla (Istanbul) region
HAFİZE GÜLŞEN
Yüksek Lisans
Türkçe
2007
Jeoloji Mühendisliğiİstanbul ÜniversitesiJeoloji Mühendisliği Ana Bilim Dalı
DOÇ.DR. HALİL MURAT ÖZLER
- Ömerli Baraj Gölü havzasının hidrografya özellikleri
Omerli Dam Lake basin's hydrographic features
HÜSEYİN KOÇAK