Knowledge distillation with foundation models for image segmentation
Görüntü segmentasyonu için temel modellerin damıtılması
- Tez No: 908286
- Danışmanlar: DR. ÖĞR. ÜYESİ İPEK BAZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Yeditepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Veri Bilimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 55
Özet
Model ölçeklendirme yoluyla makine öğrenimindeki son gelişmeler, çeşitli görevlerde en son teknolojiye sahip sonuçların elde edilmesini sağladı. Buna bir örnek, zero-shot tahminleriyle iyi genelleme yapabilen büyük modeller olan“temel modeller”dir. Ancak bu modeller hesaplama ve bellek maliyetlerine ilişkin uyarıları da beraberinde getirir. Bilgi damıtma, daha büyük bir modelden alınan bilgilerin daha küçük bir mimariye aktarılabildiği, bellekten ve hesaplama maliyetlerinden tasarruf sağlayan bir transfer öğrenme tekniğidir. Bu tezde, temel modelinin bir bilgi damıtma ortamında öğretmen ağı olarak kullanılmasını, aynı göreve ince ayar yapılmış büyük bir modelle karşılaştırarak araştırdık.
Özet (Çeviri)
Recent advances in machine learning through model scaling achieves state-of-the-art results in various tasks. An example to this is foundation models, which are large models capable of generalizing well with zero-shot predictions. However, these models come with caveats of computational and memory costs. Knowledge distillation is a transfer learning technique where information from a bigger model can be distilled to a smaller architecture, saving memory and computational costs. In this thesis, we have investigated using foundation model as a teacher network in a knowledge distillation setting, compared to a large model fine-tuned on the same task.
Benzer Tezler
- Desteklenmiş derin kazılarda oluşan hareketlerin incelenmesi
An Investigation on deformation behavior of supported deep excavations
BÜLENT HATİPOĞLU
- Improved knowledge distillation with Dynamic Network Pruning
Dinamik Ağ Budama yöntemiyle geliştirilmiş bilgi damıtma
EREN ŞENER
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMRE AKBAŞ
- Video anomaly detection using knowledge distillation
Bilgi damıtma ile vıdeo anomali tespiti
BURÇAK ASAL
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET BURAK CAN
- Distilling knowledge of neural networks for image analysis, model compression, data protection and minimization
Görüntü analizi, model sıkıştırma, veri koruma ve minimizasyonu için yapay sinir ağlarının bilgisinin damıtılması
REYHAN KEVSER KESER
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN
- Defending against distillation-based model stealing attacks
Damıtma yöntemi ile model çalma ataklarına karşı savunma
EDA YILMAZ
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HACER YALIM KELEŞ