Design and implementation of a response retrieval and reranking system
Yanıt edinimi ve sıralamasına dayalı sistem dizaynı ve gerçeklenmesi
- Tez No: 731611
- Danışmanlar: PROF. DR. MURAT SARAÇLAR
- Tez Türü: Yüksek Lisans
- Konular: Dilbilim, Elektrik ve Elektronik Mühendisliği, Linguistics, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 80
Özet
Bu yüksek lisans tezinde, çalışmaya BM25 yanıt edinimi ve BERT Transformer modeli bazlı yeniden sıralama adımlarından oluşan genel bir yanıt alma ve yeniden sıralama sistemiyle başlanmıştır. Bu baz yaklaşımının üzerinde birtakım genel parametre değişikliklerinin ve BERT model boyutunun sistem performansı üzerindeki etkileri araştırıldıktan sonra, TF-IDF yanıt edinimi ve Cross-Encoder yeniden sıralama yaklaşımlarına dayalı bir yanıt edinim ve yeniden sıralama sistemi baştan tasarlanmış ve gerçeklenmiştir. Derin Öğrenme modellerinin yeniden sıralama adımına uygulanmasıyla tutarlı bir sıralama performansı artışı gözlemlenmiştir. Bu tezin araştırma odağı olarak farklı Transformer modellerinin karşılaştırmalı performans çalışması seçilmiştir. Daha hızlı ve daha verimli bir şekilde eğitilebilen ve test edilebilen görece çok daha küçük Transformer modellerle, büyük modellere nazaran eşit veya en azından nispeten rekabetçi sonuçlar elde edilmesi hedeflenmiştir. Nitekim, küçük Transformer modellerinin nispeten daha büyük modellerden daha iyi performans gösterebileceği gösterilmiştir. Son olarak, bu yanıt sıralama sistemi, belirli bir sorunun cevabının bir pasajın alt kümesi olarak arandığı Soru Cevaplama görevi için yeniden kullanılmıştır. Sistem üzerinde Soru Cevaplama görevine yönelik herhangi bir modifikasyon yapılmadan yanıt sıralama yaklaşımı doğrudan kullanılmasına rağmen, araştırmaya açık ve umut vadeden sonuçlar elde edilmiştir.
Özet (Çeviri)
In this master's thesis, the work has been started with a baseline response retrieval and re-ranking system composed of two steps: BM25 retrieval and BERT re-ranking. After investigating the effects of several parameters and BERT model size on the baseline approach, a unique retrieval and re-ranking system with TF-IDF retrieval and Cross-Encoder re-ranking steps has been designed and implemented. With the application of Deep Learning models to the re-ranking step, consistent ranking performance improvements have been observed. The research focus of this thesis has been selected as the comparative performance study of different Transformer models. With smaller models that can be trained and evaluated faster and more efficiently, equal or at least relatively competitive results have been targeted. It has been shown that smaller transformer models can even out-perform larger models. Additionally, this designed re-ranking system has been re-purposed for a Question Answering task where the answer for a given question is searched as a subset of a passage. Even though the re-ranking system has been directly used without undergoing any modifications regarding the QA task, promising results that are worth further research have been attained.
Benzer Tezler
- İmalat stratejileri ve imalat teknolojisi seçiminde uzman sistem yaklaşımı
Manufacturing strategies and an expert system approach to selecting manufacturing technology
İBRAHİM ÇİL
Doktora
Türkçe
1997
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. RAMAZAN EVREN
- Artırılmış gerçeklik mobil uygulaması; İTÜ kampüs asistanı örneği
Augmented reality mobile application; ITU campus assistant example
RASHID RAMAZANOV
Yüksek Lisans
Türkçe
2017
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. DURSUN ZAFER ŞEKER
- Otomatik depolama ve boşaltma sistemleri tasarım parametreleri ve hızlı tüketim ürünleri sektöründe uygulanması
Automatic storage and retrieval system design parameters and implementation of fast moving consumer goods sector
YASİN EMRE BURAN
Yüksek Lisans
Türkçe
2019
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. MURAT BASKAK
- Dağıtım merkezi depolarına ilişkin hiyerarşik depo tasarım metodolojisi ve konvansiyonel/otomatik depo karar problemine ilişkin analitik bir model
Hierarchical warehouse design methodology and an analytical model for conventional/automatic warehouse decision problem for distribution centers
İSMAİL KARAKIŞ
Doktora
Türkçe
2014
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MURAT BASKAK
- Bilişim sistemleri için saldırı tespit ve engelleme yaklaşımlarının tasarımı ve gerçekleştirilmesi
Design and implementation of intrusion detection and prevention approaches for information systems
MUHAMMET BAYKARA
Doktora
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
DOÇ. DR. RESUL DAŞ