Geri Dön

Dataset cartography for compositional generalization

Bileşimsel genelleme için veri kümesi haritalama

  1. Tez No: 904945
  2. Yazar: OSMAN BATUR İNCE
  3. Danışmanlar: DOÇ. DR. İBRAHİM AYKUT ERDEM
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: Koç Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 84

Özet

Sinir ağları dil modellemeyi devrim niteliğinde değiştirerek çeşitli ardıl görevlerde üstün başarı göstermiştir. Ancak, bu modellerin insan bilişsel yeteneklerine benzer bileşimsel genelleme elde etme derecesi tartışmalıdır. Alandaki mevcut yaklaşımlar ağırlıklı olarak yeni mimarilere ve alternatif öğrenme paradigmalarına odaklanmışken, biz veri kümesi haritalamanın gücünden yararlanan öncü bir yöntem tanıtıyoruz [Swayamdipta et al., 2020]. Bu yaklaşımı kullanıp bileşimsel genelleme verilerinin bir alt kümesini stratejik olarak belirleyerek, model doğruluğunda dikkate değer bir iyileşme sağladık ve CFQ ve COGS veri kümelerinde %10'a varan gelişmeler elde ettik. Özellikle, tekniğimiz veri kümesi haritalamayı bir müfredat öğrenme kriteri olarak da içererek hiperparametre ayarlamasına gerek kalmadan sürekli olarak üstün performans elde edilmesini sağlıyor. Ayrıca, veri mevcut büyük dil modeli (BDM) çerçevesinde darboğaz haline geldiğinden, bilinen kelime veya ifadelerin her olası kombinasyonunu kapsamak imkansız hale gelmektedir. Bu nedenle, BDM'lerin bilinmeyen dil parçalarının kombinasyonlarını doğru bir şekilde işlemelerine yardımcı olmak için bileşimsel genellemeye odaklanıyoruz. Az önce tanımlanan çalışmayı BDM'lere genişletiyor ve veri kümesi haritalama ile determinant nokta süreçlerinin bir birleşimi olan yeni bir çeşitlilik farkındalığına sahip alt küme seçme yöntemi olan DiCart'ı sunuyoruz. DiCart, kıyaslanan tekniklere ve hatta tam eğitim kümesine kıyasla daha iyi veya benzer bileşimsel genelleme performansı sağlıyor.

Özet (Çeviri)

Neural networks have revolutionized language modelling and excelled in various downstream tasks. However, the extent to which these models achieve compositional generalization comparable to human cognitive abilities remains debatable. While existing approaches in the field have mainly focused on novel architectures and alternative learning paradigms, we introduce a pioneering method harnessing the power of dataset cartography [Swayamdipta et al., 2020]. By strategically identifying a subset of compositional generalization data using this approach, we achieve a remarkable improvement in model accuracy, yielding enhancements of up to 10% on CFQ and COGS datasets. Notably, our technique incorporates dataset cartography as a curriculum learning criterion, eliminating the need for hyperparameter tuning while consistently achieving superior performance. Moreover, as the data becomes the bottleneck in the current large language model (LLM) pipeline, covering every possible combination of known words or phrases becomes infeasible. Therefore, we focus on compositional generalization in LLMs to help LLMs process the combinations of unseen language parts faithfully. We expand the previously described setting above to LLMs and propose a new diversity-aware subset selection method named DiCart, a fusion of dataset cartography and determinantal point processes. DiCart results in better or on-par compositional generalization than baselines and even the full training set.

Benzer Tezler

  1. Mekansal analiz teknikleri ile çok kriterli karar verme yaklaşımı kullanılarak raylı sistem güzergah analizi

    Rail system route analysis using multi criteria decision making with spatial analysis techniques

    BERNA ÇALIŞKAN

    Doktora

    Türkçe

    Türkçe

    2023

    Ulaşımİstanbul Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    PROF. DR. ALİ OSMAN ATAHAN

  2. Sosyal medya mesajlarında veri madenciliği ile bilgi keşfi ve görsel analitik ortamda sunulması: COVID-19 tweet veri seti örneği

    Information discovery with data mining in social media messages andpresenting in visual analytic environment: COVID-19 tweet dataset example

    BURAK ÇAĞLAR

    Doktora

    Türkçe

    Türkçe

    2023

    Jeodezi ve FotogrametriNecmettin Erbakan Üniversitesi

    Harita Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HÜSEYİN ZAHİT SELVİ

  3. Yerleşim sınıfı için çoklu gösterim veritabanının oluşturulması: Gösterim seviyelerini türetme, obje eşleştirme, güncelleme

    Creating multiple representation database for population class: Deriving representation levels, object matching, updating

    OSMAN NURİ ÇOBANKAYA

    Doktora

    Türkçe

    Türkçe

    2015

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    Geomatik Mühendisliği Ana Bilim Dalı

    PROF. DR. NESİBE NECLA ULUĞTEKİN

  4. Nesneye yönelik tasarım ile nesne-ilişkisel veritabanı geliştirilmesi

    Building an object-relational database using object-oriented design

    DURSUN ER ILGIN

    Yüksek Lisans

    Türkçe

    Türkçe

    2004

    Jeodezi ve FotogrametriYıldız Teknik Üniversitesi

    Jeodezi ve Fotogrametri Ana Bilim Dalı

    Y.DOÇ.DR. TÜRKAY GÖKGÖZ

  5. Cumhurı̇yet Dönemı̇ basınında (1928 - 2000) harı̇ta ı̇çerı̇klerı̇nı̇n kartografı̇k yönden araştırılması, arşı̇vlenmesı̇, sınıflandırılması

    Archiving, classification and research on map contents according to cartographic approach in press of the period (1928-2000) of Turkish Republic

    PINAR SARIN

    Doktora

    Türkçe

    Türkçe

    2021

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    Geomatik Mühendisliği Ana Bilim Dalı

    PROF. DR. NESİBE NECLA ULUĞTEKİN