Geri Dön

Parametre verimli ince ayar yöntemi ile açık kaynak büyük dil modellerinin türkçe dil bilgisi ve muhakeme yeteneklerinin iyileştirilmesi

Improving turkish grammar and reasoning capabilities of open source large language models with parameter efficient fine tuning

PDF İndir

  1. Tez No: 954884
  2. Yazar: YUNUS EMRE DEMİRDAĞ
  3. Danışmanlar: DOÇ. DR. BETÜL AY
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: Türkçe
  9. Üniversite: Fırat Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Yazılımı Bilim Dalı
  13. Sayfa Sayısı: 84

Özet

Büyük Dil Modelleri, son dönemlerde GPT-3 modelinin ardından büyük ilgi görmeye başladı. Ardından farklı açık kaynaklı dil modelleri geliştirildi. Bunların geliştirilmesi ile büyük dil modellerinin ince ayarı büyük önem taşımaya başladı. Son zamanlarda araştırmalar konu olan en önemli konulardan biri ince ayarın verimli ve daha maliyetsiz bir şekilde yapılmasıdır. Büyük Dil Modellerinde ince ayar yapılırken yaşanan bazı problemler vardır. Bu problemlere parametre boyutunun büyük olmasından kaynaklanan depolama alanlarının yetersizliği sorunu, boyutların büyüklüğünden kaynaklanan hız sorunu vs. örnek verilebilir. Bu sorunlara çözüm bulmak için farklı yaklaşımlar geliştirilmiştir ve geliştirilmeye devam etmektedir. Bu çalışmada, büyük dil modellerinde ince ayar teknikleri ve bu tekniklerin uygulanırken hız, verimlilik ve depolamada maliyetin azaltılması için uygulanabilecek teknikler sunulmaktadır. Bu teknikler farklı Parametre Verimli İnce Ayar teknikleridir. Temel olarak olarak istem ayarlama, DüşükSıralı uygulama (LORA), bağdaştırıcılar ve önek ayarlama yöntemleri sunulmaktadır.

Özet (Çeviri)

Large Language Models have recently gained a lot of attention following the GPT-3 model. Then different open source language models were developed. With the development of these, the fine-tuning of large language models has become of great importance. One of the most important issues that has been the subject of recent research is fine-tuning in an efficient and cost-effective way. There are some problems when fine-tuning Large Language Models. Examples of these problems are the problem of insufficient storage space due to the large parameter size, the speed problem due to the large size, etc. Different approaches have been and continue to be developed to find solutions to these problems. In this paper, we present techniques for fine-tuning large language models and techniques that can be applied for speed, efficiency and cost reduction in storage. These techniques are different Parameter-Efficient Fine Tuning techniques. The main ones are prompt tuning, Low-Rank Adaption(LORA), adapters and prefix tuning.

Benzer Tezler

  1. Tez No

    847173

    Fake news classification using machine learning and deep learning approaches

    Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması

    SAJA ABDULHALEEM MAHMOOD AL-OBAIDI

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ TUBA ÇAĞLIKANTAR

  2. Tez No

    966137

    Post training of large language models for targeted natural language processing tasks

    Hedefe yönelik doğal dil işleme görevleri için büyük dil modellerinin sonradan eğitilmesi

    MOHAMMED RAWHANI

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolErciyes Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. DERVİŞ KARABOĞA

  3. Tez No

    934004

    Optimizing medical dialogue systems with reinforcement learning from human feedback architectures

    İnsan geri bildiriminden öğrenme mimarileriyle tıbbi diyalog sistemlerinin optimizasyonu

    ABDUL REHMAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Aydın Üniversitesi

    Yazılım Mühendisliği Ana Bilim Dalı

    PROF. ALİ OKATAN

  4. Tez No

    439667

    Effect of particle morphology on flotation

    Tane morfolojisinin flotasyona olan etkisi

    ONUR GÜVEN

    Doktora

    İngilizce

    İngilizce

    2016

    Maden Mühendisliği ve Madencilikİstanbul Teknik Üniversitesi

    Cevher Hazırlama Mühendisliği Ana Bilim Dalı

    PROF. DR. MEHMET SABRİ ÇELİK

  5. Tez No

    151087

    Süperkritik CO2 ile kayısı posasından β- karoten ekstraksiyonu

    Extraction of β- carotene from apricot pomace by supercritical CO2

    İNCİ SULTAN ŞANAL

    Doktora

    Türkçe

    Türkçe

    2004

    Gıda MühendisliğiAnkara Üniversitesi

    Gıda Mühendisliği Ana Bilim Dalı

    PROF.DR. AYLA ÇALIMLI

Geri Dön