Parametre verimli ince ayar yöntemi ile açık kaynak büyük dil modellerinin türkçe dil bilgisi ve muhakeme yeteneklerinin iyileştirilmesi
Improving turkish grammar and reasoning capabilities of open source large language models with parameter efficient fine tuning
- Tez No: 954884
- Danışmanlar: DOÇ. DR. BETÜL AY
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Fırat Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Yazılımı Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Büyük Dil Modelleri, son dönemlerde GPT-3 modelinin ardından büyük ilgi görmeye başladı. Ardından farklı açık kaynaklı dil modelleri geliştirildi. Bunların geliştirilmesi ile büyük dil modellerinin ince ayarı büyük önem taşımaya başladı. Son zamanlarda araştırmalar konu olan en önemli konulardan biri ince ayarın verimli ve daha maliyetsiz bir şekilde yapılmasıdır. Büyük Dil Modellerinde ince ayar yapılırken yaşanan bazı problemler vardır. Bu problemlere parametre boyutunun büyük olmasından kaynaklanan depolama alanlarının yetersizliği sorunu, boyutların büyüklüğünden kaynaklanan hız sorunu vs. örnek verilebilir. Bu sorunlara çözüm bulmak için farklı yaklaşımlar geliştirilmiştir ve geliştirilmeye devam etmektedir. Bu çalışmada, büyük dil modellerinde ince ayar teknikleri ve bu tekniklerin uygulanırken hız, verimlilik ve depolamada maliyetin azaltılması için uygulanabilecek teknikler sunulmaktadır. Bu teknikler farklı Parametre Verimli İnce Ayar teknikleridir. Temel olarak olarak istem ayarlama, DüşükSıralı uygulama (LORA), bağdaştırıcılar ve önek ayarlama yöntemleri sunulmaktadır.
Özet (Çeviri)
Large Language Models have recently gained a lot of attention following the GPT-3 model. Then different open source language models were developed. With the development of these, the fine-tuning of large language models has become of great importance. One of the most important issues that has been the subject of recent research is fine-tuning in an efficient and cost-effective way. There are some problems when fine-tuning Large Language Models. Examples of these problems are the problem of insufficient storage space due to the large parameter size, the speed problem due to the large size, etc. Different approaches have been and continue to be developed to find solutions to these problems. In this paper, we present techniques for fine-tuning large language models and techniques that can be applied for speed, efficiency and cost reduction in storage. These techniques are different Parameter-Efficient Fine Tuning techniques. The main ones are prompt tuning, Low-Rank Adaption(LORA), adapters and prefix tuning.
Benzer Tezler
- ArGemma: Gemma'nın Arapçaya uyarlanddırılması için ince ayar ve çok görevli öğrenme mimarisi
ArGemma: A fine-tuning and multi-task learning architecture for adapting Gemma to Arabic
TAHA AL-SELWI
- Computer aided design of the self oscillating microwave mesfet mixer
Kendinden uyarmalı çift geçitli GaAs mesfet karıştırıcının bilgisayar destekli tasarımı
AHMAD HAKİMİ DARSİNOOİEH
- Türkçe konuşmacı doğrulama için öz denetimli öğrenme modellerine parametre verimli ince ayar yöntemlerinin uyarlanması
Adapting parameter-efficient fine-tuning methods to self supervised learning models for Turkish speaker verification
SELİM CAN DEMİRTAŞ
Yüksek Lisans
Türkçe
2025
Bursa Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Fake news classification using machine learning and deep learning approaches
Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması
SAJA ABDULHALEEM MAHMOOD AL-OBAIDI
- Post training of large language models for targeted natural language processing tasks
Hedefe yönelik doğal dil işleme görevleri için büyük dil modellerinin sonradan eğitilmesi
MOHAMMED RAWHANI
