Doğal dil işlemede çizgesel ve olasılık tabanlı bir otomatik öğrenme uygulaması
A machine learning application in natural language processing based on probabilistic graph models
- Tez No: 179824
- Danışmanlar: YRD. DOÇ. DR. ERDEM UÇAR, YRD. DOÇ. DR. YILMAZ KILIÇASLAN
- Tez Türü: Yüksek Lisans
- Konular: Bilim ve Teknoloji, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Science and Technology, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Saklı Markov Modelleri, Türkçe için Sözdizimsel Etiketleme, Düzleme Teknikleri. Kümeleme, Çizge Madenciliği, Doğal dil sistemi, Olasılık çıkarımı, Saklı Markov modeli, Hidden Markov Models, Syntactic Tagging for Turkish, Language Smoothing, Clustering, Graph Mining, Natural language system, Probability inference, Hidden Markov model
- Yıl: 2008
- Dil: Türkçe
- Üniversite: Trakya Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Bölümü
- Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez çalışmasında Türkçe'deki sözdizimsel özelliklerin öğrenilmesi için çizge tabanlı bir otomatik öğrenme modeli sunulmaktadır. Çalışmada bir derlem kullanılarak tasarlanan çizge modeli eğitilmiş ve girilen bir cümle için doğru sözdizimsel etiketler bu model aracılığıyla çıkarılmıştır. Modelin tasarımı sırasında, olasılık tabanlı çizge modeli olan Saklı Markov Modelleri ve çizge teorisinden yararlanılmıştır. Sunulan çalışmada diğer olasılık tabanlı etiketleme algoritmalarından ve istatistiksel doğal dil işleme çalışmalarından farklı olarak Türkçe'nin biçimbilimsel özelliklerinin de kullanılabildiği olasılık tabanlı bir çizge modeli geliştirilmiştir. İlk olarak, ODTÜ-Sabancı Ağaç derleminden model için belirlenen bağlantılara göre bir çizge üretilmiş, daha sonra bu çizge üzerinden sözdizimsel öğelerin bulunabileceği Saklı Markov Modeli oluşturulmuş ve bu modelin üzerinde Viterbi algoritması uygulanarak bir cümle için sözdizimsel öğelerin bulunması sağlanmıştır. Modelin testi için N-Kere Çapraz Doğrulama algoritması kullanılarak başarı ölçülmüştür. Karmaşık derlem çizge modelinden Saklı Markov Modelinin bulunması için çizge teorisinde kullanılan Subdue çizge eşleme algoritmasından yararlanılmıştır. Saklı Markov Modeli ve çizge arama algoritmalarını birlikte kullanılarak daha karmaşık ilişkiye sahip öğeleri (sözdizimsel ve biçimbilimsel ilişkiler gibi) öğrenme için gereken model yapısı oluşturulmuştur. Karmaşık ilişkilerin, sonuç çıkarma ve otomatik öğrenme metotlarının bir arada kullanarak öğrenilmesi, ileride kavram uzayının öğrenilmesi doğrultusunda yapılabilecek çalışmalar için bir alt yapı oluşturmaktadır.Tezin organizasyonu şu şeklidedir. İlk bölüm Türkçe'nin karakteristiği ve istatistiksel doğal dil işleme konularını, ikinci bölüm çalışmanın konusu olan çizge algoritmalarını, üçüncü bölüm uygulamada kullanılan Saklı Markov Modellerini ve dördüncü bölüm uygulamayı ve sonuçlarını, beşinci bölüm ise yorumları içermektedir.
Özet (Çeviri)
In this thesis, a model based on combinatorial and probabilistic graphical approaches is proposed for learning of syntactic tor m s for Turkish sentences. A Treebank is used to train a designed probabilistic graphical model and syntactic tags are inferred for a Turkish sentence from this model. Hidden Markov Models and Graph Theory constitute the framework for this model and application. In this proposed model, in a way different from other probabilistic tagging methods and statistical natural language processing applications, a probabilistic graphical model has been developed for syntactic tagging based on morphological features of Turkish language. In the application, firstly a graph model has been constructed from METU-Sabanci Treebank based on certain relations; secondly, a Hidden Markov Model which was extracted from the graph model has been created and trained by the Viterbi algorithm in order to find syntactic features of a given sentence. In order to test the model the N-Fold Cross Validation algorithm is used. When extracting the Hidden Markov Model from the complex Treebank graph model the Subdue graph matching algorithm is used. In conclusion, it is observed that graph models and graph mining algorithms can be a new model in learning of complex relations such as syntactic and morphological relations. Since this study offers an exemplary case where discrete mathematical models and machine learning algorithms are used together, it theoretically supports conceptual space learning studies.The organization of the thesis is as follows: First chapter presents the characteristics of Turkish and gives an account of statistical natural language processing applications. The second chapter includes the graph algorithms which are used in this study. The third chapter offers information about Hidden Markov Models and language smoothing techniques. The forth chapter reports on the application and its results. The fifth chapter includes a conclusion and an evaluation of the results.
Benzer Tezler
- Leıbnız prop ıs a crossed presımplıcıal algebra
Leıbnız propu bir çaprazlanmış yarı-simpleksel cebirdir
MURAT CAN AŞKAROĞULLARI
Doktora
İngilizce
2025
Matematikİstanbul Teknik ÜniversitesiMatematik Mühendisliği Ana Bilim Dalı
PROF. DR. ATABEY KAYGUN
- Farklılaştırılmış öğretim stratejisi olarak kullanılan dijital öykü kartlarının öğrenme güçlüğü ve üstün zekalı öğrencilerin öykü yazma becerilerine etkisi
The effect of digital story cards used as a differentiated instruction strategy on the story-writing skills of students with learning disabilities and gifted students
İREM AKÇAYIR
- Doğal dil işlemede anlamsal ağlar yardımı ile bilgi modellenmesi
Knowledge modelling by semantic networks in natural language processing
ÜNAL ÇAKIROĞLU
Yüksek Lisans
Türkçe
2001
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKaradeniz Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ.DR. VASİF V. NABİYEV
- Doğal dil işlemede makine öğrenme yöntemlerinin şair tanıma problemi üzerinde kıyaslanması
Comparison of machine learning methods in natural language processing on the poet recognition problem
AYKHAN BAGHIROV
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOstim Teknik ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
PROF. DR. ALİ SEBETCİ
- Doğal dil işlemede destek vektör makineleri
Support vector machines in natural language processing
UĞURCAN DEMİR
Yüksek Lisans
Türkçe
2024
İstatistikEge Üniversitesiİstatistik Ana Bilim Dalı
DOÇ. DR. ÖZGE ELMASTAŞ GÜLTEKİN