Bulanık mantık ve yapay sinir ağları ile Türkçe yazım denetleyicisi
Turkish spell checker and correction with fuzzy logic and artificial neural networks
- Tez No: 166789
- Danışmanlar: PROF.DR. EŞREF ADALI
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Doğal Dil İşleme, Yazım Denetleme, Bulanık Mantık, Yapay Sinir Ağları, öğrenme, Spell Checking, Spell Correction, Fuzzy Logic, Artificial Neural Networks, Learning XI
- Yıl: 2005
- Dil: Türkçe
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
ÖZET BULANIK MANTIK VE YAPAY SENTR AĞLARI İLE TÜRKÇE YAZIM DENETLEYİCİSİ Yapay Zeka insanın düşünme sistemini modellemeyi amaçlayan çalışmalar bürünür. Yapay Zekanın bir alt kolu olan Doğal Dil İşleme ise bir doğal dili çözümleme, anlama, yorumlama, üretme gibi işlevlerin bilgisayar ortamında ele alındığı bir mühendislik alanıdır. Türkçe bağlantılı ve kurallı bir dildir. Köke belli kurallara göre eklenen ekler ile birçok yeni sözcük türetilebilmektedir. Bu özelliği ile dilde kullanılan sözcük sayısı yönetilemez düzeylere ulaşabilmektedir. Ayrıca dile sonradan eklenmiş kural dışı fakat günlük hayatta kullanımı yoğun olan sözcükler bulunmaktadır. Bu tezde, Türkçe'nin bağlantılı dil yapısında olmasından yola çıkılıp kök ve ekler temel alınarak bir Türkçe yazım denetleme çalışması yapılmıştır. Sözlük yerine bir eğitim kümesinden elde edilmiş kaynak kümeler kullanılmış, kural tabanlı bir mantık yerine sadece temel birkaç ses uyumu kuralının ele alındığı, asıl yapının istatistiksel temeller üzerine oturtulduğu yeni bir yaklaşım getirilmeye çalışılmıştır. Çalışma iki ana kısımdan oluşmaktadır: Eğitim ve Denetim. Eğitim kısmında kök ve eklerine ayrılmış bir eğitim kümesinden kök ve ekler için iki ayrı kaynak kümesi oluşturulmuştur. Bu kaynak kümeler sözcüklerin kullanımına ait kullanım sıklıklarını da içermektedir. Denetim aşamasında denetimi yapılacak sözcükler de kök ve eklerine ayrılmış, hem kök hem de ekler kendilerine ait kaynak kümeler kullanılarak ayrı ayrı denetlenmiştir. Türkçe'de eklerin sıralanışı önemli olduğu için ekler, art arda gelen ek çiftleri şeklinde ele alınmıştır. Denetleme için iki sözcük (iki kök ya da iki ek çifti) karşılaştırılmış ve derecelendirilmiştir. Dereceleme, bulanık mantık ile geliştirilmiş bir benzerlik oranı, yapılan hataların öğrenilmesi ile elde edilmiş bir öğrenme derecesi ve kullanım sıklıklarından oluşan bütünleşik bir yapıya sahiptir. Her denetleme sonrası, sistem yapılan hataları öğrenmekte, bir sonraki denetimlerde bu öğrenilmiş bilgileri de dereceleme yapısı içinde kullanmaktadır. Öğrenme için Yapay Sinir Ağlan kullanılmıştır. Daha sonra denetlenen kök ve ekler Türkçe'nin en temel birkaç ses uyumu kuralı gözetilerek birleştirilip, yorumlanmıştır. Hatalı sözcükler için, denetleme sonuçlarından elde edilen uygun önermeler yapılmıştır.
Özet (Çeviri)
SUMMARY TURKISH SPELL CHECKER AND CORRECTION WITH FUZZY LOGIC AND ARTDJICIAL NEURAL NETWORKS Turkish is an agglutinative and rule-based language. By suffixing morphemes to the roots, a huge variety of new words can be produced. With this property, Turkish language has a very rich, unmanagable vocabulary size. Besides being rule-based, there are lots of exceptional words transferred from other languages and widely used in daily life, violating these rules. In this study, starting from the point of Turkish's being an agglutinative language, a root and suffix based spell checking and correction is implemented. Instead of a dictionary, a reference set - created from a training set - is used. Because of exceptions and violations in the language, a solely rule-based approach would not help. Thus, a statistical based structure is used with only some basic Turkish consonant and vowel harmony rules. This thesis consists of two main parts: Training and Checking&Correction. In the training part, from a big morphological analyzed train set, root and suffix reference sets are created. While doing this, occurance rates are also calculated. In the checking and correction part, text to be checked is parsed into its roots and suffixes by a morphological analyzer. These roots and suffixes are checked against the reference sets produced in the training part. The order of suffixing is important in Turkish, thus suffixes are handled as consecutive suffix pairs. For checking and correction, two roots or two suffix pairs are compared and scored. Scoring is a combination of Fuzzy Logic based string match ratio, a learning score and the occurance ratio. After the correction of a sample text, the system learns the errors made and uses this knowledge in the successive checking and correction operations. Learning is managed with Artificial Neural Networks. Finally, a set of candidate root and suffix corrections are produced, which are then combined with some basic Turkish consonant and vowel harmony rules. The resulting words are proposed.
Benzer Tezler
- Yapay sinir ağları ve bulanık sistemlerin nükleer güç santrallarının kontrolunda kullanılması
Neural networks and fuzzy systems for advanced controoler design in nuclear power plants
FARUK EROL SAĞIROĞLU
- Örtü altı tarım uygulamlarında yapay zekâ tabanlı tespit, teşhis, tedavi ve verim otomasyonu
Artificial intelligence based detection, desease, diagnosis, treatment and efficiency otomation for greenhouse applications
ABDİL KARAKAN
Doktora
Türkçe
2022
Elektrik ve Elektronik MühendisliğiPamukkale ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SELAMİ KESLER
- Fotogrametrik ve fotogrametrik olmayan ölçmelerin birlikte değerlendirilmesi ve uygulaması
Die Gemeinsame behandlung der photogrammetrischen und nicht photogrammetrischen messunger und ihre anwendung
SITKI KÜLÜR
- Erzurum ve Erzincan yörelerindeki bazı bitkilerde bulunan eriophyoi dea (acarina:actinedida) akarları üzerinde çalışmalar
Studies an eriophyoid mites (eriophyoidea:acarina) on some plants in Erzurum and Erzincan regions
ÖZDEMİR ALAOĞLU