Geri Dön

Learning logic rules from text using statistical methods for natural language processing

İstatistiksel yöntemler kullanarak doğal dil işleme amacıyla mantıksal kural öğrenmesi

PDF İndir

  1. Tez No: 470653
  2. Yazar: MISHAL KAZMI
  3. Danışmanlar: PROF. DR. YÜCEL SAYGIN, YRD. DOÇ. DR. PETER SCHÜLLER
  4. Tez Türü: Doktora
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2017
  8. Dil: İngilizce
  9. Üniversite: Sabancı Üniversitesi
  10. Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 97

Özet

Doğal Dil İşleme (NLP) alanı bilgisayarların doğal dili anlayarak nasıl yararlı işler yapabileceğini inceler. NLP'nin temelini elektrik ve elektronik mühendisliği, dilbilimi ve yapay zek gibi birçok bilim dalı oluşturur. Bilgi çıkarımı, makine bazlı çeviri, metin özetleme ve soru cevaplama, popüler NLP uygulamalarından bazılarıdır. Bu tez, çözüm kümesi Programlama'yı (ASP) temel alan, Inspire isimli sistemimizde sabit bir şekilde kodlanmış kurallara odaklanan, Yorumlanabilir Anlamsal Metin Benzerlikleri'ni (iSTS) kural bazlı bir yaklaşım ile öngören yeni bir metodoloji önermektedir. Bu metodolojinin yanı sıra, Tümevarımla Mantık Programlama'yı (ILP) kullanarak zeki bir kural öğrenme yöntemi öneriyor ve de Inspire sisteminin parçalama alt görevine sabit bir şekilde girilmiş ASP bazlı kuralları öğrenip öğrenemeyeceğimizi test etmek için bir ILP aracı olan Genişletilmiş Hibrit Dışacekimsel Tümevarımsal Oğrenme'ın (XHAIL) üzerinde değişiklik ¨ yapıyoruz. Parçalama, isim tamlaması gibi kısa sözcük öbeklerinin ağırlıklı olarak KonuşmaBölümü (POS) etiketleri kullanarak tanımlanmasıdır. Sonuçlarımızı, SemEval2016 Task-2 iSTS yarışmasından elde ettiğimiz gerçek veri setlerini ve uzmanlar tarafından verilmiş test setlerini kullanarak değerlendiriyoruz. Inspire sistemi, SemEval2016 Task-2 iSTS yarışmasında, üç farklı veri setinde altın parçacıkları ve sistem tarafından üretilen parçalarda yığın benzerliği hizalamalarını tahmin etme alt görevlerinde katıldı. Inspire sistemi, SemEval2015 iSTS katılımcısı NeRoSim'in temel fikirlerini, mantık programlamadaki kuralları gerçekleştirerek ve de sonuçları bir çözüm Kümesi Çözücü ile elde ederek devam ettirdi. Mantık programı için veriyi hazırlarken, PunktTokenizer, Word2Vec ve NLTK'nin WordNet API'ları ve Stanford CoreNLP'nin KonuşmaBölümü (POS) ve Adlandırılmış Varlık Tanıma (NER) etiketleyicileri kullanıldı. Parçalama alt görevi için, C¸ özüm Kümesi Programlama tarafından belirlenmiş parçalara dayalı ortak bir POS-etiketleyici ve bağımlılık çözümleyici kullanıldı. Inspire sistemi yarışmada genel kategoride üçüncülüğü, altın para alt kategorisinde verilerden birinde birincili˘gi elde etti. Yukarıda bahsedilen sistem i¸cin, ILP adında, kural bazlı ve istatistiksel yapay zek yöntemlerini birleştiren bir istatistiksel mantık metodunu kullanarak ASP kurallarını öğrenmeye ve cümle yığınlama sürecini otomatikleştirmeye karar verdik. ILP yöntemi çözümleyici, bilgi çıkarımı, soru cevaplama gibi çeşitli NLP problemlerine uygulanmıştır. XHAIL, verilen arka plan bilgisinden ve POS etiketleri tarafından sağlanan bilgilere dayanan bir hipotez üretmeyi amaçlayan bir mantık programı olan ILP aracıdır. Temel zorluklardan biri, XHAIL algoritmasını ASP'yi temel olan ILP i¸cin genişletmekti. ILP, doğal dil işlenmesi kapsamında, dilin günlük kullanımdaki sürekli değişimini takip edebilir. Aynı zamanda, ILP diğer istatistiksel yöntemler gibi büyük miktarda eğitim veri setine ihtiyaç duymaz ve yorumlanabilen, analiz edilebilen ve gerektiğinde düzeltilebilen kurallar üretir. Katkı olarak, XHAIL, (i) daha geniş veri setlerinden öğrenmeyi sağlayan, hipotez genelleme algoritması i¸cerisinde bir budama mekanizması, (ii) yakın zamanda geliştirilmiş optimizasyon yöntemlerini kullanarak modern çözücü teknolojisinin daha iyi kullanılması ve (iii) optimal olmayan sonuçların kullanımına izin veren bir zaman bütçesi ile genişletildi. Bu iyileştirmeler, SemEval2016 Task-2 yarışmasından elde edilen aynı üç veri seti kullanılarak, cümle yığınlama alt-görevinde değerlendirildi. Sonuçlar, bu iyileştirmelerin büyük veri kümelerinde öğrenme konusunda, son teknoloji sistemlerle benzer sonuçlar elde ettiğini göstermiştir. Ayrıca, her bir veri kümesinden elde edilen hipotezler veri kümelerinin yapısını kavrayabilmek için birbirleriyle kar¸sıla¸stırılmı¸stır. ILP'yi kullanarak Inspire sistemini geni¸sletmek, yığınlama sürecini otomatikleştirmenin yanı sıra verilerin daha derinleşmesine anlaşılmasını ve nasıl manipüle edilebileceğini yorumlamaya yönelik modeller sağlamıştır; bu da popüler Makine Oğrenme yöntemlerinde bulun- ¨ mayan bir özelliktir.

Özet (Çeviri)

The field of Natural Language Processing (NLP) examines how computers can be made to do beneficial tasks by understanding the natural language. The foundations of NLP are diverse and include scientific fields such as electrical and electronic engineering, linguistics, and artificial intelligence. Some popular NLP applications are information extraction, machine translation, text summarization, and question answering. This dissertation proposes a new methodology using Answer Set programming (ASP) as our main formalism to predict Interpretable Semantic Textual Similarity (iSTS) with a rule-based approach focusing on hard-coded rules for our system, Inspire. We next propose an intelligent rule learning methodology using Inductive Logic Programming (ILP) and modify the ILP-tool eXtended Hyrbid Abductive Inductive Learning (XHAIL) in order to test if we are able to learn the ASP-based rules that were hard-coded earlier on the chunking subtask of the Inspire system. Chunking is the identification of short phrases such as noun phrases which mainly rely on Part-of-Speech (POS) tags. We next evaluate our results using real data sets obtained from the SemEval2016 Task-2 iSTS competition to work with a real application which could be evaluated objectively using the test-sets provided by experts. The Inspire system participated at the SemEval2016 Task-2 iSTS competition in the subtasks of predicting chunk similarity alignments for gold chunks and system generated chunks for three different Datasets. The Inspire system extended the basic ideas from SemEval2015 iSTS Task participant NeRoSim, by realising the rules in logic programming and obtaining the result with an Answer Set Solver. To prepare the input for the logic program, the PunktTokenizer, Word2Vec, and WordNet APIs of NLTK, and the Part-of-Speech (POS) and Named-Entity-Recognition (NER) taggers from Stanford CoreNLP were used. For the chunking subtask, a joint POS-tagger and dependency parser were used based on which an Answer Set program determined chunks. The Inspire system ranked third place overall and first place in one of the competition datasets in the gold chunk subtask. For the above mentioned system, we decided to automate the sentence chunking process by learning the ASP rules using a statistical logical method which combines rule-based and statistical artificial intelligence methods, namely ILP. ILP has been applied to a variety of NLP problems some of which include parsing, information extraction, and question answering. XHAIL, is the ILP-tool we used that aims at generating a hypothesis, which is a logic program, from given background knowledge and examples of structured knowledge based on information provided by the POS-tags. One of the main challenges was to extend the XHAIL algorithm for ILP which is based on ASP. With respect to processing natural language, ILP can cater for the constant change in how language is used on a daily basis. At the same time, ILP does not require huge amounts of training examples such as other statistical methods and produces interpretable results, that means a set of rules, which can be analysed and tweaked if necessary. As contributions XHAIL was extended with (i) a pruning mechanism within the hypothesis generalisation algorithm which enables learning from larger datasets, (ii) a better usage of modern solver technology using recently developed optimisation methods, and (iii) a time budget that permits the usage of suboptimal results. These improvements were evaluated on the subtask of sentence chunking using the same three datasets obtained from the SemEval2016 Task-2 competition. Results show that these improvements allow for learning on bigger datasets with results that are of similar quality to state-of-the-art systems on the same task. Moreover, the hypotheses obtained from individual datasets were compared to each other to gain insights on the structure of each dataset. Using ILP to extend our Inspire system not only automates the process of chunking the sentences but also provides us with interpretable models that are useful for providing a deeper understanding of the data being used and how it can be manipulated, which is a feature that is absent in popular Machine Learning methods.

Benzer Tezler

  1. Tez No

    145026

    The significance and the contribution of 6+1 traits of writing to the success of the students in writing courses in English language teaching

    Yazmanın 6+1 özelliğinin İngilizce öğretiminde yazılı anlatım derslerindeki öğrenci başarısına katkısı ve önemi

    ÖZLEM YAZAR

    Yüksek Lisans

    İngilizce

    İngilizce

    2004

    Eğitim ve ÖğretimGazi Üniversitesi

    İngiliz Dili Eğitimi Ana Bilim Dalı

    YRD. DOÇ. DR. PAŞA TEVFİK CEPHE

  2. Tez No

    885897

    Cyber tools as foreign policy instruments in trilateral relations: Analysing cyber-attacks targeting the United Kingdom

    Üçlü ilişkilerde dış politika aracı olarak siber araçlar: Birleşik Krallık'ı hedef alan siber saldırıların analizi

    ATAKAN YILMAZ

    Doktora

    İngilizce

    İngilizce

    2024

    Siyasal BilimlerGalatasaray Üniversitesi

    Uluslararası İlişkiler Ana Bilim Dalı

    DOÇ. DR. MENENT SAVAŞ CAZALA

  3. Tez No

    441727

    Uyarlamalı zeki öğretim ssisteminde bulanık mantık yaklaşımı ile öğrenci modelleme

    Adaptive intelligent tutorial system with fuzzy logic aproach student model

    ÖZNUR ÖCAL

    Yüksek Lisans

    Türkçe

    Türkçe

    2016

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMarmara Üniversitesi

    Elektronik-Bilgisayar Ana Bilim Dalı

    YRD. DOÇ. DR. BUKET DOĞAN

  4. Tez No

    166674

    Esnek hesaplama yöntemlerinin jeodezide uygulamaları

    Applications of soft computing methods in geodesy

    ORHAN AKYILMAZ

    Doktora

    Türkçe

    Türkçe

    2005

    Jeodezi ve Fotogrametriİstanbul Teknik Üniversitesi

    Jeodezi ve Fotogrametri Mühendisliği Ana Bilim Dalı

    PROF.DR. TEVFİK AYAN

  5. Tez No

    876304

    Leveraging ai in construction management

    İnşaat proje yönetiminde yapay zekadan faydalanma

    BARAN AKOL

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Mimarlıkİstanbul Teknik Üniversitesi

    Mimarlık Ana Bilim Dalı

    DOÇ. DR. FATMA PINAR ÇAKMAK

Geri Dön