Geri Dön

Akademik hukuk makalelerinde atıf önerisi

Citation recommendation on scholarly legal articles

PDF İndir

  1. Tez No: 807250
  2. Yazar: DOĞUKAN ARSLAN
  3. Danışmanlar: DOÇ. DR. GÜLŞEN ERYİĞİT
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: Türkçe
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 87

Özet

Hukuk ve Doğal Dil İşleme çalışmalarının kesişiminde, hukuki metinlerin anlaşılması, işlenmesi, yorumlanması ve üretilmesi gibi konulara odaklanan“Hukuki DDİ”çalışmaları yer alır ve bu çalışmalar farklı hukuki metin türleri üzerinde çeşitli alt görevlere odaklanmaktadır. Bu çalışmalardan biri de Atıf Öneri görevidir. Atıf Önerisi, bilimsel makalelerde belirli bir metin için potansiyel atıfların belirlenmesi çalışmalarını kapsar. Ancak, bu görevdeki çalışmalarda, veri kümelerinin alan bazında yeterince kapsayıcı olmaması ve alanlara dengesiz dağılması gibi sorunlar genellikle ihmal edilmektedir. Son zamanlarda yapılan bir çalışmada, bu sorunlar ele alınmış ve farklı alanları kapsayan yeni bir veri kümesi oluşturulmuştur. Ancak, hukuk gibi bazı temel alanlar hala bu tür çalışmaların dışında kalmaktadır. Bu nedenle, Atıf Önerisi gibi alt görevlerde bile, büyük veri kümeleriyle eğitilen dil modelleri, alan bazında eksiklikler gösterebilmektedir. Hukuki Doğal Dil İşleme bağlamında Atıf Önerisi, çoğunlukla mahkeme kararları gibi bilimsel olmayan hukuki metinlerden, var olan argümanları gerekçelendirmek için çeşitli atıfların elde edilmesini amaçlar. Hukuk sistemleri, Ortak Hukuk ve Kıta Avrupası Hukuk sistemi olmak üzere iki ana kategoriye ayrılabilir. Ortak Hukuk sistemine sahip ülkelerde, kararların sonuçları geçmiş davaların incelenmesiyle belirlenir ve bu nedenle kararlar arasında çok sayıda atıf bulunurken, Kıta Avrupası Hukuk sistemine sahip ülkelerde karar verme süreci daha çok olgusal kanıtlar ve ilgili kanun maddelerine dayanır. Bu da kararların kanunlara ve tüzüklere daha fazla atıf içermesine yol açar. Her iki sistemde de hukuk uygulayıcıları için emsal kararları bulmak önemlidir, ancak bu süreç zaman alıcı olabilir. Türkiye'de Yargıtay tarafından yayınlanan 7 milyondan fazla karar bulunmaktadır ve avukatlar, ilgili içtihatları aramak için önemli miktarda zaman harcamaktadır. Hukuki Atıf Önerisi görevinin halihazırdaki önemi ve faydaları, akademik hukuk metinlerinin gereken ilgiyi görmemesi ve görev kapsamına alınmamasıyla sonuçlanmıştır. Bununla birlikte, bilimsel makalelerden otomatik olarak atıf bilgisi çıkarılarak elde edilecek olan işaretli veri ile, etiketli veri oluşturmanın maliyetli olduğu Hukuki Doğal Dil İşleme görevleri için önemli bir kaynak oluşturulabilir. Bu yaklaşım, Atıf Önerisi görevinin yanı sıra emsal karar bulma, hukuki belge benzerliği ve hukuki karar tahmini gibi diğer görevlerde de etkili olabilir. Bu şekilde, akademik hukuk metinleri daha verimli bir şekilde kullanılarak daha iyi performans gösteren dil modelleri geliştirilebilir. Ayrıca, diğer bilimsel alanlardan farklı dilbilimsel özelliklere sahip olan hukuki metinler için özel bir ilgi gerekir. Geleneksel Atıf Önerisi görevinden ayrışan Hukuki Atıf Önerisi, bu özellikleri anlayabilen ve etkili atıf önerileri sunabilen dil modellerine ihtiyaç duyar. Bilimsel yayıncılığın hızlı genişlemesiyle birlikte, atıfların güvenilirliği ve kalitesiyle ilgili endişeler ortaya çıkmış ve Atıf Önerme görevi zaman içinde önem kazanmıştır. Bu görev kapsamında işbirlikçi filtreleme, çizge temelli filtreleme ve içerik temelli filtreleme gibi yöntemler kullanılmaktadır. Farklı metin türleri, haberlerden patentlere ve yargı kararlarına kadar, Atıf Önerme görevinde kullanılmıştır. Görev, önerinin kapsamına bağlı olarak da genellikle yerel ve küresel olmak üzere iki ana kategoriye ayrılır. Çeşitli akademik makale veri kümeleri, Atıf Önerme tekniklerinin geliştirilmesi ve test edilmesi için kullanılmıştır. Atıf Önerİ yöntemleri, akademik olmayan hukuki metinleri (mahkeme kararları, tüzükler, atıfta bulunulan yasalar vb.) tespit etmek amacıyla hukuk alanına uyarlanmaktadır. Bu uyarlamalar, Hukuki Atıf Önerme görevi adı altında gerçekleştirilmektedir. Tez kapsamında Hukuki Atıf Öneri görevi için, akademik hukuki makalelerden oluşan bir veri kümesi toplanmıştır. Bu veri kümesi, Atıf Önerme ve ilgili görevlerde iyi performans gösteren veya hukuk alanında eğitilmiş toplamda yedi farklı modelin test edildiği dört farklı deney düzeninde kullanılmıştır. Gerçekleştirilen deneylerde, yedi farklı model için dört farklı deney düzeni kullanılarak, önceden eğitilmiş modellerin doğrudan kullanılması, modellere ince ayar yapılması ve BM25 ile ilgili makalelerin çekilmesiyle birlikte yeniden sıralanması üzerinde çalışmalar yapılmıştır. Benimsenen iki aşamalı yaklaşım, dil modellerinin hantallığını azaltmak için BM25 gibi daha hızlı ancak daha az doğruluk gösteren modelleri kullanarak makale örneklerini hızlı bir şekilde seçmeyi amaçlar. Bu yaklaşım, bilgi getirimi çalışmalarında sistem etkinliğini artırmak için sıkça kullanılır. İlk aşamada, hızlı modellerle ilgili belgelerin örneklerini alırken, daha sonra yavaş ancak daha doğru olan modellerle bu aday makaleler yeniden sıralanır. İngilizce hukuki atıf önerme görevi için LawArXiv adlı hukuki bilimsel makaleler veritabanından makaleler indirilmiştir. Bu veritabanı, 1366 bilimsel hukuki makaleye sahip olan ve çeşitli hukuki konuları kapsayan bir kaynaktır. Makalelerin atıf yapılan kaynakları elde etmek için Google Scholar kullanılmış ve 10 binden fazla atıf içeren makale elde edilmiştir. Elde edilen makalelerin öz kısmı pdfplumber adlı bir Python paketi ile çıkarılmış, ardından başarılı bir şekilde çıkarılan İngilizce makaleler seçilmiştir. Ön işleme adımlarıyla makaleler düzenlenmiş ve öz kısımları çıkarılmıştır. Deneylerde 719 LawArXiv makalesi ve 8,887 atıf içeren 10,111 atıf bağlantısı içeren bir veri kümesi kullanılmıştır. Makalelerin öz kısımları, benzer içerik temelli küresel atıf önerme çalışmalarıyla uyumlu bir şekilde, ince ayar, temsil elde etme ve test aşamalarında girdi olarak kullanılmıştır. Veri kümesi, eğitim ve test olarak ayrılmış olup, verilerin %70'i eğitimde kullanılmış ve kalan %30'u test için ayrılmıştır. İnce ayar aşamasında üçlü kayıp fonksiyonu kullanılmıştır. Bu fonksiyon referans girdiyi (çapa) pozitif bir girdiyle (benzer) ve çapayla eşleşmeyen negatif bir girdiyle karşılaştırır. İnce ayar ve temsil elde etme adımlarından sonra, belge temsil vektörleri vektör uzayında benzerliklerine göre sıralanmıştır. Tüm eğitim ve test süreçlerinde Sentence-Transformers çerçevesi kullanılmıştır. Deneylerin sonuçları, bilgi getirimi çalışmalarında yaygın olarak kullanılan üç farklı metrik olan Mean Average Precision (MAP) (Ortalama Kesinliklerin Ortalaması), Recall (Duyarlılık) ve Mean Reciprocal Rank (MRR) (Sıralamaların Terslerinin Ortalaması) kullanılarak sunulmuştur. Bu metrikler, bir makalenin ortalama olarak 14 atıf bağlantısına sahip olduğu göz önüne alınarak, getirilen ilk 10 belge için (n=10) raporlanmıştır. Önceden eğitilmiş çeşitli modeller ve derlenen veri kümesi eğitilmiş BM25 modelinin karşılaştırması, SciBERT'in diğer modellere kıyasla en düşük performansı gösterdiği, Law2Vec ve LegalBERT gibi hukuki derlemlerle eğitilen modellerin atıf önerme görevinde başarısız olduğu, SGPT'nin ise SPECTER ve SciBERT'ten daha iyi performans gösterdiği ancak BM25'in en başarılı model olarak öne çıktığı sonucunu ortaya koymuştur. Bu sonuçlar, literatürdeki bilimsel alan temelli Atıf Önerme çalışmalarıyla da uyumludur. Önceden eğitilmiş modellere ince ayar yapıldığında elde edilen sonuçlar incelendiğinde, modellerin genel olarak benzer performans sergilediği ancak BM25'i geçemediği görülmektedir. Bununla birlikte, ince ayarlı LegalBERT modelinin performansının önemli ölçüde arttığı, modelin göreve aşinalığının alan bilgisiyle birleşmesinin performansı artırdığı gözlemlenmiştir. En başarılı modeller arasında SciNCL ve SciBERT öne çıkmaktadır, SciBERT'in performansındaki sıçrama dikkat çekicidir. Önceden eğitilmiş modellerin sıralama yeteneklerini BM25'in geri getirme kapasitesiyle birleştiren deneylerin sonuçları önceden eğitilmiş modellerin BM25'in performansını artıramadığını gösterse de, SciNCL'nin tartışmasız olarak en başarılı model olduğunu ortaya koymaktadır. BM25 ile getirilen makalelerin ince ayarlı modellerle yeniden sıralanması sonucunda, tüm ince ayarlı modellerin BM25'in performansını artırdığı gözlemlenmekte olup, SciNCL'in diğer deneylerle uyumlu olarak en başarılı model olduğu görülmektedir (0.30 MAP@10). Bu çalışmada, İngilizce Hukuki Atıf Önerisi veri kümesi oluşturulmuş ve Atıf Önerisi görevinde başarılı modeller ile alana özel eğitilmiş modellerin performansları karşılaştırılmıştır. Ayrıca, iki aşamalı bilgi getirme yöntemi kullanılmıştır. Sonuçlar, öne sürülen hipotezlerin doğruluğunu desteklemektedir. Dil modellerinin Hukuki Atıf Önerisi görevinde başarılı olabilmesi için akademik hukuk makalelerine yer verilmesi gerektiği ortaya çıkmıştır. Aynı şekilde, hukuki dokümanlarla eğitilen modellerin daha kapsayıcı olabilmesi için akademik hukuk makalelerinin de eğitim veri kümesinde bulunması gerektiği gösterilmiştir. İki aşamalı bilgi getirme yöntemi, büyük dil modellerinin ve BM25'in en iyi yönlerini birleştirerek genel performansı artırmaktadır. BM25 ile SciNCL'in birlikte kullanılması, Hukuki Atıf Önerisi görevinde en başarılı sonuçları vermektedir. Gelecek çalışmalar açısından, iki aşamalı bilgi getirme yöntemi önemli bir araştırma alanıdır. Ayrıca, elde edilen Hukuki Atıf Önerisi modelinin farklı hukuki görevlere uygulanması ve başarımlarının test edilmesi önemlidir. Veri kümesinin boyutunu artırmak için çeşitli çalışmalar da yapılabilir. Özellikle veri kümesi büyüdükçe, BM25'in hızı ve performansı daha iyi değerlendirilebilir.

Özet (Çeviri)

At the intersection of law and natural language processing is the study of“Legal NLP”, which focuses on the understanding, processing, interpretation, and generation of legal texts, and performs various subtasks on different types of legal texts. One of these tasks is Citation Recommendation. Citation Recommendation is a method for identifying potential citations for a given text in scholarly articles. However, studies in this area often neglect problems such as domain-inclusive data sets and uneven distribution across domains. In a recent study, these problems were addressed and a new dataset covering different domains was created. However, some core domains, such as law, are still excluded from such studies. Therefore, even in subtasks such as citation recommendation, language models trained on large datasets may show domain-specific deficiencies. In the context of Legal Natural Language Processing, Citation Recommendation is a method that aims to extract various citations from non-scientific legal texts, such as court decisions, to justify existing arguments. Legal systems can be divided into two main categories: Common Law and Civil Law. In countries with a Common Law system, the outcomes of judgments are determined by examining past cases and therefore there are a large number of citations between judgments, whereas in countries with a Civil Law system, the decision-making process is based more on factual evidence and relevant articles of law, resulting in judgments that contain more citations to laws and statutes. In both systems, legal practitioners need to find precedents, but this process can be time-consuming. In Turkey, there are more than 7 million judgments published by the Court of Cassation. Lawyers spend a lot of time searching for relevant case law. The current importance and utility of the Legal Citation Recommendation task has resulted in academic legal texts not receiving attention and not being included in the scope of the task. However, by automatically extracting citation information from scholarly articles, labeled data could be a valuable resource for Legal Natural Language Processing tasks where the generation of labeled data is costly. In addition to the Citation Recommendation task, this approach can be effective in other tasks such as case retrieval, legal document similarity, and legal decision prediction. In this way, scholarly legal documents can be used more efficiently to develop more powerful language models.Legal texts, which have different linguistic features than other scientific fields, require special attention. Legal Citation Recommendation, which is different from the traditional Citation Recommendation task, requires language models that understand these features to provide effective recommendations. With the rapid expansion of scholarly publishing, concerns about the reliability and quality of citations have emerged and the task of Citation Recommendation has gained importance. Methods such as collaborative filtering, graph-based filtering and content-based filtering are used in this task. Different text types have been used in the Citation Recommendation task, ranging from news articles to patents and judicial decisions. Depending on the scope of the recommendation, the task is usually divided into two main categories: local and global. Various scholarly article datasets have been utilized to develop and test Citation Recommendation techniques. The Citation Recommendation methods are adapted to the legal domain to identify non-academic legal texts (court decisions, statutes, cited laws, etc.). These adaptations are performed under the name of the Legal Citation Recommendation. In this thesis, a dataset of scholarly legal articles was collected for the Legal Citation Recommendation task. This dataset was used in four different experimental settings in which a total of seven different models, either trained in the legal domain or performing well on the Citation Recommendation and related tasks, were tested. For the seven different models, four different experimental setups were used: direct use of pre-trained models, fine-tuning, and ranking them, as well as retrieving articles related to BM25. Adopted two-stage approach aims to quickly select article instances using faster but less accurate models such as BM25 to reduce language models' cumbersomeness. This approach is often used in knowledge retrieval studies to improve system efficiency. In the first stage, it retrieves samples of relevant documents with fast models, and then re-ranks these candidate articles with slower but more accurate models. For the English Legal Citation Recommendation task, articles were downloaded from a database of legal scholarly articles called LawArXiv. This database contains 1366 scholarly legal articles, covering a variety of legal topics. Google Scholar was used to obtain the cited sources of the articles and more than 10 thousand cited articles were obtained. The context of the articles was extracted with a Python package called pdfplumber, and then the successfully extracted English articles were selected. The experiments used a dataset of 719 LawArXiv articles and 10,111 citation links containing 8,887 citations. The abstracts of the articles were used as input in the fine-tuning, representation retrieval and testing phases, in line with similar content-based Global Citation Recommendation studies. The dataset was split into training and testing, with 70% of the data used for training and the remaining 30% for testing. In the fine tuning phase, a triple loss function was applied, which compares the reference input (anchor) with a positive input and a negative input that does not match the anchor. After the fine-tuning and representation extraction steps, the document representation vectors are ranked according to their similarity in the vector space. The Sentence-Transformers framework was used for all training and testing phases. The results of the experiments are presented using Mean Average Precision (MAP), Recall and Mean Reciprocal Rank (MRR), three different metrics commonly used in information retrieval studies. These metrics are reported for the first 10 retrieved documents (n=10), considering that on average an article has 14 citation links. A comparison of various pre-trained models and the BM25 model trained on the corpus dataset reveals that SciBERT performs the worst compared to the other models, models trained on legal corpora such as Law2Vec and LegalBERT perform poorly in the Citation Recommendation task, SGPT outperforms SPECTER and SciBERT, but BM25 stands out as the most successful model. These results are in line with scientific domain-based citation recommendation studies in the literature. When the results obtained by fine-tuning the pre-trained models are analyzed, it is seen that the models perform similarly in general but do not outperform BM25. However, it was observed that the fine-tuned LegalBERT model improved significantly, and that the model's familiarity with the task combined with domain knowledge improved performance. Among the most successful models, SciNCL and SciBERT stand out, with SciBERT's performance jump being remarkable. The results of experiments combining pre-trained models' ranking capabilities with BM25's retrieval capacity show that pre-trained models cannot improve BM25's performance, but SciNCL is arguably the most successful model. Re-ranking the articles retrieved by BM25 with fine-tuned models shows that all fine-tuned models improve BM25 performance, with SciNCL being the most successful model (0.30 MAP@10), in line with the other experiments. In this study, an English Legal Citation Recommendation dataset is created. The performance of language models trained on scholarly articles and language models trained in the legal domain is compared on the Citation Recommendation task. Furthermore, a two-stage information retrieval method is used. Also, the results support the hypotheses. In order for the language models to be successful in the Legal Citation Recommendation task, scholarly law articles should be included. Likewise, it has been shown that scholarly law articles should also be included in the training dataset for the models trained with legal documents to be more inclusive. The two-stage information retrieval method improves overall performance by combining the most powerful aspects of large language models and BM25. The combination of BM25 with SciNCL gives the most reliable result on the Legal Citation Recommendation task. In terms of future work, the two-stage information retrieval method is a significant area of research. Furthermore, it is important to apply the obtained Legal Citation Recommendation models to different legal tasks and test its performance. Various studies can also be conducted to increase the dataset size. As the dataset grows, BM25's performance can be better evaluated.

Benzer Tezler

  1. Tez No

    717037

    Meiji dönemi Japon eğitim reformu: Meiroku Cemiyeti, Meiroku Dergisi ve kurucuları

    Japanese education reform in Meiji era: The Meiroku Society, Meiroku Journal and its founders

    UTKU AKSOY

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Doğu Dilleri ve EdebiyatıAnkara Üniversitesi

    Doğu Dilleri ve Edebiyatları Ana Bilim Dalı

    PROF. DR. ALİ MERTHAN DÜNDAR

  2. Tez No

    709357

    Legitimacy challenges against the International Criminal Court: An evaluation on the legitimacy dialogue of the ICC

    Uluslararası Ceza Mahkemesine yönelik meşruiyet itirazları: UCM'nin meşruiyet diyaloğu üzerine bir değerlendirme

    YUNUS KESKİN

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    HukukGalatasaray Üniversitesi

    Kamu Hukuku Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ BLEDA R. KURTDARCAN

  3. Tez No

    101090

    Rekabetin korunması hakkında Kanun'a göre hakim durumun kötüye kullanılması

    Başlık çevirisi yok

    PELİN DOĞA KONUKMAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2000

    İşletmeİstanbul Teknik Üniversitesi

    PROF.DR. DEVRİM ULUCAN

  4. Tez No

    738701

    Türkiye'de akademik makalelerde öz hazırlama örüntüleri: Disiplinler arası bir analiz

    Patterns of academic article abstracts in Turkey: An interdisciplinary analysis

    HATİCE GÜLŞEN BİRİNCİ

    Doktora

    Türkçe

    Türkçe

    2022

    Bilgi ve Belge Yönetimiİstanbul Üniversitesi

    Bilgi ve Belge Yönetimi Ana Bilim Dalı

    PROF. DR. ÜMİT KONYA

  5. Tez No

    844404

    Dinlerin toplumdaki kadın algısı üzerine etkileri

    The effects of religions on the perception of women in society

    ELİF ERASLAN YİGİT

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    DinAnkara Hacı Bayram Veli Üniversitesi

    Kadın ve Aile Araştırmaları Ana Bilim Dalı

    PROF. DR. FULYA BAYRAKTAR

Geri Dön