Token interchangeability and alpha-equivalence: enhancing the generalization capacity of language models for formal logic
Belirteç değiştirilebilirliği ve alfa-eşdeğerlilik: dil modellerinin biçimsel mantık için genelleme kabiliyetinin iyileştirilmesi
- Tez No: 961247
- Danışmanlar: DOÇ. DR. RAMAZAN GÖKBERK CİNBİŞ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 83
Özet
Dil modelleri, değiştirilebilir belirteç kavramından yoksundur. Bu kavram, biçimsel mantıktaki bağlı değişkenler gibi anlamsal olarak eşdeğer ancak farklı olan sembolleri ifade eder. Bu eksiklik, daha geniş sözcük dağarcıklarına genellemeyi engeller ve modelin alfa eşdeğerliği tanıma yeteneğini engeller. Alfa eşdeğerlik, bağlı değişkenleri yeniden adlandırmanın anlamı kormasıdır. Bu çalışmada, bu makine öğrenimi sorunu formüle edildi ve bu tür dönüşümlere karşı sağlamlığı değerlendirmek için bir ölçüt olan alfa kovaryansı sunuldu. Bu görevi ele almak için, çift parçalı bir belirteç yerleştirme stratejisi öneriyoruz: paylaşılan bir bileşen anlamsal tutarlılığı sağlarken, rastgele bir bileşen belirteç ayırt edilebilirliğini koruyor. Veri artırma için alfa yeniden adlandırmaya dayanan bir yöntem ile karşılaştırıldığında, yaklaşımımız doğrusal zamansal mantık çözümünde, önermesel mantık atama tahmininde ve genişletilebilir bir sözcük dağarcığıyla kopyalamada görülmemiş belirteçlere yönelik genelleme gösterirken, alfa eşdeğerliği için olumlu bir tümevarımsal önyargı sunuyor. Bulgularımız, biçimsel (formal) alanlarda daha esnek ve sistematik akıl yürütmeye doğru önemli bir adım olan, değiştirilebilir belirteç gösterimlerini öğrenebilen dil modelleri tasarlamak için bir temel oluşturuyor.
Özet (Çeviri)
Language models lack the notion of interchangeable tokens: symbols that are semantically equivalent yet distinct, such as bound variables in formal logic. This limitation prevents generalization to larger vocabularies and hinders the model's ability to recognize alpha-equivalence, where renaming bound variables preserves meaning. We formalize this machine learning problem and introduce alpha-covariance, a metric for evaluating robustness to such transformations. To tackle this task, we propose a dual-part token embedding strategy: a shared component ensures semantic consistency, while a randomized component maintains token distinguishability. Compared to a baseline that relies on alpha-renaming for data augmentation, our approach demonstrates improved generalization to unseen tokens in linear temporal logic solving, propositional logic assignment prediction, and copying with an extendable vocabulary, while introducing a favorable inductive bias for alpha-equivalence. Our findings establish a foundation for designing language models that can learn interchangeable token representations, a crucial step toward more flexible and systematic reasoning in formal domains.
Benzer Tezler
- Endüstrileşmiş bina yapımında açık kapalı üretim ve pazarlama sistemlerinin uygulanma sorunları
Başlık çevirisi yok
EMİNE SEZER
- Kalıpta biçimlendirilen sac parçaların geometrik spesifikasyonları ile biçim ve boyut sapmalarının incelenmesi
Investigation of geometric specifications and dimensional deviations of sheet metal parts formed in dies
BURAK VELİ GÖRÜR
Yüksek Lisans
Türkçe
2003
Makine MühendisliğiYıldız Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET EMİN YURCİ
- Geometrik ürün spesifikasyonlarına göre kompresör parçalarının kontrol metodları ve tolerans analizleri
Cotrol methods and tolerance analysis of compressor parts according to geometrical product specifications
ANIL NOMAK
Yüksek Lisans
Türkçe
2000
Makine MühendisliğiYıldız Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. M. NUMAN DURAKPAŞA
- Sürdürülebilirlik ve finansal performansın karşılaştırılması: BIST sürdürülebilirlik endeksi'ndeki işletmeler üzerine bir araştırma
Comparison of sustainability and financial performance: A study on enterprises in BIST sustainability index
SELDA KORGA
Doktora
Türkçe
2023
İşletmeKırıkkale ÜniversitesiMuhasebe ve Finansman Ana Bilim Dalı
PROF. DR. SUPHİ ASLANOĞLU