A New higher-order binary input neural unit : learning and generalizing effectively via using minimal number of monomials
Yeni bir ikilik-girdili yüksek-dereceli nöral birim : en az sayıda monamiyal kullanarak öğrenme ve genelleme
- Tez No: 35772
- Danışmanlar: DOÇ.DR. MARİFİ GÜLER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Yapay Nöron Ağları, Yüksek-Dereceli Nöronlar, Genelleme, Entropi Minimum Öğrenme, Monomiyal, Artificial Neural Networks, Higher-Order Neurons, Generalization, Entropy Minimum Learning, Monomial
- Yıl: 1994
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Belirtilmemiş.
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 69
Özet
Öz YENİ BİR IKILIK-GIRDILI YUKSEK-DERECELI NORAL BİRİM: ENAZ SAYIDA MONOMİYAL KULLANARAK ÖĞRENME VE GENELLEME Erol Şahin Yüksek Lisans Tezi, Bilgisayar Mühendisliği Anabilim Dalı Tez Yöneticisi: Asst. Prof. Dr. Marifi Güler Yardımcı Tez Yöneticisi: Prof. Dr. Neşe Yalabık Şubat 1994, 69 sayfa Yüksek-Dereceli Nöron (YDN) modelleri, girdileri ikilik olursa, sonlu sayıdaki bir monomiyal toplamıyla ifade edilebilir. Bunlar, ilginç ve güçlü bir hesaplama modelleri sınıfını temsil etmesine rağmen, monomiyallerin sayısındaki kombi natoryal patlama önemli bir darboğaz olmaktadır. Belli bir problem için sadece az sayıdaki monomiyallerin önemli olduğunu, geride kalan ve göreceli olarak daha küçük ağırlıklı monomiyallerin ihmal edilebileceğini (ve edilmesi gerektiğini!) savunarak, en gerekli monomiyalleri ağırlıklarıyla beraber bula bilecek, sonlu sayıda çarpan terimlerinin toplamı olarak ifade edilebilen yeni bir model önerildi. Gradyan-alçalma metodu kullanılarak bir öğrenme algoritması çıkarıldı. Ayrıca, yeni bir“Genelleme Hipotezi”öne sürüldü. Bu hipotezde, en iyi genellemenin öğrenilecek örneklerin arasındaki en basit ilişki çıkarılarak gerçekleştirilebileceği, ve de bir problem için en az sayıda monomiyal içeren ilişkinin, en basit ilişki olacağı savunuldu. Sürekli ve türevi alınabilir bir karar fonksiyonuna sahip olan ve Öğrenme algoritmasına, modeli enaz sayıda monomiyal kullanarak en basit ilişkiyi bulmaya zorlayacak entropi minimizasyonu eklenmiş, ikinci bir model geliştirildi. Bu model“zor”problemlerin de içinde bulunduğu bazı“oyuncak”problemlere uygulandı, öğrenme ve genelleme performansları sunuldu. Yeni genelleme hipoteziyle birlikte bu modelin, tam- dereceli YDN'lerin öğrenme algoritması darboğazını aşacağını iddia ediyoruz.Gradyan-alçalma metodunun bölgesel minima problemi, algoritmanın yakınsama problemlerine yol açmasına rağmen, elde edilen sonuçlar oldukça umut verk cidir.
Özet (Çeviri)
ABSTRACT A NEW HIGHER-ORDER BINARY-INPUT NEURAL UNIT: LEARNING AND GENERALIZING EFFECTIVELY VIA USING MINIMAL NUMBER OF MONOMIALS Erol Şahin M.S. in Computer Engineering Supervisor: Asst. Prof. Dr. Marifî Güler Cosupervisor: Prof. Dr. Neşe Yalabık February 1994, 69 pages Higher-Order Neuron (HON) models can be expressed as a finite sum of mono mials, if the inputs are binary. Although they represent an interesting and powerful class of computational models, combinatorial explosion in the num ber of monomials, has been a major bottleneck. Claiming that for a particular problem, only a small number of monomials are relevant, while the remaining ones with relatively smaller weights can be ignored (and must be ignored!), a new model, which is expressed as a finite sum of, so-called product terms, is proposed to determine the most relevant monomials, with their weights also, is proposed. A learning algorithm based on gradient-descent is derived. Also a novel“Generalization Hypothesis”is proposed in which it is claimed that given a set of training patterns, the best generalization can be accomplished by finding the simplest relation among the training patterns and moreover, a relation including minimum number monomials for a problem is the simplest one. A second model with a continuous differentiable decision function is pro posed, with entropy minimization included in its learning algorithm, to force the model to find the simplest solution with minimum number of monomials. This model is applied to some toy problems, including“hard”ones, and the learning and generalization performances are presented. The model, with its novel generalization concept is claimed to overcome the bottleneck in HON's mby providing an efficient algorithm to train a full-order HON. Although the algorithm has some convergence problems due to local minima problems of gradient-descent, the results obtained so far are very promising.
Benzer Tezler
- Grup teknolojisi imalat sistemleri tasarımı için bir metodoloji ve bu metodolojinin endüstride uygulanması
Başlık çevirisi yok
NEVİN AYDIN
Doktora
Türkçe
1998
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. M. BÜLENT DURMUŞOĞLU
- Mobil cihazlar ile derin öğrenme mimarisi kullanarak gerçek zamanlı video nesne izleme
Deep learning architectures for real-time video object tracking by mobile devices
ULAŞ TOSUN
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. BİLGE GÜNSEL KALYONCU
- Presentation attack detection with shuffled patch-wise binary supervision
Karıştırılmış yama tabanlı ikili gözetim ile sunum saldırı tespiti
ALPEREN KANTARCI
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HAZIM KEMAL EKENEL
- Kafes kodlamalı-dik kısmi yanıtlı sistemlerin )QPR-TCM) hata başarım analizi
Performance analysis of quadrature partiel response trellis coded modulation
OSMAN NURİ UÇAN
Doktora
Türkçe
1995
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. ERDAL PANAYIRCI
- Katlıdizeylerin çokdeğişkenliliği yükseltilmiş çarpımlar üçköşegencil gösterilim yoluyla ayrıştırımı: Kavramcıl taban ve uygulayışlar
Tridiagonal folmat enhanced multivariance products representation: Conceptual background and applications
ZEYNEP GÜNDOĞAR
Doktora
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiHesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı
PROF. DR. METİN DEMİRALP