Multivariate decision trees for machine learning
Yapay öğrenmede çok değişkenli karar ağaçları
- Tez No: 95427
- Danışmanlar: DOÇ.DR. ETHEM ALPAYDIN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2000
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 151
Özet
ÖZET Bu tezde, tek değişkenli, doğrusal, ve doğrusal olmayan çok değişkenli karar ağaç kurma metodlan karşılaştırıldı. Tek değişkenli karar ağaçları için örnek olarak ID3, çok değişkenli karar ağaçlan için CART yöntemi kullanıldı. Doğrusal ve doğrusal olmayan metodlar içinse karar düğümünde değişik sinir ağlan yapılarından faydalanıldı. Ayrıca Fisher' in doğrusal ayırma analizinin çok değişkenli karar ağacı oluşturulmasında kullanılması önerildi. Tek değişkenli karar ağaçlan her karar düğümünde tek değişkenin değerine bakarak eksenlere dik bölmeler yaparlar. Doğrusal karar ağaçlarında ise her dalda giriş uzayı rasgele bir düzlemle bölünür. Doğrusal olmayan karar ağaçlarında ise çok katmanlı sinir ağlan giriş uzayını rasgele böler. Bu tezde melez ağaçlar önerildi. Bu ağaçlarda karar düğümü doğrusal veya değildir. Kararın doğrusal olup olmamasına ise bir istatistik testinin sonucuna bakılarak karar verilmektedir. Doğrusal ayırma analizi ile doğrusal çok değişkenli karar ağaçlan yapay sinir ağı temelli karar ağaçlarından çok daha hızlı öğrenilir. Sonuçlanınız gösteriyor ki, eğer veri kümesi küçük ve bu kümede az smıf varsa, tek değişkenli metod yeterli olabilir ve ID3 çok değişkenli metodlardan daha iyi performans gösterir. ID3 hızlı ve kolay öğrenir, kurallan da kolayca yorumlanabilir. Eğer değişkenler birbiriyle çok ilişkiliyse, tek değişkenli metod yeterli olmayabilir ve çok değişkenli metodlan kullanabiliriz. Bu tezde gösterildi ki ID-LDA metodu CART'tan daha başanlı, daha küçük ağaçlar üretmekte ve daha az zaman harcamaktadır. Aynı zamanda ID-LP den daha hızlı ve eşit başanlıdır. ID-LDA ID3 ve CART'tan daha küçük ağaçlar üretir. Bu da gösteriyor ki çok değişkenli ağaç üretmek için ID-LDA CART' a göre tercih edilebilir ve eğer zaman önemli ise ID-LP'ye gore de tercih edilebilir.
Özet (Çeviri)
IV ABSTRACT In this thesis, we detail and compare univariate, linear and nonlinear decision tree methods using a set of simulations on twenty standard data sets. For univariate decision tree methods, we have used the ID3 algorithm and for multivariate decision tree methods, we have used the CART algorithm. For linear and nonlinear methods, we have used neural networks at each decision node. We also propose to use the LDA algorithm in constructing linear multivariate decision trees. Univariate decision trees at each decision node consider the value of only one feature leading to axis-aligned splits. In a linear multivariate decision tree, each decision node divides the input space into two with an arbitrary hyperplane leading to oblique splits. In a nonlinear one, a multilayer perceptron at each node divides the input space arbitrarily, at the expense of increased complexity. We propose hybrid trees where the decision node may be linear or nonlinear depending on the outcome of a statistical test on accuracy. We also propose to use linear discriminant analysis at each decision node. Our results indicate that if the data set is small and has few classes, then a univariate technique does not overfit and can be sufficient and the univariate ID3 has better performance than multivariate linear methods. ID3 learns fast, learns simple and interpretable rules. If the variables are highly correlated, then the univariate method is not sufficient and we may resort to multivariate methods. We have shown that ID-LDA has better performance than CART in terms of accuracy, node size and very significantly in learning time. It has also smaller learning time than ID-LP and the same accuracy. ID-LDA generates smaller trees than ID3 and CART. This shows that to generate a linear multivariate tree, using ID-LDA is preferable over CART, and may be preferable over ID- LP if learning time is critical. tC YÜKSEKÖ?RETİM KURUUj DOKÜMANTASYON MERKgg
Benzer Tezler
- Veri madenciliğinde sınıflandırma problemleri için optimizasyon yaklaşımları
Optimization approaches for classification problems in data mining
ENVER ENGÜR
Doktora
Türkçe
2024
Endüstri ve Endüstri MühendisliğiErciyes ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. BANU SOYLU
- Yapay sinir ağları ve makine öğrenmesi ile otomobil satış tahmininin yapılması ve zaman serileri analizi ile karşılaştırılması
Forecasting automobile sales using artificial neural networks and machine learning and comparison with time series analysis
BEYZA KURTGERİ
Yüksek Lisans
Türkçe
2024
Endüstri ve Endüstri MühendisliğiSakarya ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. MERVE CENGİZ TOKLU
- İklimlendirme sistemleri üzerinde makine öğrenmesi ile anomali tespiti
Anomaly detection with machine learning on air conditioning systems
REFİK KİBAR
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUHAMMED FATİH ADAK
DR. ÖĞR. ÜYESİ KEVSER OVAZ AKPINAR
- Bankacılık sektöründe makine öğrenmesi yöntemlerini kullanarak POS ciro tahmini
POS revenue estimation using machine learning methods in banking sector
TUĞÇE SAYIN
Yüksek Lisans
Türkçe
2023
Endüstri ve Endüstri MühendisliğiYıldız Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. TUFAN DEMİREL
- Maç sonuçları için klasik çok değişkenli yöntemler ve makine öğrenmesi ile istatistiksel öngörü tahmini
Statistical prediction of match results with classical multivariate and machine learning methods
COŞKUN PARİM
Doktora
Türkçe
2021
İstatistikYıldız Teknik Üniversitesiİstatistik Ana Bilim Dalı
PROF. DR. ALİ HAKAN BÜYÜKLÜ