Çoklu bağlantı durumunda makine öğrenimi tabanlı regresyon analizi yöntemleri
Machine learning-basel regression analysis methods in the presence of multicollinearity
- Tez No: 841986
- Danışmanlar: PROF. DR. MELTEM EKİZ
- Tez Türü: Yüksek Lisans
- Konular: İstatistik, Statistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: İstatistik Ana Bilim Dalı
- Bilim Dalı: İstatistik Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışmanın amacı, çoklu regresyon analizinde değişkenler arasında çoklu bağlantı olması durumunda kullanılan ridge, LASSO ve Elastik Net yöntemlerini karşılaştırmalı olarak incelemektir. Çoklu bağlantı, modelde yer alan bir ya da fazla değişken arasında doğrusal ilişki olması durumudur. Çoklu bağlantı durumunda basit doğrusal regresyon katsayı tahmininde kullanılan EKK güvenilir sonuçlar vermez. Aynı zamanda, modelde yer alan değişken ve gözlem sayısı artıkça model karmaşıklığı artmaktadır. Bu da modelin aşırı öğrenmesi (overfitting) olasılığını artırmakta ve modelin yorumlanmasını zorlaştırmaktadır. Literatürde, çoklu bağlantının varlığından daha az etkilenen ve modelin daha kolay yorumlanmasını sağlayan regresyon analizi yöntemleri önerilmiştir. Bu yöntemler, çok değişkenli bir tahmin probleminin çözülebilmesi amacıyla makine öğrenimi tekniklerini kullanan düzenlileştirilmiş doğrusal modeller olarak da bilinmektedir. Bu çalışma kapsamında, çoklu bağlantı durumunda ridge, LASSO ve Elastik Net tahmin edicilerinin performanslarını kestirim HKO'su ve model parametre tahminlerinin HKO'ları bakımından kıyaslamak amacıyla Monte-Carlo simülasyonu R Program'da yapılmıştır. Simülasyon çalışması ile çoklu bağlantı varlığında, değişken sayısının gözlem sayısından küçük olduğu (p<n) ve değişken sayısının gözlem sayısından büyük olduğu (p>n) durumlar ele alınmıştır. Her senaryo için simülasyon tekrar sayısı 1000 ve 5000 olmak üzere gözlem sayısı ve değişken sayısı arttırılarak sonuçların ne yönde etkilendiği incelenmiştir. Elde edilen sonuçlara göre Elastik Net kestirim HKO bakımından her senaryo için en iyi performansı göstermiştir. Fakat model parametre tahminlerinin HKO'su bakımından her senaryo için Elastik Net dışında en iyi performansı gösteren tahmin edicilerin olduğu görülmüştür. Tekrar sayısı 1000 ile 5000 olduğu durumlarda kestirim HKO ve model parametre tahminlerinin HKO değerlerinin birbirine yakın değerler aldığı gözlenmiştir.
Özet (Çeviri)
The aim of this study is to compare ridge, LASSO, and Elastic Net methods used in the case of multicollinearity among variables in multiple regression analysis. Multicollinearity refers to linear relationship between one or more variables in the model. In the presence of multicollinearity, the Ordinary Least Squares (OLS) method used for coefficient estimation in simple linear regression doesn't provide reliable results. Additionally, as the number of variables and observations in the model increases, the complexity of the model also increases. This increases the probability of overfitting and makes the interpretation of the model difficult. In the literature, regression analysis methods have been proposed that are less affected by the presence of multicollinearity and enable the model to be more easily interpretable. These methods are also known as regularized linear models that use machine learning technics to solve a multivariate estimation problem. In this study, a Monte Carlo simulation in the R Program was performed to compare the performance of ridge, LASSO, and Elastic Net estimators in the presence of multicollinearity in terms of prediction MSE and model parameter MSEs. Cases where the number of variables is less than the number of observations (p<n) and when the number of variables is more than the number of observations (p>n) were examined with the simulation study in the presence of multicollinearity. For each scenario, the simulation was repeated with 1000 and 5000 replications to investigate how the results were affected by increasing the number of observations and variables. The results showed that Elastic Net performed the best in terms of prediction MSE for each scenario. However, in terms of MSE of model parameter estimations, it has been observed that estimators other than Elastic Net have shown the best performance. It has been observed that when the number of replications was 1000 and 5000, the prediction MSE and MSE of model parameter values were close to each other.
Benzer Tezler
- Accelerating molecular docking using machine learning methods
Kenetleme hesaplarının makine öğrenme metotları ile hızlandırılması
ABDULSALAM YAZID BANDE
Yüksek Lisans
İngilizce
2022
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
Assist. Prof. Dr. SEFER BADAY
- Dokuma kumaşlarda örgü tipinin ham kumaşın boyutları ve geometrik özellikleri üzerindeki etkilerinin araştırılması
Başlık çevirisi yok
EMEL ÖNDER
Yüksek Lisans
Türkçe
1985
Tekstil ve Tekstil MühendisliğiEge ÜniversitesiTekstil Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÜNGÖR BAŞER
- Türkiye trafik düzeninde kazaların azaltılması açısından yeni trafik kanunu uygulaması ile ilgili sorunlar ve çözüm yolları
Başlık çevirisi yok
ERDAL UÇAR
Yüksek Lisans
Türkçe
1986
UlaşımGazi ÜniversitesiKazaların Çevresel ve Teknik Araştırması Ana Bilim Dalı (disiplinlerarası)
PROF. DR. RIDVAN EGE
- Ön işlemenin ve askorbik asitin dondurularak depolanan yılan balıklarının (Anguilla anguilla) kalitesine etkileri
Başlık çevirisi yok
H.VOLKAN GÖKSEL
Yüksek Lisans
Türkçe
1985
Gıda MühendisliğiEge ÜniversitesiSu Ürünleri Ana Bilim Dalı
DOÇ. DR. AYDIN URAL
- Çoklu amaçların çözümlemesinde amaç programlaması ile genelleştirilmiş ters yaklaşımı ve yem sanayiinde bir uygulama
Goal programming and generalieed inverse approaches in the multi-objective analysis and application in feed industry
HASAN BAL