Comparison of regression methods to handle overfitting in machine learning
Makine öğreniminde aşırı uyum problemini çözmek için kullanılan regresyon yöntemlerinin karşılaştırılması
- Tez No: 720420
- Danışmanlar: PROF. DR. MEHMET ALİ CENGİZ
- Tez Türü: Yüksek Lisans
- Konular: İstatistik, Statistics
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Ondokuz Mayıs Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: İstatistik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 76
Özet
Makine öğrenimindeki en temel tekniklerden biri, bağımlı değişken ile bir veya daha fazla bağımsız değişken arasındaki ilişkiyi kurmak için orijinal veri noktaları arasında geçen en uygun doğrunun belirlenmesini sağlayan regresyon yöntemidir. Daha az işlem ile en uygun doğruyu belirlemek ve hata oranını düşürmek için çeşitli regresyon yaklaşımları uygulanmaktadır. Bir bağımlı değişken ve birden fazla bağımsız değişkenler arasındaki ilişkiyi tanımlamak için çoklu doğrusal regresyon analizi kullanılabilir. Açıklayıcı değişkenleri yüksek oranda ilişkiliyse, aşırı uyum nedeniyle regresyon katsayılarının en küçük kareler tahmini tutarsızdır. Model, rastgele verilere ve anlamlı olmayan özelliklere odaklanan bir eğitim veri seti üzerinden tahmin edildiğinde, aşırı uyum oluşur. Özellikle ilgili veri seti doğrusallık problemi yaşadığında doğru tahminlere yol açan bir modele ulaşmak için modele dahil edilmek üzere önemli değişkenlerin seçildiği bir yol bulmak veya aramak gerekir. Bu nedenle, Ridge yöntemi, Lasso yöntemi ve Ridge ve Lasso'nun dışbükey bir karışımı olan Elastic Net gibi çeşitli değişken tahmin yöntemleri kullanılmıştır. Lasso Regresyonu ve Ridge Regresyon, aşırı uyum ile başa çıkmak için ve çok büyük bir veri setimiz olduğunda kullanılan başlıca teknikleri arasındadır. Bu teknikler, yüksek varyansın etkisini regresyon analizinden çıkarmak için kullanılır. Doğru tahminler verir ve katsayılar ile tahminleri arasında hataların daha az karesinin alınması anlamına gelir. Bu yöntemler, düzleştirme sabitinin (λ) ve regresyon katsayılarının değerinin belirlenmesini içerir. Ridge regresyon, değişkenleri (L2) üreten sorunun boyutunu sınırlar ve β'nın kare değerini çarpan artık değerlerin karesinin toplamını azaltmaya çalışır. Aynı yöntem, katsayıların karesinin olmadığı, aksine birçok sıfıra neden olan katsayıların (L1) mutlak değerinin varlığını Ridge regresyonundan ayıran Lasso regresyonudur. Elastic-Net ise bu iki yöntemi birleştiren üçüncü bir yöntemdir. Bu yöntem en iyi özelliklerin seçimine olanak sağlamaktadır. Ridge regresyon, Lasso regresyon ve Elastic-Net, yüksek düzeyde ilişkili faktörlerle çoklu regresyon sonuçlarının daha güvenilir bir şekilde yorumlanmasına yardımcı olur. Bu tez çalışmasında, Ridge regresyon modeli ve Lasso regresyon modelinin performansına bakılmakta ve bunlar karşılaştırılmaktadır. Modellerin performansını değerlendirmek için hata kareler ortalaması (MSE) ve R-kare kullanılmıştır
Özet (Çeviri)
One of the most fundamental techniques in machine learning is regression analysis, it entails determining the optimal line that crosses between the original data points in order to establish the relationship between a dependent variable and one or more independent variables. To fit that line and lower the error rate while avoiding unnecessary transaction utilization, various sorts of regression approaches are applied. Multiple linear regression analysis can be used to describe the relationship between one response variable and several independent variables based on their scores. If the predictor variables are highly correlated, then the least-squares estimation of the regression coefficients is unstable because repeated samples can produce highly variable values of the regression coefficients which causes the problem of over-dispersion. Over-dispersion or overfitting occurs when the model is trained on a training data set that focuses on random data and non-significant features. And in order to arrive at a model that leads to accurate estimates, it is necessary to find or search for a way by which important variables are selected to be included in the model, especially when the study data suffers from a problem of linearity. Therefore, several variable estimation methods have been used, namely the Ridge method, the Lasso method, and Elastic Net, a convex mixture of Ridge and Lasso. Lasso Regression and Ridge Regression are among the major organization techniques used to deal with overfitting and when we have a very large data set. These techniques are used to remove the effect of high variance from the regression analysis. It gives accurate estimates and means that errors are less squared between the coefficients and their estimates. These methods include determining the value of the regularization constant (λ) and regression coefficients. Ridge regression limits the size of the issue that produces the variables (L2) and tries to reduce the sum of the square of the residual values, which multiplies the squared value β. The same method is Lasso regression, which distinguishes from ridge regression that there is no square of the coefficients but rather the presence of the absolute value of the coefficients (L 1) which causes many zeros, as for Elastic-Nate, it is the third method that combines the two methods, Lasso and Ridge. leading to the selection of the best features. Ridge regression, Lasso regression, and Elastic-Net help to interpret the results of multiple regression with highly correlated factors in a more reliable way. In this thesis, we will look at the performance of the ridge regression model and the Lasso regression model and compare them, the mean squared error (MSE) and the R-squared were utilized to evaluate the models' performance.
Benzer Tezler
- Yapay sinir ağları ve makine öğrenmesi ile otomobil satış tahmininin yapılması ve zaman serileri analizi ile karşılaştırılması
Forecasting automobile sales using artificial neural networks and machine learning and comparison with time series analysis
BEYZA KURTGERİ
Yüksek Lisans
Türkçe
2024
Endüstri ve Endüstri MühendisliğiSakarya ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. MERVE CENGİZ TOKLU
- New proposed methods for synthetic minority over-sampling technique
Sentetik azınlık aşırı örnekleme tekniği için yeni önerilen yöntemler
HAKAN KORUL
Yüksek Lisans
İngilizce
2024
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiVeri Mühendisliği ve İş Analitiği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MEHMET ALİ ERGÜN
- İklimlendirme sistemleri üzerinde makine öğrenmesi ile anomali tespiti
Anomaly detection with machine learning on air conditioning systems
REFİK KİBAR
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUHAMMED FATİH ADAK
DR. ÖĞR. ÜYESİ KEVSER OVAZ AKPINAR
- Gemilerde karina temizliğinin enerji verimliliğine etkisi
The energy efficiency effects of ship hull cleaning
PINAR KARABIYIK
Yüksek Lisans
Türkçe
2021
Denizcilikİstanbul Teknik ÜniversitesiDeniz Ulaştırma Mühendisliği Ana Bilim Dalı
PROF. DR. YASİN ARSLANOĞLU
- Comparison and assessment of shrinkage methods in case of multicollinearity problem
Çoklu bağlantı sorunu durumunda küçültme yöntemlerinin karşılaştırılması ve değerlendirilmesi
ŞEVVAL KILIÇOĞLU
Yüksek Lisans
İngilizce
2022
Endüstri ve Endüstri MühendisliğiAtılım ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ FATMA YERLİKAYA ÖZKURT