Machine learning algorithms implementation and evaluation on Apache Spark Pyspark
Apache Spark Pyspark üzerinde makine öğrenmesi algoritmalarının uygulanması ve değerlendirilmesi
- Tez No: 675114
- Danışmanlar: DR. ÖĞR. ÜYESİ TAMER UÇAR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Büyük Veri Analitiği ve Yönetimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışmada Apache Spark Platformunda Python Programlama dili PySpark kullanılarak makine öğrenmesi sınıflandırma analizleri yapılmıştır. Uygulama üzerinde perakende sektöründen 1968 olay örneklemi, 8 değişken içeren bir data set kullanılmıştır aşamalarla incelenmiş olup bu aşamalar verinin analizler için ön hazırlığı, veri keşif analizi, makine öğrenmesinin uygulanması ve sonuçlarının değerlendirilmesidir. Bu projenin amacı perakende sektöründe iptal ve iade ürünlerden kaynaklanan maliyetler hakkında öncül bir tahminleme sağlamaktır. Bu önemli bir maliyet kalemi olup, bu maliyeti düşürecek aksiyonlar alınmaya çalışılmaktadır. Python programlama dili ve Apache Spark Platformu datanın görsellenmesi ve makine öğrenmesi için kütüphaneler barındırmaktadır. RDD imkânı vermesi, SQL ile yüksek uyumluluk göstermesi, Spark ve Python Data Frame'e olan desteği programın güçlü yönleridir. Bu çalışmada sınıflandırma analizi yapılmış olup 5 farklı algoritma denemiştir, bu algoritmalar logistic regression, decision tree, random forest, gradient boosted tree and naïve bayes olarak sıralanmıştır. Sonuçlar, tahmin başarısı ve ROC değerleri ile değerlendirilmiş, algoritmaların en iyi sonuçları vermesini sağlayan farklı parametreler kullanılmıştır.
Özet (Çeviri)
This study is conducted on Apache Spark in programming language Python which is called PySpark for the purpose of a classification analysis using machine learning algorithms. Using the application, a dataset of 1968 instances, 8 features and 1 label from retailer sector has been analyzed in stages, including data preparation, data exploration, machine learning algorithms implementation and prediction results evaluation. The purpose of this project is to give pre-information about financial and operational losses for retail companies stemming from cancelled and returned products. Companies try to pre-estimate and reduce this cost pillar in order to increase their financial status. Data set has Spark has data visualization and machine learning algorithms with available libraries, provide high-performance processing opportunities with RDD capability, have compliance with SQL as Spark. SQL and support for data frames for Spark and Python. The algorithms were used starting from Logistic Regression, Decision Tree, Random Forest, Gradient Boosted Tree and Naïve Bayes. Algorithms included a couple of parameters to increase the prediction capabilities in terms of Accuracy and ROC. Parameters available in algorithms change the execution times, while it improves the results for label prediction.
Benzer Tezler
- Implementation and assessment of machine learning methods for multidisciplinary aerospace problems
Makine öğrenmesi yöntemlerinin çok disiplinli hava-uzay problemlerine uygulanması ve değerlendirilmesi
DİLAN KILIÇ
Yüksek Lisans
İngilizce
2023
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
PROF. DR. MELİKE NİKBAY
- Aeroacoustics and aerodynamics optimization with using machine learning algorithms
Makina öğrenmesi algoritması kullanılarak aerodinamik ve aeroakustik optimizasyon
SERHAD AYTAÇ
Doktora
İngilizce
2025
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DOÇ. DR. BAHA ZAFER
- Test verilerine dayalı, makine öğrenmesi ve derin öğrenme yöntemleri ile batarya sağlık durumu tahmini
Battery state of health estimation based on test data using machine learning and deep learning methods
MEHMET ALİ ARSLANTAŞ
Yüksek Lisans
Türkçe
2025
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. FİKRET ÇALIŞKAN
- High level synthesis implementation of classification algorithms for breast cancer detection on xilinx FPGAs
Makine öğrenmesi sınıflandırma algoritmalarının xilinx FPGA üzerinde gerçeklenmesi
ASLIHAN HACER TÜFEKCİOĞLU
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik MühendisliğiMarmara ÜniversitesiElektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SALİH BAYAR
- Intrusion detection system based on machine learning techniques
Başlık çevirisi yok
AHMED MOHAMMED RADHI AL-MUQDADI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SEFER KURNAZ