Optimizing deep reinforcement learning models in stock trading through hyperparameter tuning
Hiperparametre ayarlama ile hisse senedi ticaretinde derin pekiştirmeli öğrenme modellerini optimize etme
- Tez No: 856607
- Danışmanlar: DR. ÖĞR. ÜYESİ TARKAN AYDIN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 71
Özet
Son zamanlarda, derin pekiştirmeli öğrenme algoritmaları otomatik hisse alım satım işlemlerinde yaygın şekilde kullanılmaktadır. Otomatik hisse alım/satım sistemleri, yapılandırılmış stratejiler için derin pekiştirmeli öğrenme ajanlarını, fiyat tahminlerine ve ticaret sinyallerine dayalı olarak kullanmaktadır. Bu çalışma, hisse alım/satım için derin pekiştirmeli öğrenme model performansını etkili hiperparametre ayarlarını belirleyerek optimize etmeyi amaçlamaktadır. Çalışma, tarihsel hisse piyasası verilerini kullanan üç popüler derin pekiştirmeli öğrenme algoritmasına A2C, PPO ve DDPG odaklanmaktadır. Amaç, her algoritma için yatırım getirisini en üst düzeye çıkarmak için optimal hiperparametre kombinasyonlarını bulmaktır. Adım sayısı, entropi katsayısı, öğrenme oranı ve bellek boyutu gibi çeşitli hiperparametreler keşfedilmektedir. Model performansı, Dow 30 canlı ortamda ki hisse verileri kullanılarak özelleştirilmiş bir otomatik hisse alım/satım ortamında değerlendirilir. Algoritmalar hem eğitim hem de test dönemlerinde, 2022 öncesi eğitim verisi ve 2022-2023 yılları arasındaki test verisi kapsamında kullanılır. Sonuçlar, strateji getirilerini DJI endeksine kıyaslayarak değerlendirilir. Araştırma, Yıllık Getiri, Calmar Oranı, Sharpe Oranı, Maksimum Düşüş ve Yıllık Volatilite gibi istatistiki metrikleri kullanarak model performansını değerlendirir. Bulgular, her algoritma için en iyi performans gösteren hiperparametre kombinasyonlarını ortaya çıkarırken, derin pekiştirmeli öğrenme uygulamalarında hiperparametre ayarlamasının önemini vurgular. Çalışma, doğru hiperparametre kombinasyonunun modelin piyasa dinamiklerine uyum sağlamasını önemli ölçüde etkilediğini vurgulamaktadır, böylece ticaret performansını artırır. Sonuç olarak, bu araştırma hisse ticaretinde derin takviyeli öğrenme modellerinin grid arama yöntemiyle optimize edilmesine odaklanarak, derin takviyeli öğrenmenin finansal uygulamaları üzerine mevcut literatüre değerli bir katkı sağlamaktadır. Bulgular, trading ve finansta daha verimli ve güvenilir DRL algoritmalarının geliştirilmesinin yolunu açar, nihayetinde yatırım kararlarını ve portföy yönetim şirketlerinin risk mekanizmalarını geliştirir.
Özet (Çeviri)
Recent times witnessed extensive use of deep reinforcement learning (DRL) in automated trading. Automated trading systems employ DRL agents for structured strategies, based on price prediction and trade signals. This study aims to optimize DRL model performance in stock trading by identifying effective hyperparameters. It focuses on three popular DRL algorithms: A2C, PPO, and DDPG, using historical stock data. The objective is to find optimal hyperparameter combinations for maximizing investment returns and minimizing risk. Various hyperparameters, such as steps per period, entropy coefficient, learning rate, buffer size, and batch size, are explored. Model performance is assessed within a customized stock trading setup with Dow 30 real-world stock data. Algorithms are used during both training and test periods, covering data before and after 2022. Outcomes are evaluated by comparing strategy returns to the DJI index. The research evaluates model performance using statistical metrics like Annual Returns, Calmar ratio, Sharpe Ratio, Maximum Drawdown, and Annual Volatility. Findings reveal the best hyperparameter combinations for each algorithm, highlighting hyperparameter tuning's importance. The study emphasizes that appropriate hyperparameter selection significantly influences the model's adaptability to market dynamics, enhancing trading performance. In conclusion, this research delves into the optimization of deep reinforcement learning models in stock trading through grid search, contributing valuable insights to the existing literature on the financial application of deep reinforcement learning. The findings facilitate the development of more efficient and dependable DRL algorithms in stock trading and finance, ultimately improving investment decisions and portfolio management risk decisions.
Benzer Tezler
- Makine öğrenmesi tabanlı iç ortam sıcaklık kontrolü için bir simülatör yazılımı tasarımı
Design of a simulator software for machine learning-based indoor temperature control
AYDIN BOSTANCI
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar ve Bilişim Mühendisliği Ana Bilim Dalı
PROF. DR. DEVRİM AKGÜN
- Derin pekiştirmeli öğrenme yöntemi ile görüntü hash kodlarını oluşturma
Generating image hash codes with deep reinforcement learning method
ELİF AKKAYA
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiSakarya ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BURHAN BARAKLI
- Object-aware interactive perception
Nesne farkındalıklı etkileşimli algılama
ÇAĞATAY KOÇ
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SANEM SARIEL UZER
PROF. DR. SİNAN KALKAN
- Optimizing the lifetime of wireless sensor networks using deep reinforcement learning in a software-defined network architecture
Yazılım tanımlı bir ağ mimarisinde derin takviyeli öğrenmeyikullanarak kablosuz sensör ağlarının ömür boyu optimizasyonunu sağlama
ZAINAB ALI ABBOOD
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiElektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÇAĞATAY AYDIN
DR. MAHMOUD SHUKER MAHMOUD
- Deep reinforcement learning off-policy algorithms for robotic manipulator control
Robotik manipülatör kontrolü için derin takviyeli öğrenme politikasız algoritmaları
ALTUN RZAYEV
Yüksek Lisans
İngilizce
2021
Mekatronik MühendisliğiBahçeşehir ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. VAHID TAVAKOL AGHAEI