Geri Dön

Optimizing deep reinforcement learning models in stock trading through hyperparameter tuning

Hiperparametre ayarlama ile hisse senedi ticaretinde derin pekiştirmeli öğrenme modellerini optimize etme

  1. Tez No: 856607
  2. Yazar: ÖMER FIRAT
  3. Danışmanlar: DR. ÖĞR. ÜYESİ TARKAN AYDIN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: Bahçeşehir Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 71

Özet

Son zamanlarda, derin pekiştirmeli öğrenme algoritmaları otomatik hisse alım satım işlemlerinde yaygın şekilde kullanılmaktadır. Otomatik hisse alım/satım sistemleri, yapılandırılmış stratejiler için derin pekiştirmeli öğrenme ajanlarını, fiyat tahminlerine ve ticaret sinyallerine dayalı olarak kullanmaktadır. Bu çalışma, hisse alım/satım için derin pekiştirmeli öğrenme model performansını etkili hiperparametre ayarlarını belirleyerek optimize etmeyi amaçlamaktadır. Çalışma, tarihsel hisse piyasası verilerini kullanan üç popüler derin pekiştirmeli öğrenme algoritmasına A2C, PPO ve DDPG odaklanmaktadır. Amaç, her algoritma için yatırım getirisini en üst düzeye çıkarmak için optimal hiperparametre kombinasyonlarını bulmaktır. Adım sayısı, entropi katsayısı, öğrenme oranı ve bellek boyutu gibi çeşitli hiperparametreler keşfedilmektedir. Model performansı, Dow 30 canlı ortamda ki hisse verileri kullanılarak özelleştirilmiş bir otomatik hisse alım/satım ortamında değerlendirilir. Algoritmalar hem eğitim hem de test dönemlerinde, 2022 öncesi eğitim verisi ve 2022-2023 yılları arasındaki test verisi kapsamında kullanılır. Sonuçlar, strateji getirilerini DJI endeksine kıyaslayarak değerlendirilir. Araştırma, Yıllık Getiri, Calmar Oranı, Sharpe Oranı, Maksimum Düşüş ve Yıllık Volatilite gibi istatistiki metrikleri kullanarak model performansını değerlendirir. Bulgular, her algoritma için en iyi performans gösteren hiperparametre kombinasyonlarını ortaya çıkarırken, derin pekiştirmeli öğrenme uygulamalarında hiperparametre ayarlamasının önemini vurgular. Çalışma, doğru hiperparametre kombinasyonunun modelin piyasa dinamiklerine uyum sağlamasını önemli ölçüde etkilediğini vurgulamaktadır, böylece ticaret performansını artırır. Sonuç olarak, bu araştırma hisse ticaretinde derin takviyeli öğrenme modellerinin grid arama yöntemiyle optimize edilmesine odaklanarak, derin takviyeli öğrenmenin finansal uygulamaları üzerine mevcut literatüre değerli bir katkı sağlamaktadır. Bulgular, trading ve finansta daha verimli ve güvenilir DRL algoritmalarının geliştirilmesinin yolunu açar, nihayetinde yatırım kararlarını ve portföy yönetim şirketlerinin risk mekanizmalarını geliştirir.

Özet (Çeviri)

Recent times witnessed extensive use of deep reinforcement learning (DRL) in automated trading. Automated trading systems employ DRL agents for structured strategies, based on price prediction and trade signals. This study aims to optimize DRL model performance in stock trading by identifying effective hyperparameters. It focuses on three popular DRL algorithms: A2C, PPO, and DDPG, using historical stock data. The objective is to find optimal hyperparameter combinations for maximizing investment returns and minimizing risk. Various hyperparameters, such as steps per period, entropy coefficient, learning rate, buffer size, and batch size, are explored. Model performance is assessed within a customized stock trading setup with Dow 30 real-world stock data. Algorithms are used during both training and test periods, covering data before and after 2022. Outcomes are evaluated by comparing strategy returns to the DJI index. The research evaluates model performance using statistical metrics like Annual Returns, Calmar ratio, Sharpe Ratio, Maximum Drawdown, and Annual Volatility. Findings reveal the best hyperparameter combinations for each algorithm, highlighting hyperparameter tuning's importance. The study emphasizes that appropriate hyperparameter selection significantly influences the model's adaptability to market dynamics, enhancing trading performance. In conclusion, this research delves into the optimization of deep reinforcement learning models in stock trading through grid search, contributing valuable insights to the existing literature on the financial application of deep reinforcement learning. The findings facilitate the development of more efficient and dependable DRL algorithms in stock trading and finance, ultimately improving investment decisions and portfolio management risk decisions.

Benzer Tezler

  1. Makine öğrenmesi tabanlı iç ortam sıcaklık kontrolü için bir simülatör yazılımı tasarımı

    Design of a simulator software for machine learning-based indoor temperature control

    AYDIN BOSTANCI

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya Üniversitesi

    Bilgisayar ve Bilişim Mühendisliği Ana Bilim Dalı

    PROF. DR. DEVRİM AKGÜN

  2. Derin pekiştirmeli öğrenme yöntemi ile görüntü hash kodlarını oluşturma

    Generating image hash codes with deep reinforcement learning method

    ELİF AKKAYA

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Elektrik ve Elektronik MühendisliğiSakarya Üniversitesi

    Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ BURHAN BARAKLI

  3. Object-aware interactive perception

    Nesne farkındalıklı etkileşimli algılama

    ÇAĞATAY KOÇ

    Doktora

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. SANEM SARIEL UZER

    PROF. DR. SİNAN KALKAN

  4. Optimizing the lifetime of wireless sensor networks using deep reinforcement learning in a software-defined network architecture

    Yazılım tanımlı bir ağ mimarisinde derin takviyeli öğrenmeyikullanarak kablosuz sensör ağlarının ömür boyu optimizasyonunu sağlama

    ZAINAB ALI ABBOOD

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş Üniversitesi

    Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ ÇAĞATAY AYDIN

    DR. MAHMOUD SHUKER MAHMOUD

  5. Deep reinforcement learning off-policy algorithms for robotic manipulator control

    Robotik manipülatör kontrolü için derin takviyeli öğrenme politikasız algoritmaları

    ALTUN RZAYEV

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Mekatronik MühendisliğiBahçeşehir Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. VAHID TAVAKOL AGHAEI