Equity portfolio optimization using reinforcement learning: An emerging market case
Pekiştirmeli öğrenme ile hisse senedi portföyü optimizasyonu: Gelişmekte olan piyasa örneği
- Tez No: 721309
- Danışmanlar: PROF. DR. ALP ÜSTÜNDAĞ
- Tez Türü: Yüksek Lisans
- Konular: Endüstri ve Endüstri Mühendisliği, Industrial and Industrial Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Endüstri Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Endüstri Mühendisliği Bilim Dalı
- Sayfa Sayısı: 109
Özet
Yatırımcılar paralarını finansal piyasalar içerisinde farklı varlıklara tahsis ederler. Bunun motivasyonu, önceden belirlenmiş başarı kriterlerine göre bir kazanım sağlamaktır. Genel olarak, başarı kriterleri getiri ve risk faktörlerine dayanmaktadır. Ancak, finansal piyasalara yatırım yapmak belirsizlik nedeniyle bir zorluktur. Halihazırda mevcut bilgilere dayanarak alınan yatırım kararlarının gelecekte geçerli olacağı garanti edilememektedir. Geçmiş piyasa verileri üzerinde yapılan analizler yakın gelecek hakkında fikir verebilir, ancak uzak geleceği tahmin etmeyi destekleyememektedir. Bu nedenle, finansal zaman serilerinin yüksek belirsizlikleri nedeniyle tahmin edilmesinin zor olduğu herkesçe bilinen bir gerçektir. Bu yüksek belirsizlik içeren davranış altında, zorlukların üstesinden gelmek için belirli bir metodoloji izlenerek yatırım yapılmalıdır. Bu amaca hizmet etmek için, literatürde bulunan çok sayıda çalışmanın yanı sıra, yatırım sektöründe de yaygın uygulamalar bulunmaktadır. Gerek sektör gerekse literatürde edinilen bilgi ve deneyimler,“portföy yönetimi”yaklaşımına bakış açımızı yönlendirmektedir. Bu sadece finans sektörüne yatırım yapmak için yaygın bir uygulama değil, aynı zamanda fınansal enstümanlar üzerindeki varlık dağılımını ifade etmenin uygun bir matematiksel yoludur. Yatırımcılar servetlerini bir veya daha fazla varlığa dağıtır ve bu da bir yatırım portföyünü oluşturur. Bu nedenle, finansta portföy yönetimi sorunu hemen hemen her yatırımcıyı ilgilendirmektedir. Portföy yönetimi hem teknik hem de teorik yaklaşımların desteği ile gerçekleştirilir. Başlangıçta, bir yatırımcı portföydeki belirli varlıklar üzerinde işlem yapmak amacıyla emir gönderme kararını verir. Borsa bu emirleri karşılar, uygular ve portföy oluşturulur. Bu noktadan sonra portföyün, belirli hedefleri karşılayıp karşılamadığı düzenli olarak değerlendirilebilir. Performans amaçlı değerlendirme uygulamalarının sağlıklı bir şekilde yapılabilmesi için, istatistik ve matematiksel finansın teorik arka planını bilmek ve bundan yararlanmak gereklidir. Bu şekilde ölçümlenen portföyün başarı oranı, yatırımcıların ihtiyaçlarını ne kadar karşıladığı ile de değerlendirilir. Çok boyutlu soyut bir kavram olarak düşünüldüğünde, her biri portföyün farklı bir yönüne işaret eden bir dizi performans ölçütü vardır. Aslında, portföy performans değerlendirme yöntemlerine, hem getiri hem de risk perspektifinden yaklaşmak en yaygın yoldur. Getiri değerleri, bir portföyün belirli geçmiş değerine kıyasla yüzde olarak ne kadar arttığını doğrudan gösterir. Portföy değişimi düzenli zaman aralıklarıyla hesaplanırsa getiri serisi üretilir. Getiri serisi, finansal zaman serisinin yüksek düzeyde belirsizlik gösteren ana bir parçasıdır. Fakat, belirsizlik miktarı doğrudan ölçülemez, standart sapma ile kestirilir. Oynaklık olarak bilinen bir getiri serisinin standart sapması, getiri serisinin belirsizliğini veya riskini gösterir. Bu şekilde portföy başarı açısından değerlendirilebilir. Örneğin, iyi performans gösterip göstermediği veya riskli bir davranış sergileyip sergilemediği. Ayrıca, özellikle maruz kalınan riske karşılık kazanılan getiri miktarını gösteren, risk-uyarlı getiri metrikleri de mevcuttur. Temel olarak getiri ve risk kriterlerinden türetilen bu metrikler, tek bir nihai puanla portföy performansının anlaşılmasına yardımcı olur. Bir portföy üzerinde verilen yatırım kararları, daima, şimdi veya gelecekte, önceden tanımlanmış bir başarı ölçüsünü artırma amacına sahiptir. Bu nedenle, potansiyel bir matematiksel optimizasyon konusunu oluşturur. Bir portföy, varlıkların doğru ağırlıklarına, yani servet dağılımına sahipse, daha iyi performans gösterebilir. Fakat, finansal zaman serilerindeki zorluklar nedeniyle, portföyün ağırlıklarını doğrudan tahmin edebilmek mümkün olmamaktadır, bunun yerine mevcut verilerin optimizasyonunu gerçekleştirebilmektedir. Bununla birlikte, modelin hatalı sonuç ürettiği kesindir, dolayısıyla, modelin yetenekleri bu noktada fark yaratmaktadır. Modern portföy teorisinin temellerinden başlayarak, yatırımcıların riskten kaçındıkları varsayılmış ve portföy ağırlıkları getiri ve risk ölçütlerine göre optimize edilmiştir. Buradaki önemli kavram, portföyü varlık kovaryanslarına göre çeşitlendirmesidir. Bu şekilde risk azaltılmaktadır. Ancak, optimizasyon prosedüründe kullanılan veri seti, geçmiş seriler olacaktır. Bu nedenle elde edilen sonuçlar geleceği doğru yansıtmayabilir. Bunu aşmak için literatürde daha iyi getiri modelleri önerilmiştir. Bu modeller temel olarak varyansı piyasa endekslerini veya büyük ve küçük sermaye getirisi farklarını vb. kullanarak açıklamaktadır. Bu nedenle, bir optimizasyon modelinde daha iyi girdiler kullanmak daha iyi sonuçlar verebilir. Portföy optimizasyon probleminin çözüm yöntemleri, modern portföy teorisinden bu yana geliştirilmiştir. Geçmişteki olası en büyük sıçrama, potansiyel olarak bilgisayarların dahil olmasıyla gerçekleştiği söylenebilir. Bu sayede optimizasyon yöntemleri daha karmaşık hale gelmeye ve büyük hacimli veriler üretilmeye başlanmıştır. Ayrıca pazardaki rekabetin artmasıyla daha başarılı sonuçlara duyulan ihtiyaç da artmıştır. Matematiksel finans, bu özel portföy optimizasyonu alanında çok sayıda önemli çığır açan yöntemi doğurmuştur. Kantitatif yatırım alanı bundan yararlanmış ve geçtiğimiz yıllarda, yapay zeka sistemleri tarafından başka bir dönüşüm de tetiklenmiştir. Yapay zeka birçok yönden hayatımıza girmiştir. Yatırım bunlardan biridir. Daha iyi performans gösteren portföylere ve yatırımlara artan talepler nedeniyle, yapay zeka, özellikle makine öğrenimi tarafından ikinci devrim yapılmaktadır. Gün geçtikçe finansın belirli alanları makine öğrenmesi tabanlı sistemler yardımıyla daha iyi hale gelmeye başlamıştır. Bu alanların sayısı gittikçe artmaktadır. Ödeme sistemlerinden, varlık önerilerine, kişiselleştirilmiş finans uygulamalarından, opsiyon fiyatlamaya, makine öğrenmesi ve derin öğrenme profesyonellere süreçleri geliştirmeleri için yardım etmektedir. Makine öğrenmesinin bir alt konusu olarak, pekiştirmeli öğrenme, önceden tanımlanmış amaç fonksiyonuna dayalı olarak iyi kararlar almayı öğrenen bir yapay zeka aracısının oluşturulmasına yardımcı olur. Girdi alır, karar verir ve bu kararı bulunduğu ortama iletir. Bu karar çevre tarafından uygulandıktan sonra, aracıya bir girdi daha sağlanır. Ardışık olarak, aracı girdi alır ve çıktı üretirken, parametrelerini sağlanan hedefe göre günceller. Nihai amaç fonksiyonu maksimizasyonu amacı ile bu eğitim prosedürü birçok kez tekrarlanır. Portföy yönetimi süreci, Markov karar süreci olarak bilinen bu özel prosedür için iyi bir örnek teşkil etmektedir. Sonlu bir Markov karar süreci için optimal çözüm, geçiş olasılıkları ve ödül fonksiyonunun bilinmesi koşuluyla dinamik programlama ile elde edilebilir. Gerçek hayattaki örneklerin çoğu için durum pek böyle değildir. Ancak, pekiştirmeli öğrenme yöntemleri bu koşullar altında yine de bir çözüm bulabilir. Pekiştirmeli öğrenme yöntemlerinin önemi özellikle bilgisayar oyunlarda ortaya çıkmaktadır. Büyük hesaplama kaynakları tarafından ve büyük miktarda veri ile beslenerek oluşturulan bir pekiştirmeli öğrenme aracısı, satranç ve go gibi oyunlarda en başarılı insanların yeteneklerini potansiyel olarak aşabilir. Bu durum yatırım ve portföy yönetimi için de geçerlidir. Pekiştirmeli öğrenme ile varlık ağırlıkları hali hazırda kullanılan ve piyasa değerini baz alan ağırlıklandırma yöntemlerinden ve hatta başarılı yatırımcıların kendilerinden bile daha başarılı olabilir. Bu metodların sağladıkları bir diğer önemli özellik ise bu başarı düzeylerini yakalarken süreç ile ilgili bir modele ihtiyaç duymamalarıdır. Deneme-yanılma öğrenme planı tarafından motive edilen ve pekiştirmeli öğrenme aracısının ortamın tüm dinamiklerini mükemmel bir şekilde bilmesine gerek yoktur. Yine de olası bir yerel optimal çözüm bulabilir. Bu çalışmada, hisse senedi portföy optimizasyon problemini çözmek için pekiştirmeli öğrenme modelleri oluşturulmuştur. Bu problem için varlık evreni, gelişmekte olan bir piyasanın borsa endeksi olan BİST30 bileşenleri ile sınırlandırılmıştır. Endeks, piyasa değeri açısından en büyük 30 hisse senedinden oluşmaktadır. Yükselen piyasaların özellikleri, artan belirsizlik ve azalan piyasa verimliliği gibi yeni zorluklar getirdiği için gelişmiş piyasalardan farklıdır. Modellerimiz, portföy ağırlığı kararı vermek için getiri, oynaklık, teknik göstergeler ve temel şirket bilgilerini kullanır. Bu çalışmada DDPG ve PPO yöntemlerini incelenmiştir. Bu iki RL modelinin ihtiyaçlarını karşılamak için iki farklı sinir ağı mimarisi tasarlanmıştır. Veri kümesinden anlamlı bilgileri başarıyla çıkarmak için evrişimli ağ yapılarını kullanılmıştır. Modelleri 10 yıllık, günlük frekansta verilerle eğitildi ve ardından 1 yıllık verilerle test edilmiştir. Rekabet etmeye ve daha iyi bir ağırlıklandırma stratejisi sunmaya çalıştığımız için ana rakip piyasa değeri ağırlıklı BİST30 endeksi olarak belirlenmiştir. Ayrıca aracılarımızı eşit ağırlıklandırılmış al-ve-tut, eşit ağırlıklandırılmış sabit dengelendirilmiş portföyler ve ortalama-varyans optimizasyonu portföyleriyle ek kıyaslama olarak karşılaştırılmıştır. Sonuçlar, getiri ve Sharpe ve Sortino oranları gibi risk ayarlı getiri ölçütleri açısından tüm rakiplerden daha iyi performans gösterdiğimizi göstermektedir. Modellerin bir yönü, daha yüksek oynaklık davranışı üretmeleri, ancak alınan risk başına daha yüksek bir getiri değeri ile yüksek riski telafi etmeleridir, böylece getiriye dayalı metrikler rakiplerden daha üstündür. Önerilen pekiştirmeli öğrenme aracılarımızın modelden bağımsız yapısı bir diğer önemli özelliği olarak karşımıza çıkmaktadır. Sonuçlar son bölümde sunulmuş ve muhtemelen daha iyi bir model için geleceğe yönelik bir projeksiyon sağlanmıştır.
Özet (Çeviri)
Investors allocate their money into different assets in financial markets. The motivation for that is to provide a gain according to predefined success criteria. Generally, the success criteria are based on return, and risk factors. However, investing in financial markets is a challenge due to uncertainty. The investment decisions made based on currently available information will not necessarily be valid in the future. The analyses made on historical market data may give insights about the near future but do not necessarily support forecasting the distant future. Thus, it has been a widely known fact that financial time series are notoriously hard to predict due to their high uncertainty. Under this uncertain behavior, investing should be performed under particular methodology in order to overcome these challenges. There are common practices in investing industry as well as an extensive amount of work in the literature. The information and experience accumulated both in the industry and the literature direct our standpoint to portfolio management approach. It is not only the common practice for investing in finance industry but also a convenient mathematical way of expressing the wealth distribution on assets. Investors distribute their wealth into one or more assets, which shapes up an investment portfolio. Thus, portfolio management problem in finance is a concern to almost every investor. The management of a portfolio is performed with the support of both technical and theoretical approaches. Initially, an investor makes the decision to allocate particular assets in the portfolio and send orders to the execution venues. The venue fills the orders and the portfolio is created. From this point on, it could be regularly evaluated if it satisfies particular objectives. The practice of evaluation for performance purposes require the theoretical background of statistics and mathematical finance. The success rate of the portfolio is directly related to how much it fulfills the investors requirements. There are a number of performance measures, each pointing out a different aspect of a portfolio as it could be considered as a multi-dimensional abstract concept. In fact, it is the most common way to approach portfolio performance evaluation from both return and risk perspective. The return values directly show how much a portfolio increased as percentage compared to its certain past value. If the change of portfolio is calculated by regular time intervals, a return series is produced. The return series is the main part of the financial time series that shows high level of uncertainty. The amount of uncertainty cannot be directly measured but calculated via standard deviation. The standard deviation of a return series, known as volatility, shows the amount of uncertainty, or the risk of the return series. In this manner portfolio could be judged in terms of success. For example, whether if it does perform well or shows a risky behavior. There exists also the risk-adjusted return metrics that particularly show the amount of return has been gained as a compensation to exposed risk. Derived from basically return and risk criteria, these metrics help understanding the portfolio performance with single final score. The investment decisions made on a portfolio always has the aim of increased a predefined success measure, now or in the future. Thus, it is a subject of mathematical optimization. If a portfolio has the correct weights of assets, i.e. the wealth distribution, it could provide better performance metrics. However, being an open question, this is a subject of research. Due to challenges in financial time series, we cannot directly predict the weights of the portfolio, instead, we can perform the optimization currently available data. Notwithstanding, it is certain that the model produce errors. Hence, abilities of the model make the difference at this point. Starting from the foundations of modern portfolio theory, it has been assumed that the investors are risk averse, and the portfolio weights are optimized according to return and risk metrics. The important concept here is that it diversifies the portfolio according to the asset covariances. This way, the risk is being reduced. However, the data set utilized in the optimization procedure would be the historical series. Therefore the obtained results may not correctly reflect the future. In order to overcome this, better return models were proposed. These models mainly explain the variance using markets indices, or large and small cap return differences, and such. Hence, using better inputs in an optimization model could yield better results. The solution methods to the portfolio optimization problem have been evolved since the modern portfolio theory. The biggest possible leap in the past could potentially made with the introduction of computers. This way, optimization methods started to get more complex and vast volumes of data started to being produced. Moreover, the need for superior results has also increased as the competition in the market intensifies. Mathematical finance has given birth to numerous important breakthrough methods in this particular field of portfolio optimization. The quantitative investing sub-field took advantage of that and in these very recent years, another transformation was also triggered by AI systems. The artificial intelligence have penetrated into our lives in many aspects. The investing is one of them. As the growing demands for better performing portfolios and investments, the second revolution is being made by the artificial intelligence, particularly machine learning. Day by day, particular areas in finance started to get better with the help of ML-based systems. As a subtopic of ML, reinforcement learning helps creation of an AI agent that learns to make good decisions, based on the predefined objective function. It takes input, makes a decision and outputs that decision to the environment that it is in. After this decision is executed by the environment, another input has been provided to the agent. Successively, the agent takes input and produces output, while updating its parameters based on the provided objective. With the ultimate aim of the objective function maximization, this training procedure is repeated many times. The process of portfolio management constitutes a good example for this particular procedure, known as Markov decision process. The optimal solution for a finite Markov decision process could be obtained by dynamic programming given that the transition probabilities and rewards function is known. This is hardly the case for most of the real life examples. However, reinforcement learning methods still could find a solution under these conditions. The importance of RL methods come into play especially in games. An RL agent generated by large computational sources and huge sums of data could potentially surpass the abilities of humans in games such as chess and go. Another important feature they provide is that they could be model-free. Motivated by the trial-and-error learning scheme, and RL agent does not need to perfectly know all dynamics of the environment. It could still find a probable local optimal solution. In this study, RL models are generated to address the equity portfolio optimization problem. The asset universe for this problem has been restricted to BIST30 constituents, which is a stock market index from an emerging market. The index is composed of the 30 largest stocks in terms of market capitalization. The characteristics of an emerging market do differ from developed markets as emerging markets bring new challenge such as increased uncertainty and decreased market efficiency. Our models use return, volatility, technical indicators, and fundamental company information to make portfolio weight decision. We study DDPG and PPO methods in this study. Two different neural network architectures are designed to fit the needs of these two RL models. We utilized convolutional network structures to successfully extract meaningful information out of the dataset. We train the models with 10 years of daily data, and then test with 1 years of data. We set main benchmark as the market capitalization weighted BIST30 index, as we try to compete it and provide a better weighting strategy. We also compared our agents with UBAH, UCRP and MPT portfolios as additional benchmarks. The results show that we outperform all of these benchmarks in terms of return, and risk adjusted return metrics, such as Sharpe and Sortino ratios. One aspect of the models is that they produce a higher volatility behavior, however they compensate the high risk with a higher return value per taken risk so the return based metrics are superior to benchmarks. We highlight the model-free nature of the our proposed RL agents. The results are presented at the last section and a future projection is provided for a probably better model.
Benzer Tezler
- Cryptocurrency investment portfolio evaluation
Kriptopara yatırım portföyü degerlendirmesi
NIMA NIYAZPOUR
Yüksek Lisans
İngilizce
2022
Maliyeİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
DOÇ. DR. KAYA TOKMAKÇIOĞLU
- The effect of investor sentiment on non-ferrous metals contracts at LME and optimizing a metals commodity portfolio
LME'de işlem gören endüstriyel metal sözleşmelerinde yatırımcı duygusu etkisi ve metal emtia portföyü optimizasyonu
EKİN AÇIKGÖZ
Yüksek Lisans
İngilizce
2024
Ekonometriİstanbul Teknik Üniversitesiİşletme Ana Bilim Dalı
PROF. DR. OKTAY TAŞ
- Yapay sinir ağları ile portföy optimizasyonu
Portfolio optimization with artificial neural networks
MEHMET YAVUZ
Yüksek Lisans
Türkçe
2012
MatematikBalıkesir ÜniversitesiMatematik Ana Bilim Dalı
YRD. DOÇ. DR. NECATİ ÖZDEMİR
- Bulanık mantık yaklaşımı ile portföy optimizasyonu
Portfolio optimization with fuzzy logic approach
NESLİHAN HALİS
- Özdüzenleyici haritalar ile portföy seçimi: BIST-100'de bir uygulama
Portfolio selection with self-organizing maps: An application in BIST 100
SAMİ EŞMEN
Doktora
Türkçe
2020
İşletmeAydın Adnan Menderes Üniversitesiİşletme Ana Bilim Dalı
PROF. DR. MUHSİN ÖZDEMİR