A multi-fidelity prediction framework with convolutional neural networks using high-dimensional data
Yüksek boyutlu veriler ile çok-doğruluklu evrişimsel sinir ağı tabanlı kestirim
- Tez No: 736619
- Danışmanlar: PROF. DR. MELİKE NİKBAY
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Havacılık ve Uzay Mühendisliği, Computer Engineering and Computer Science and Control, Aeronautical Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Uçak ve Uzay Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Uçak ve Uzay Mühendisliği Bilim Dalı
- Sayfa Sayısı: 90
Özet
Günümüzde bilgisayar işlemci performansları, geçmişe kıyasla çok daha yüksek olsa da hesaplamalı bilimler alanında kullanılan ve yüksek doğrulukta sonuçlar verebilen nümerik analiz yöntemleri hala hesaplama süresi açısından oldukça maliyetlidir. Bu durum havacılık ve uzay alanında, tasarım uzayında birçok hesaplama gerektiren optimizasyon, belirsizlik analizi ve hassasiyet analizi gibi uygulamalarda yüksek doğruluk ve hassasiyette sonuçlar veren yöntemlerin kullanımını ciddi ölçüde kısıtlamaktadır. Hesaplamalı akışkanlar dinamiği özelinde, günümüzdeki uygulamalarda on milyonlarca çözüm ağı elemanı içeren akış alanlarını sayısal yöntemler ile çözmek gerekmektedir. Bu çözüm ağının birçok işlemciye bölüştürülüp işlemci başına düşen yükün azaltıldığı ve çözüm süresinin hızlandırıldığı paralel hesaplama ile bile ancak saatler mertebesinde akış çözümü sağlanabilmektedir. Dolayısıyla yüksek doğrulukta sonuçlar üretebilen ancak hesaplama maliyetleri de bir o kadar yüksek olan sonlu elemanlar ve sonlu hacimler yöntemleri yerine panel yöntemleri gibi hesaplama açısından yük oluşturmayan ve daha düşük doğruluğa sahip yöntemler kullanılmaktadır. Bu noktada farklı fiziksel doğruluk seviyesine sahip yöntemleri birleştiren çok-doğruluklu analiz metotları, son yıllarda tasarım optimizasyonunda oldukça yaygın şekilde kullanılmaktadır. Çok-doğruluklu analiz yöntemleri, hesaplama açısından verimli olan çok sayıda düşük-doğruluklu analiz verisi ile az sayıda yüksek-doğruluklu ancak üretimi pahalı olan veriyi belirli matematiksel metotlarla birleştiren yöntemlerdir. Çok-doğruluklu analiz metotlarının ana hedefi sadece yüksek-doğruluklu yöntemlerin kullanımına kıyasla hesaplama maliyetini düşürmek ve aynı zamanda da fiziksel doğruluğu yüksek-doğruluklu yöntem seviyesinde tutmaktır. Bu yöntemler, sağladıkları hesaplama verimliliği sayesinde hem akademi hem de endüstride birçok tasarım optimizasyon çalışmasında kullanılmaktır. Literatürde çok-doğruluklu analiz yöntemleri 3 sınıfa ayrılmıştır: adaptasyon, birleşim ve filtreme. Yöntemler, her sınıf içerisinde hiyerarşik ve temsili model tabanlı olmak üzere iki alt sınıfa ayrılabilir. Bu tez kapsamında birleşim prensibini kullanan temsili model tabanlı çok-doğruluklu derin öğrenme metotları incelenmektedir. Derin öğrenme yöntemlerinin ana fikri 1960'lı yıllara dayanmaktadır. Fakat uygulama alanları, artan hesaplama gücü ve veri toplama hızı ile son yıllarda artmıştır. Günümüzde derin öğrenme uygulamalarına hemen hemen her alanda rastlamak mümkündür. Bu yöntemler, havacılık ve uzay alanında, otonom uçuş, hava trafik yönetimi, optimizasyon ve belirsizlik analizi gibi uygulamalarda kullanılmaktadır. Yapay sinir ağlarının en önemli avantajlarından biri klasik makine öğrenmesi yöntemlerinde kullanılan öznitelik çıkarımının olmamasıdır. Öznitelik çıkarımı alan uzmanlığı gerektirdiği gibi model performansını da yüksek oranda etkilemektedir. Derin öğrenmenin diğer bir önemli getirisi ise büyük veri setlerine uygun bir yöntem olmasıdır. Klasik makine öğrenmesi yöntemleri artan veri miktarına her zaman artan bir model performansıyla cevap veremez ve bu anlamda doygunluğa ulaşırken, sinir ağları büyük veri setleri ile modelin kestirim gücünü artırabilmektedir. Çok-doğruluklu derin sinir ağları ise literatürde paylaşılmış oldukça yeni bir metottur. Diğer çok-doğruluklu yöntemlere benzer şekilde az sayıda yüksek-doğruluklu ve çok sayıda düşük-doğruluklu verinin kullanıldığı bu metot ile ilgili geniş bir literatüre rastlamak mümkün değildir. Dolayısıyla açık ve güncel bir araştırma konusudur. Çok-doğruluklu derin sinir ağları otoregresif bir model kullanır ve tam bağlantılı katmanlardan oluşan 3 alt ağdan oluşur. Bu ağlardan ilki verilen girdiler ile düşük-doğruluklu kestirimler yapar. İkinci ve üçüncü ağlar ise düşük- ve yüksek-doğruluklu veriler arasındaki doğrusal ve doğrusal olmayan korelasyonu modellemek için kullanılır. Literatürde az sayıda yapılan çalışmalar, çok-doğruluklu sinir ağlarının analitik ve düşük boyutlu vektörel girdi ve çıktıların kullanıldığı 2 boyutlu aerodinamik problemlerde etkin sonuçlar verdiğini göstermiştir. Mevcut çalışmada, literatürde henüz bulunmayan, yüksek boyutlu verilerin çok-doğruluklu sinir ağları ile birlikte kullanımı ele alınmıştır. Bu kapsamda 2 boyutlu akış alanları yüksek boyutlu girdi olarak kullanılmıştır. Literatürde önerilen çok-doğruluklu sinir ağlarının yüksek veriler ile kullanımında iki önemli eksik göze çarpmakta ve bu çalışmada, yöntemin eksikliklerin iyileştirilmesi için iki farklı çok-doğruluklu sinir ağı mimarisi önerilmektedir. Bu eksiklerden birincisi girdi ve çıktı arasındaki boyut farkının yüksek olduğu durumlarda ortaya çıkar. Daha önce bahsedilen korelasyon ağları, tahminlerin ve girdilerin birleşim vektöründen korelasyon kestirimi yapar. Bu iki vektör arasındaki boyut farkının fazla olduğu durumlarda, veri setleri arasındaki korelasyonun öğrenilmesi zorlaşmakta ve çok-doğruluklu kestirimler yapmak mümkün olmamaktadır. Bu tez çalışmasında, söz konusu probleme çözüm olarak çok-doğruluklu sinir ağı yapısına doğrusal kodlayıcı (encoder) veya kod çözücünün (decoder) eklenmesi önerilmektedir. Kodlayıcılar verilen girdiyi yüksek-boyutlu uzaydan daha düşük boyutlu uzaya taşırken kod çözücüler tam tersini yapar. Böylece bu derin öğrenme elemanları, girdi ve çıktı arasındaki boyut farkını azaltıp çok-doğruluklu kestirim performansını artırmak için kullanılabilir. Bu çalışmada süperkritik bir kanat profili etrafındaki yüksek-boyutlu akış alanlarının girdi, düşük boyutlu aerodinamik katsayıların çıktı olarak kullanıldığı bir problem ele alınmıştır. Dolayısıyla girdi ve çıktı arasındaki boyut farkını azaltmak için yüksek eleman sayısına sahip girdi vektörlerinin kodlayıcılar ile çok daha düşük boyutlu vektörlere dönüştürüldüğü ağ yapıları kullanılmıştır. Bu tez kapsamında, bir kodlayıcı ağının entegre edildiği çok-doğruluklu sinir ağlarına, değiştirilmiş çok-doğruluklu sinir ağları adı verilmiştir. Bunlara ek olarak, literatürdeki mevcut yöntemin ikinci dezavantajı ise kullandığı tam bağlaşımlı katmanların getirdiği skaler ya da vektörel girdi zorunluluğudur. Dolayısıyla sinir ağlarının eğitiminde ve kestirim için kullanılmasında, birden fazla boyuta sahip girdilerin vektörleştirilmesi gerekmektedir. Fakat, normalde birden fazla boyuta sahip olup vektör haline getirilen verilerde bilgi kaybı yaşanmakta, sinir ağı modelinin kestirim performansını düşürmektedir. Bu kaybın ana sebebi, yüksek korelasyon içeren bölgelerin vektör içerisinde birbirinden uzak olacak şekilde konumlanmasından kaynaklanır. Benzer bir problem daha önce derin öğrenme yöntemleri ile görüntü işlemede karşılaşılmış ve evrişimsel sinir ağları kullanılarak çözülmüştür. Akış alanları da birbiri ile yüksek korelasyonlu birçok noktadan oluşan 2 boyutlu bir yüzey ya da 3 boyutlu bir hacimdir. Bu çalışmada, aerodinamik çözüm alanlarının, bilgi kaybı yaşanmadan sinir ağları ile işlenebilmesi için evrişimsel sinir ağları, çok-doğruluklu analiz yapısına entegre edilmiştir. Üzerinde düşünülmesi gereken bir diğer konu ise akış alanlarının nasıl matris ya da tensör notasyonu ile temsil edilebileceğidir. Çünkü 2 ve daha yüksek boyutlu evrişimsel sinir ağları matris/tensör formatında veri işleyebilmektedir. Bu çalışmada, literatürde daha önce kullanılmış bir yöntem olan, akış alanlarının kartezyen bir ağın üzerine interpolasyonu kullanılmıştır. İnterpolasyon hem yapısal hem de yapısal olmayan çözüm ağlarına kolayca uygulanabilir bir yöntemdir. Ayrıca veri noktası sayısını ciddi ölçüde azaltmaktadır. Bu yöntem literatürde detaylı şekilde irdelenmediği için bu tezde bir ön çalışma olarak, interpolasyon yaklaşımının bir evrişimsel sinir ağının kestirim performansına olan etkisi incelenmiştir. Bu uygulamada, farklı kartezyen ağ boyutları ve interpolasyon metotları, akış ve geometri değişimli bir kanat profiline uygulanmıştır. Daha sonra interpole edilmiş akış alanları kullanılarak, taşıma ve sürükleme katsayılarının bir evrişimsel sinir ağı ile tahmini gerçekleştirilmiştir. Başka bir ön çalışma ise çok-doğruluklu otoregresif modelde kullanılan korelasyon ağırlığını incelemek için yapılmıştır. Bu çalışmada ise korelasyon ağırlığının başlangıç değerinin optimizasyon sonundaki değerine olan etkisi, literatürde bulunan analitik çok-doğruluklu problemler üzerinde irdelenmiştir. Yapılan ön iki çalışmanın bulguları, bu tezin asıl uygulama konusu olan süperkritik bir kanat profiline ait basınç katsayısı alanları kullanılarak aerodinamik katsayıların çok-doğruluklu kestiriminde kullanılmıştır. Bu uygulamada, kestirim doğruluğu ve eğitim süresi gibi performans ölçüleri göz önünde bulundurularak, yeni önerilen çok-doğruluklu sinir ağı mimarilerinin etkinliği, literatürdeki çok-doğruluklu sinir ağları ile kıyaslanmıştır. Mach sayısı, hücum açısı ve Reynolds sayısı akış değişkenleri olarak kabul edilmiştir. Veri seti üretimi için açık-kaynaklı SU2 akış çözücüleri kullanılmıştır. Düşük-doğruluklu veri seti, kaba bir çözüm ağı üzerinde Euler denklemleri çözülerek elde edilmiştir. Yüksek-doğruluklu veri seti ise Reynolds Ortalamalı Navier-Stokes ve Spallart-Allmaras türbülans denklemlerinin daha sık bir akış ağı üzerinde çözümü ile üretilmiştir. Benzer yaklaşım literatürde farklı çalışmalarda da kullanılmıştır. 36 Intel(R) Xeon(R) Gold 6148 CPU 2.40GHz işlemcinin paralel olarak kullanıldığı veri seti üretiminde, tek bir yüksek-doğruluklu analizin çözümü, düşük-doğruluklu analiz çözümünden yaklaşık 19 kat daha uzun bir sürede tamamlandığı gözlemlenmiştir. Üretilen veri seti, toplamda 200 tane yüksek-doğruluklu ve 300 tane düşük-doğruluklu analiz sonucu içermektedir. Kullanılan her bir yöntem, kademeli olarak artırılan yüksek-doğruluklu veri seti ile test edilmiştir. Literatürdeki çok-doğruluklu yönteme kıyasla, önerilen yeni sinir ağı mimarileri ile elde edilen çok-doğruluklu tahminlerde %78.7'e varan daha yüksek doğruluk seviyelerine ulaşılmıştır.
Özet (Çeviri)
The multi-fidelity analysis is getting more attention day by day and has become a significant research and application area in both academy and industry, especially in the computational sciences. The multi-fidelity analysis, as its name reveals, leverages different fidelity of data. The foremost objective is to attenuate the prohibitive computational or experimental cost of simulations while keeping the accuracy as high as possible. A high number of cheap-to-generate low-fidelity data are corrected by using a low number of expensive-to-generate high-fidelity data. Thus, a notable efficiency is accomplished in comparison to using high-fidelity data solely. The literature offers different multi-fidelity methods such as hierarchical or surrogate-based multi-fidelity schemes. These schemes, in the literature, are classified into three classes: adaptation, fusion, and filtering. In this thesis, the multi-fidelity artificial neural networks, surrogate-based multi-fidelity methods using the fusion principle, are studied for processing high-dimensional data to make multi-fidelity estimations. Additionally, the multi-fidelity deep neural network was first proposed in 2019. Literature provides a limited number of research on this method which has limitations on the usage of problems with high-dimensional inputs. The issues associated with these limitations occur especially in the case of the usage of high-dimensional inputs and low-dimensional predictions simultaneously. Therefore, the dimensional discrepancy impedes the learning of linear and nonlinear correlations between high-fidelity and low-fidelity data sources. On the other hand, the multi-fidelity deep neural networks compose fully-connected networks which can only process scalars or vectors. Thus, 2-dimensional data with locality must be vectorized to make them suitable for neural network processing. Vectorization brings about a loss of information due to the dislocation of highly-correlated regions. Two novel multi-fidelity neural network architectures tailored for high-dimensional inputs are proposed to improve multi-fidelity predictions on the problems inherited from these conditions. First, a fully-connected encoder is implemented within the existing multi-fidelity neural network architecture in the literature. The encoder performs dimensionality reduction by mapping its input onto a low-dimensional subspace by only extracting the latent features of a given input vector. Therefore, the dimensional discrepancy is hindered and the training performance of multi-fidelity deep neural networks is enhanced. Additionally, convolutional layers are incorporated into the modified multi-fidelity deep neural networks, named multi-fidelity convolutional neural networks, so as to preclude vectorization so does the loss of correlation information. Besides, one of the obstacles to using flow fields as neural network inputs is that these spatial domains must be represented in the matrix/tensor notation; thus, a neural network layer can be capable of processing a given input. In this study, the interpolation of flow variables on both structured and unstructured grids onto Cartesian grids is seen as a remedy. A preliminary study investigating the influence of interpolation schemes and Cartesian grid sizes on a convolutional neural network prediction accuracy is also presented where further studies are based on the findings. Moreover, in the multi-fidelity deep neural network, the autoregressive function uses the weighted approximations of the linear and nonlinear correlation between high- and low-fidelity datasets. The tuning of correlation weight in training is not explicitly stated in the literature. This is not surprising since the research on multi-fidelity neural networks is in rudimentary stages. In this study, a brief investigation of how the initial correlation weight affects its tuned value and model prediction performance is also presented. In the light of the findings, the proposed methods are compared with the multi-fidelity deep neural networks from the literature using a 2-dimensional flow-varying supercritical airfoil problem. Mach number, angle of attack, and Reynolds number are considered flow variables. The main objective of this study is to make a multi-fidelity prediction of aerodynamic coefficients using pressure coefficient fields around the airfoil with an acceptable accuracy level and computational cost. Furthermore, to generate the dataset, a coarsely discretized flow domain around the airfoil is solved using the SU2 Euler solver for low-fidelity data whereas a relatively finer grid is utilized for the high-fidelity data to obtain viscous solutions using the Spallart-Allmaras turbulence model. The difference in the computational cost for each high-fidelity and low-fidelity computational fluid dynamics analysis is around 31.2 seconds where the high-fidelity solver is costlier more than 19 times relative to the low-fidelity solver in terms of computation time. In total, the used dataset contains 200 high-fidelity and 300 low-fidelity simulation results. Each considered multi-fidelity neural network method is trained with an increasing high-fidelity sample size using pressure coefficient fields which are interpolated onto 64-by-64 Cartesian grids. The performance metrics to compare the methods are determined as the test accuracy, physical training time, and the size of the high-fidelity samples. Results demonstrate that the proposed multi-fidelity neural network architectures outperform the multi-fidelity deep neural networks in predictive modeling using high dimensional inputs by improving the multi-fidelity prediction accuracy up to 78.7%.
Benzer Tezler
- Propulsion-airframe integration for low-boom supersonic aircraft
Düşük gürültülü sesüstü hava araçlarında itki-gövde entegrasyonu
RUMED İMRAK
Yüksek Lisans
İngilizce
2023
Havacılık Mühendisliğiİstanbul Teknik ÜniversitesiSavunma Teknolojileri Ana Bilim Dalı
PROF. DR. MELİKE NİKBAY
- Modification of a three-equation eddy-viscosity turbulence model for anisotropic turbulence
Üç denklemli bir eddy viskozite türbülans modelinin anizotropik türbülans için geliştirilmesi
MURAT UMUT YANGAZ
Doktora
İngilizce
2024
Makine MühendisliğiMarmara ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET ZAFER GÜL
- Kuyu içi (VSP) sismik verilerinin konvansiyonel olmayan yöntemlerle kömür aramacılığına yönelik entegre analizi
Integrated analysis of wellbore seismic data by unconventional methods for coal exploration
ALİ CANKURTARANLAR
Doktora
Türkçe
2024
Jeofizik Mühendisliğiİstanbul Teknik ÜniversitesiJeofizik Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA EMİN DEMİRBAĞ
- A car following model with an attention-based cognitive framework: Theory, application, and statistical analysis
Dikkate dayalı bilişsel yapıya sahip bir araç takip modeli: Teori, uygulama ve istatistiksel analiz
ŞEYMANUR AL HABBOUSH
Yüksek Lisans
İngilizce
2024
Makine Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
DOÇ. DR. YILDIRAY YILDIZ
- Noise minimal & green trajectory and flight profile optimization for helicopters
Helikopterler için gürültü minimal & yeşil yörünge ve uçuş profili eniyilemesi
ARDA YÜCEKAYALI
Doktora
İngilizce
2020
Havacılık MühendisliğiOrta Doğu Teknik ÜniversitesiHavacılık ve Uzay Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ALİ TÜRKER KUTAY