Hava araçları kokpitlerinde makine öğrenmesi tabanlı tahmine dayalı kullanıcı arayüzü
Machine learning prediction based ui for aircraft cockpit
- Tez No: 863631
- Danışmanlar: PROF. DR. BEHÇET UĞUR TÖREYİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Savunma ve Savunma Teknolojileri, Computer Engineering and Computer Science and Control, Defense and Defense Technologies
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: 75
Özet
Günümüzde, aviyonik sistemlerin kullanımı, havacılık endüstrisindeki teknolojik gelişmelerle birlikte büyük bir öneme sahiptir. Aviyonik sistemler hava araçlarının güvenliğini, etkinliğini ve performansını artırmak için kullanılan elektronik sistemlerdir. Bu sistemler, pilotlara uçuş sırasında kritik bilgileri sunmak, navigasyonu yönlendirmek, motor durumunu izlemek, iletişimi sağlamak ve bir dizi diğer önemli görevi yerine getirmek için tasarlanmıştır. Son yıllarda, yapay zeka ve otomasyonun ilerlemesi, aviyonik sistemlerin daha akıllı ve bağlantılı hale gelmesine olanak tanımıştır. Bu gelişme, pilotların daha iyi kararlar almasını desteklerken, uçuş sırasında veri analizi ve yönetimi konularında daha etkili olmalarını sağlar. Kısacası, günümüzde aviyonik sistemler, havacılık endüstrisindeki teknolojik yeniliklerin öncüsüdür ve hava araçlarının güvenliğini, verimliliğini ve performansını artırmak için vazgeçilmez bir rol oynamaktadır. Gelişmiş kokpit ekranları, sayısal uçuş kontrol sistemleri, radarlar, otomatik pilot sistemleri ve diğer aviyonik bileşenleri, pilotlara daha fazla kontrol ve bilgi sağlayarak uçuş güvenliğini artırır. Ayrıca, bu sistemler, hava araçlarının daha yakıt verimli ve çevre dostu olmasına katkıda bulunabilir. Hava aracındaki pilot araç arayüzleri, otomobillerde bulunan dijital ekranlara benzer şekilde, çeşitli sistemlerin (örneğin, navigasyon, motor bilgisi) mevcut durumunu sunmak için kullanılır. Güvenlik endişeleri nedeniyle uçak arayüzleri deterministik bir davranış sergilemek zorundadır ve bu durum kullanıcı girişinin öngörülebilir çıktılar üretmesini sağlar. Bu nedenle, hava aracı sistemlerine metin tabanlı örüntü tanıma veya yapay sinir ağı temelli çözümleri entegre etmek, deterministik doğaları nedeniyle zordur. Bu çalışmada, dijital aviyonik ekran sistemlerinin verimliliğini ve kullanım kolaylığını artırmak için bir yaklaşım sunulmuştur. Yaklaşım, hava aracı kullanıcısının uçuş sırasında bu sistemlerle etkileşimlerinde tekrarlanan kullanıcı etkileşimlerini bulma ve kullanıcı etkileşimlerini öğrenme esasına dayanan alternatif bir etkileşim modeli sunmaktadır. Kullanıcı etkileşimi, hava aracı kullanıcısının dijital aviyonik ekran üzerindeki her bir butona basma eylemini ifade eder. Özel olarak toplanmış kullanıcı etkileşim kayıtları ve sensör verileri bu çalışmada önerilen yaklaşımın uygulandığı veri kümesi olmuştur. Çalışmanın ilk aşamasında, kullanıcı etkileşim kayıtlarına; metin tabanlı örüntü tanıma yöntemi uygulanmıştır. Böylece tekrar eden kullanıcı sekansları bulunmuştur. Sonraki aşamada ise, tekrar eden kullanıcı sekansları ve sensör verileri ilişkilendirilerek yapay sinir ağı tabanlı tahmin modeli geliştirilmiştir. Bu model sayesinde uçuş esnasında kullanıcıya belirli durumlarda kullanabileceği kullanıcı buton basım sekansları tahmini öneri olarak sunulacaktır. Bu öneriler, otomatik pilot çözümlerini geliştirmek ve zamanın kritik olduğu uçuş görevlerinde kullanıcı buton basım zamanını kısaltmak için kullanılabilir. Ayrıca, gelecek nesil kokpit sistemlerinde yapay sinir ağı temelli bağlama duyarlı (context-aware) sistemlerinde kullanılabilir veya geliştirilebilir. Tekrar eden kullanıcı buton basım sekansları kendileri doğrudan uçuş sırasında kullanılmasa bile, bu sekansların tespit edilmesi gelecekte daha kullanıcı dostu grafiksel kullanıcı arayüzü uygulamalarının geliştirilmesine yol açabilir.
Özet (Çeviri)
Use of avionic systems holds significant importance in the aviation industry, in tandem with today's technological advancements. Avionic systems are electronic systems utilized to enhance the safety, efficiency, and performance of aircraft. These systems are designed to provide pilots with critical information during flights, guide navigation, monitor engine status, facilitate communication, and perform various other crucial tasks. Aircraft are equipped with complex avionics systems, and through the integration of these systems, they are able to operate safely, effectively, and efficiently. These systems fulfill important tasks such as providing pilots with rapid and accurate access to necessary information during flight, facilitating navigation, monitoring environmental conditions, and enhancing flight safety. In recent years, the progress in artificial intelligence and automation has enabled avionic systems to become smarter and more connected. This supports pilots in making better decisions and enhances data analysis and management during flights. In summary, avionic systems today serve as pioneers in technological innovations within the aviation industry, playing an indispensable role in improving the safety, efficiency, and performance of aircraft. Advanced cockpit displays, digital flight control systems, radars, autopilot systems, and other avionic components increase flight safety by providing pilots with more control and information. Additionally, these systems can contribute to making aircraft more fuel-efficient and environmentally friendly. Pilot vehicle interfaces in the aircraft, similar to digital displays in automobiles, are used to present the current status of various systems (e.g., navigation, engine information). Due to safety concerns, aircraft interfaces must exhibit deterministic behavior, ensuring predictable outputs for user input. The current software-based pilot vehicle interface solutions in the aviation industry consist of deterministic and lengthy user interaction steps that aircraft users must perform sequentially to change the current state of the aircraft or gather information about the current state. User interactions may involve operations such as changing the current destination in the navigation system, preparing the aircraft for landing, disabling an alert, etc. Interfaces are comprised of digital panels in cockpits, and user interaction is performed through the placement of physical buttons on relevant panels. These interface systems must be designed deterministically and flawlessly as they may endanger human life in the event of an error occurring in the aircraft they control. On average, an aircraft software is expected to make no more than one error in thirty years. Therefore, aircraft software only employs tried and trusted technologies in accordance with international standards and guidelines of civil aviation authorities, hence these systems lag behind other software domains in utilizing the latest available paradigms and tools. Therefore, integrating text-based pattern recognition or artificial neural network-based solutions into aircraft systems is challenging due to their deterministic nature. This study proposes an approach to enhance the efficiency and user-friendliness of digital avionic display systems. It can be demonstrated that non-deterministic methods can be presented to the user by providing only an alternative user interaction without violating the deterministic structure of existing avionic systems. Our approach presents an alternative interaction model based on discovering and utilizing recurring patterns during the aircraft users interactions with these systems. User interaction refers to the act of an aircraft user pressing each button on the digital avionic display. ANN-based solutions integrated into existing aircraft cockpit User Interface (UI) systems may offer an improvement by reducing the time required for user interaction. This enhancement is achieved by presenting an alternative interface that allows text-based pattern extraction and extraction through an ANN-based model before flight through repeated user interaction sequences and can be executed as a single action. Due to privacy and security constraints in the avionics industry, a specifically collected dataset has been used in this study and the dataset consists of two parts. The first part of the dataset is comprised of video recordings capturing user interactions. Data was collected and analyzed during actual flights conducted by pilots with helicopters from the inventory of the Turkish Armed Forces. To obtain this dataset, a GoPro camera was mounted on the pilot's helmet to record user actions in video format. The video recordings encompass flights for various missions (transport, attack, rescue) at different times. This dataset was obtained through experiments conducted in a laboratory environment to capture the button press actions, i.e., user interactions, performed by the user during the flights. The second part of the dataset is constituted by sensor data recorded in the external memory of the aircraft during flight. Aircraft are equipped with sensors that provide important data about the status, behavior, and surroundings of the aircraft, such as current speed, altitude, etc. Sensor data is numerically recorded along with time data and other parameters. These data are recorded in real-time during flight in the external memory of the aircraft. In the initial phase of the study, a text-based pattern recognition method was applied to user interaction logs to identify recurring user sequences. Suffix tree approach was deemed unsuitable for this study as it identifies the longest recurring user sequences. Therefore, the LZW data compression algorithm was selected as a more appropriate approach. Once all recurring user sequences are identified, recurring user sequences equal to or greater than a certain length can be extracted. In the subsequent phase, a prediction model based on Artificial Neural Networks was developed by correlating recurring user sequences and sensor data. Sensors capable of providing insights into the context of the aircraft can also be recorded while the user's keystrokes are being captured. Through this model, suggestions for user button press sequences that can be used in specific situations during flight will be provided as predictive recommendations. The management of whether the extracted patterns will be used or not via digital displays is the final stage of the study. Two approaches have been introduced for this final stage. The general aim on this page is to list the extracted recurring user sequences, make a selection, and decide to execute the selected sequence as a shortcut. The first approach is the automatic selection of the desired sequence to be executed on the page where the recurring user sequences are listed. After the ANN-based model is trained, it evolves into a simple query-based module that takes sensor data as input and returns user sequence output. The usage of suggested patterns is left to the discretion of the user. The second approach focuses on users performing a similar function manually via digital displays. This usage can be thought of as taskbar icons in the Windows operating system. The user selects the button to which that pattern will be assigned as a shortcut by clicking on the button of their choice based on their own initiative. These suggestions can be utilized to enhance autopilot solutions and reduce the time required for user interaction during critical flight tasks. Furthermore, these user sequences can be employed or further developed in ANN-based context-aware systems in next-gen cockpit systems. Even if the recurring user button press sequences are not directly used during flight, their identification can lead to the implementation of more user-friendly GUI applications tailored to specific products in future development phases. The general objective of this study is to close the technology gap by integrating pattern recognition and ANN-based model technologies into pilot vehicle interfaces. It focuses on the avionics field, aiming to provide users with faster and easier access. Interface enhancements in this field are rarely accessible or publicly available due to security constraints or the privacy policies of developer companies.
Benzer Tezler
- Hava araçları ile alınan görüntülerden derin öğrenme ile felaketzede tespiti
Human - survivor detection for unmanned aerial vehicle with deep learning technics
MUSTAFA GÖREN
Yüksek Lisans
Türkçe
2023
Elektrik ve Elektronik MühendisliğiKırklareli ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MURAT OLCAY ÖZCAN
- Bir scramjet motoru yanma odasında yanma karakteristiklerinin sayısal olarak incelenmesi
Numerical investigation of combustion characteristics in a scramjet combustor
AFŞİN KILIÇARSLAN ÖZBEK
Yüksek Lisans
Türkçe
2023
EnerjiGazi ÜniversitesiEnerji Sistemleri Mühendisliği Ana Bilim Dalı
DOÇ. DR. SERHAT KARYEYEN
- Design and control of an autonomous blimp
Otonom hava aracı (Zeplin) tasarımı ve kontrolü
ERTUĞRUL BAYRAKTAR
Yüksek Lisans
İngilizce
2013
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. PINAR BOYRAZ
- Hava araçları için optik arayüz kullanarak sanal küresel seyrüsefer uydu verisi oluşturma
Creating virtual global navigation satellite system data for air vehicles using optical interface
CİHAT NURETTİN YILMAZ
Yüksek Lisans
Türkçe
2020
Elektrik ve Elektronik MühendisliğiTOBB Ekonomi ve Teknoloji ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HAMZA KURT
- Hava araçları ve rüzgâr türbinlerinde kullanılan farklı kanat profillerinin sayısal olarak incelenmesi
Numerical analysis of different blade profiles used in aircrafts and wind turbines
MEHMET ALİ ÇİL
Yüksek Lisans
Türkçe
2022
Sivil HavacılıkErciyes ÜniversitesiSivil Havacılık Ana Bilim Dalı
DR. ÖĞR. ÜYESİ CEVAHİR TARHAN