Geri Dön

Neutrino particle direction estimation using transformer-based deep learning

Transformer tabanlı derin öğrenme kullanılarak nötrino parçacık yönü kestirimi

PDF İndir

  1. Tez No: 1002346
  2. Yazar: ŞEVVAL COŞKUN
  3. Danışmanlar: PROF. DR. EMRE ONUR KAHYA, ÖĞR. GÖR. DOĞU SIRT
  4. Tez Türü: Yüksek Lisans
  5. Konular: Fizik ve Fizik Mühendisliği, Physics and Physics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2026
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Fizik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Fizik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Nötrino sektörü, parçacık fiziğinin Standart Modeli'nin ötesindeki evren anlayışımızı genişletmek adına kritik bir sınır teşkil etmektedir. Kozmik haberciler olarak bilinen bu parçacıklar, evrenin en uzak ve en enerjik köşelerinden, manyetik alanlardan veya maddeden etkilenmeden doğrudan bilgi taşıyabilme kapasitesine sahiptir. Ancak, nötrinoların madde ile etkileşime girme olasılıklarının tesir kesitlerinin son derece düşük olması, bu hayalet parçacıkların tespit edilmesini ve analiz edilmesini modern astrofiziğin en zorlu problemlerinden biri haline getirmektedir. Bu zorluğu aşmak amacıyla Antarktika buzullarının derinliklerine inşa edilen ve bir kilometreküp hacmi kapsayan IceCube Nötrino Gözlemevi, buz atomları ile etkileşime giren nötrinoların yaydığı zayıf Cherenkov ışımasını tespit etmek üzere tasarlanmıştır. Bu tez çalışmasındaki temel deneysel zorluk, IceCube dedektöründen elde edilen similasyon verileri kullanarak, nötrino geliş yönlerinin (Azimuth ve Zenith açıları) hassas bir şekilde tahmin edilmesidir. IceCube dedektörü, buzun içine dikey halatlar boyunca yerleştirilmiş 5.000'den fazla Dijital Optik Modülden (DOM) oluşmaktadır. Bir nötrino etkileşimi gerçekleştiğinde, bu sensörler fotonları yakalayarak zaman, yük ve konum bilgisini içeren atım serileri üretir. Ancak üretilen bu veri, son derece seyrek, düzensiz ve gürültülü bir yapıya sahiptir. Olay topolojileri, etkileşime giren parçacığın kütlesi ve enerji kaybı mekanizmalarına bağlı olarak İz (Track) ve Kaskad (Cascade) olmak üzere iki ana sınıfa ayrılır. Müon nötrinoları, müonun yüksek kütlesi sebebiyle düşük ışıma yaparak kilometrelerce uzunluğunda düz bir iz bırakır ve bu iz üzerinden yön tayini yapmak görece mümkündür. Buna karşın, Elektron ve Tau nötrinolarının baskın olduğu Cascade olaylarında durum çok daha karmaşıktır. Bu parçacıklar, enerjilerini çok kısa mesafelerde (yaklaşık 10-20 metre) elektromanyetik duşlar yoluyla boşaltırlar. Dedektör sensörleri arasındaki geniş boşluklar sebebiyle, bu olaylar noktasal ışık patlamaları olarak görülür ve yönsel bilgi büyük ölçüde kaybolur. Geleneksel istatistiksel rekonstrüksiyon algoritmaları ve standart Evrişimli Sinir Ağları (CNN), IceCube dedektörünün ızgara yapısında olmayan, altıgen ve düzensiz geometrisini işlerken ciddi kısıtlarla karşılaşmaktadır. Özellikle, yönsel çözünürlüğün doğası gereği sınırlı olduğu ve parçacık izinin net bir şekilde görülmediği cascade tipi olaylarda, mevcut yöntemlerin hassasiyeti düşmekte ve hesaplama maliyetleri artmaktadır. Bu tez, söz konusu zorlukları aşmak ve rekonstrüksiyon hassasiyetini artırmak amacıyla, nötrino geliş yönlerini tahmin etmek için Transformer mimarisine dayalı bir derin öğrenme metodolojisi önermektedir. Çalışmanın temel hedefi, değişken uzunluklu atım serileri içindeki küresel bağımlılıkları ve uzun menzilli uzamsal-zamansal korelasyonları yakalamak için Transformer'ların Öz-Dikkat mekanizmasından yararlanmaktır. Bu mekanizma, bir olay içerisindeki her bir sensör verisinin diğer tüm sensör verileriyle olan ilişkisini ağırlıklandırarak öğrenir; böylece model, dedektörün hangi bölgesinde ve hangi zaman aralığında kritik bilgi olduğunu, geometrik bir önyargı olmaksızın keşfedebilir. Metodoloji,“IceCube - Neutrinos in Deep Ice”yarışması kapsamında sağlanan ve 138 milyondan fazla olay içeren kapsamlı bir simülasyon veri setini kullanmaktadır. Bu veri seti, modelin genelleme yeteneğini artırmak için büyük bir fırsat sunmaktadır. Araştırma süreci, model mimarisini, veri ön işleme tekniklerini ve eğitim stratejilerini optimize etmek amacıyla yedi farklı aşamadan (Exp1'den Exp7'ye) oluşan sistematik bir deneysel ilerleme izlemiştir. Girdi verileri, modelin daha iyi temsil elde edebilmesi adına özellik mühendisliği sürecinden geçirilmiştir. Her bir nötrino olayı, matematiksel olarak (Ν× F) boyutunda bir tensör yapısına dönüştürülmüştür; burada Ν dizi uzunluğunu (Sequence Length), F ise özellik boyutunu (Feature Dimension) temsil etmektedir. Bu yapı, deneysel süreç boyunca optimize edilmiştir. Başlangıç deneylerinde (Exp1-Exp5) girdi vektörü yalnızca zaman, yük, auxiliary durumu ve Kartezyen koordinatlarda (x,y,z) sensör konumlarını içeren 6 temel değişkene (F\ =\ 6) sahiptir. Optimize edilmiş nihai aşamada (Exp6-Exp7) bu yapıya sensor konumlarının Küresel Koordinatlardaki (r,\theta,\phi) karşılığı da entegre edilerek özellik uzayı 9 boyuta (F\ =\ 9) genişletilmiştir. Standart Kartezyen koordinatların yanı sıra, Küresel Koordinatların da sisteme dahil edilmesi, modelin uzaydaki yönelimleri daha hızlı kavramasını sağlamıştır. Ayrıca, zaman ve yük verileri üzerinde uygulanan logaritmik dönüşümler ve normalizasyon teknikleri, modelin sayısal kararlılığını artırmıştır. Önerilen model, nötrino olaylarını işlemek için özelleştirilmiş, yalnızca kodlayıcıdan (Encoder-only) oluşan bir Transformer mimarisine dayanmaktadır. Süreç, dedektörden gelen ham atım serilerinin, zenginleştirilmiş öznitelik vektörlerine dönüştürülmesiyle başlar. Bu vektörler, doğrusal bir katman aracılığıyla daha yüksek boyutlu gizli bir uzaya iz düşürülerek modelin işleyebileceği matematiksel forma getirilir. Ardından, mimarinin çekirdeğini oluşturan Çok Başlı Öz-Dikkat (Multi-Head Self-Attention) mekanizması devreye girerek, olay içindeki tüm sensör verileri arasındaki uzun menzilli küresel bağımlılıkları ve geometrik ilişkileri analiz eder. Bu katmanlarda elde edilen bağlamsal bilgiler, ağırlıklı bir havuzlama (Weighted Pooling) işleminden geçirilerek olayı temsil eden tek bir özet vektöre indirgenir. Son aşamada ise, başlangıç deneylerinde kullanılan basit doğrusal çıktı katmanının yerini alan gelişmiş bir Çok Katmanlı Algılayıcı (MLP) yapısı, bu soyut özet vektörü fiziksel uzaya tercüme ederek nötrinonun geliş yönünü belirler. Bu çıktı mekanizması, deneysel stratejinin evrimine paralel olarak, başlangıçta doğrudan açısal değerleri, nihai konfigürasyonda ise bu açıların türetildiği 3 boyutlu yön vektörlerini (x,y,z) tahmin edecek şekilde yapılandırılmıştır. Başlangıç deneylerinde (Exp1 ve Exp2) kayıtp fonksiyonu olarak, standart Hata Kareler Ortalaması (MSE) kayıp fonksiyonu kullanılmıştır. Ancak, açısal verilerin döngüsel doğası, standart MSE fonksiyonunun başarısız olmasına, eğitimin kararsızlaşmasına yol açmıştır. Model, bu aşamada tüm olaylar için veri setinin ortalama yönünü tahmin etme eğilimi göstermiştir. Bu problemi aşmak için ara deneylerde (Exp3-Exp5), optimizasyon hedefi açısal uzaydan vektörel uzaya taşınmış ve DirectionMSE fonksiyonu denenmiştir. Bu yaklaşımda açılar (x, y, z) birim vektörlerine dönüştürülerek Öklid mesafesi üzerinden hata hesaplanmış, ancak donanım kısıtları nedeniyle tam kararlılık sağlanamamıştır. Son deneylerde (Exp6-Exp7), eğitim stratejisi daha dirençli ve GPU hızlandırmalı bir çerçeveye evrilmiştir. Bu yeni çerçevede, vektörlerin uzaydaki hizalanmasını doğrudan maximize eden Kosinüs Benzerliği Kaybı (Cosine Similarity Loss) kullanılmıştır. Bu kayıp fonksiyonu, açısal verilerdeki periyodiklik ve süreksizlik problemini çözerek modelin yönelimsel öğrenme kapasitesini açığa çıkarmıştır. Ayrıca, ısınma periyotlu öğrenme oranı zamanlayıcılarının kullanımı, modelin yerel minimumlardan kurtularak daha iyi bir global optimuma ulaşmasını sağlamıştır. Çalışmanın ölçeklenebilirliğini sağlamak ve veri setini makul sürelerde işleyebilmek için İstanbul Teknik Üniversitesi Ulusal Yüksek Başarımlı Hesaplama Merkezi (UHeM) altyapısının yanı sıra Kaggle ve Google Colab Pro platformlarının sunduğu yüksek performanslı GPU kaynaklarından yararlanılmıştır. Eğitim süreçleri, tekil GPU kullanımından çoklu GPU ve çoklu düğüm yapılarına taşınmış; bu süreçte altyapı, manuel senkronizasyon gerektiren Mesaj Geçiş Arayüzü'nden (MPI), PyTorch'un modern ve optimize edilmiş Dağıtık Veri Paralelliği (DDP) modülüne evrilmiştir. İlk deneyler geometrik genelleştirmede zorlanırken, optimize edilmiş nihai konfigürasyon (Exp6 ve Exp7) hem kararlılık hem de uzamsal genelleme yeteneği kazanmıştır. Özellikle, Exp7 aşamasındaki ince ayarlı model, test setinde 0.45 seviyesinde bir MSE skoruna ulaşmış ve fiziksel bir metrik olan Ortalama Açısal Hata değerini 63.80 dereceye düşürmüştür. Bu değer, temel modele kıyasla yaklaşık 11 derecelik bir iyileşmeyi temsil etmektedir. Rastgele tahminin ortalama hatasının 90 derece civarında olduğu ve cascade olaylarının zorluğu göz önüne alındığında, bu sonuç modelin olay topolojisini başarılı bir şekilde öğrendiğini göstermektedir. Dahası, modelin hesaplama verimliliği, gerçek dünya uygulamaları için büyük bir potansiyel taşımaktadır. Geliştirilen model, saniyede yaklaşık 375 olayı işleyebilen yüksek bir hıza sahiptir. Bu hız, modelin IceCube ve gelecekteki nötrino teleskoplarında (örneğin IceCube-Gen2), olayları anlık olarak filtreleyen ve kaydeden tetikleme sistemlerinde gerçek zamanlı olarak kullanılabileceğini göstermektedir. Bu bulgular, Transformer mimarisinin, fiziğe dayalı özellik mühendisliği ve uygun kayıp fonksiyonları ile birleştirildiğinde, nötrino olay rekonstrüksiyonu için güçlü, hassas ve ölçeklenebilir bir alternatif sunduğunu ortaya koymaktadır. Gelecek çalışmalarda, Graf Sinir Ağlarının (GNN) hibrit bir mimariye entegre edilmesiyle hem yerel geometrik nüansların hem de küresel bağlamın daha iyi yakalanması ve performansın daha da artırılması öngörülmektedir.

Özet (Çeviri)

The neutrino sector represents a crucial area for advancing our comprehension of the cosmos, extending beyond the confines of the Standard Model of particle physics. Nevertheless, the weak interaction cross-sections, coupled with the intricate data structures derived from large-scale detectors such as the IceCube Neutrino Observatory, present substantial obstacles in the detection and reconstruction of these elusive particles. Conventional algorithms and standard Convolutional Neural Networks (CNNs) encounter considerable limitations when processing the irregular, non-grid geometry of the IceCube detector, especially in the context of“cascade”events, where directional resolution is intrinsically constrained. Consequently, this thesis introduces a Deep Learning methodology, grounded in the Transformer architecture, to estimate neutrino arrival directions, specifically azimuth and zenith angles. The main goal is to use the self-attention mechanism in Transformers to capture global dependencies and long-range spatiotemporal correlations in pulse series of varying lengths. This strategy allows for the direct processing of the sequential raw data, independent of fixed geometric constraints. This approach uses the complete simulation dataset from the“IceCube - Neutrinos in Deep Ice”competition, which contains over 138 million events. The research followed a structured experimental process, from Exp1 to Exp7, to improve the model's architecture and training methods. The input data, which consisted of pulse series, went through thorough preprocessing. This included adding Spherical coordinates (radial distance and angular orientation) to standard Cartesian coordinates, along with normalization, to better represent the detector's geometry. The sequences were analyzed using a Transformer Encoder architecture, which included eight attention heads. The training process changed from using the usual Mean Squared Error (MSE) loss functions to Cosine Similarity Loss, a method better suited for angular data. Learning rate schedulers, including warm-up periods, were also used. Some of the experimental work was done on the National Center for High Performance Computing (UHeM) infrastructure at Istanbul Technical University. In addition, the training workflows were improved using distributed computing methods, such as PyTorch Distributed Data Parallel (DDP). Although early experiments showed difficulties in geometric generalization, the final configurations (Exp6 and Exp7) demonstrated both stability and the ability to generalize spatially. In the Exp7 phase, the fine-tuned model attained a Mean Angular Error of 63.80 degrees on the test set, indicating an approximate 11-degree enhancement relative to the baseline model. Visual assessments corroborated the model's capacity to resolve the head-tail ambiguity present in particle track reconstruction, enabling it to differentiate between individual event topologies instead of merely predicting the dataset mean. Moreover, the model exhibited its applicability to real-time data streams, achieving a high inference speed that allowed for the processing of roughly 375 events per second. Based on the experimental results, it can be stated that the Transformer architecture shows promise for this field. Furthermore, it is concluded that further success could be achieved by combining the Transformer with Graph Neural Networks (GNNs), which have demonstrated general success in the literature, within a hybrid architecture.

Benzer Tezler

  1. Tez No

    546900

    Evaluating TAU-neutrino energy and direction from its shower observables to estimate the number of events by the proposed array

    Gözlemlenen duş ürünlerinden TAU-nötrinosunun enerji ve yönünün bulunarak önerilen dizilim aracılığıyla olay sayılarının belirlenmesi

    ŞEYMA ATİK YILMAZ

    Doktora

    İngilizce

    İngilizce

    2019

    Fizik ve Fizik MühendisliğiBolu Abant İzzet Baysal Üniversitesi

    Fizik Ana Bilim Dalı

    PROF. DR. HALUK DENİZLİ

  2. Tez No

    619614

    Monte Carlo yöntemi ile atmosferde ve yer yüzeyinde doz hesaplamaları

    Dose calculations on the atmosphere and ground surface by Monte Carlo method

    HATİCE DOĞRU

    Yüksek Lisans

    Türkçe

    Türkçe

    2020

    Nükleer Mühendislikİstanbul Teknik Üniversitesi

    Nükleer Araştırmalar Ana Bilim Dalı

    PROF. DR. İSKENDER ATİLLA REYHANCAN

  3. Tez No

    285303

    Study of prototype detector for uhe ?? detection

    Çok yüksek enerjili ?? bulunması için protatip dedektör çalışması

    ALİ YILMAZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2011

    Fizik ve Fizik MühendisliğiAbant İzzet Baysal Üniversitesi

    Fizik Ana Bilim Dalı

    DOÇ. DR. HALUK DENİZLİ

    PROF. DR. MAURİZİO IORİ

  4. Tez No

    758244

    Study of charmed hadrons lifetime with 400 gev protons at the CERN-SPS

    CERN-SPS'den gelen 400 gev proton ile üretilen charm kuark içeren hadronların ömürlerinin incelenmesi

    CANAY ÖZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2022

    Fizik ve Fizik MühendisliğiOrta Doğu Teknik Üniversitesi

    Fizik Ana Bilim Dalı

    PROF. DR. ALİ MURAT GÜLER

  5. Tez No

    963392

    Facet deneyinde uzun ömürlü yeni parçacıkların araştırılması

    Search for long lived new particles at facet experiment

    BURAK HACIŞAHİNOĞLU

    Doktora

    Türkçe

    Türkçe

    2025

    Fizik ve Fizik Mühendisliğiİstanbul Üniversitesi

    Fizik Ana Bilim Dalı

    PROF. DR. SUAT ÖZKORUCUKLU

Geri Dön