Benchmarking somatic wes pipelines: A systematic evaluation of computational parameters and their clinical implications
Somatik wes boru hatlarının karşılaştırmalı değerlendirmesi: hesaplamalı parametrelerin ve klinik etkilerinin sistematik bir analizi
- Tez No: 1020345
- Danışmanlar: DR. MEHMET BAYSAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Biyoinformatik, Bioinformatics
- Yıl: 2026
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Yeni nesil dizileme (NGS) teknolojileri, biyomedikal araştırmaları ve klinik tanıyı köklü bir biçimde dönüştürmüştür. Bu teknolojiler, genomik materyalin hızlı ve düşük maliyetli bir şekilde profillenmesini mümkün kılmaktadır. NGS uygulamaları arasında tüm ekzom dizileme (WES), kanser genomik çalışmalarında özellikle önemli bir yere sahiptir. WES, hastalığa neden olan mutasyonların büyük çoğunluğunun bulunduğu protein kodlayan bölgeleri hedef almaktadır. Ayrıca, tüm genom dizilemeye (WGS) kıyasla önemli ölçüde daha uygun maliyetlidir. Onkoloji bağlamında somatik varyant çağırma, tümör dokusuna özgü olarak ortaya çıkan ve aynı hastanın eşleştirilmiş normal dokusunda bulunmayan mutasyonları belirlemeye yönelik bir hesaplamalı süreçtir. Bu süreç, hassas tıp iş akışlarının temelini oluşturmaktadır. Somatik varyant çağırma için kullanılan biyoinformatik boru hatları, birden fazla ardışık adımdan oluşmaktadır. Her bir adımda araştırmacıların birbiriyle rekabet eden algoritmalar arasından seçim yapması ve ilgili parametreleri yapılandırması gerekmektedir. Bu adımlar genellikle ham dizileme okumalarının kalite kontrol amacıyla kesilmesi (trimming), okumaların referans genoma hizalanması, PCR duplikasyonlarının işlenmesi, baz kalite puanı yeniden kalibrasyonu (BQSR) ve varyant çağırma adımını kapsamaktadır. Bu adımların her biri, nihai varyant listesinin doğruluğunu etkileme potansiyeline sahiptir. Literatürde varyant çağırma algoritması seçiminin tespit doğruluğu üzerindeki etkisi kapsamlı şekilde incelenmiştir. Ancak ön işleme adımlarının ve boru hattının farklı aşamaları arasındaki etkileşimlerin etkisi büyük ölçüde göz ardı edilmiştir. Bu durum, NGS tabanlı klinik genomikte önemli bir tekrarlanabilirlik sorununu gündeme getirmektedir. Aynı ham dizileme verisi farklı boru hatlarıyla işlendiğinde, elde edilen varyant listeleri birbirinden önemli ölçüde ayrılabilmektedir. Klinik kararların bu varyant listelerine dayandığı düşünüldüğünde, hesaplamalı seçimlerin sonuçlar üzerindeki etkisinin sistematik olarak anlaşılması kritik önem taşımaktadır. Buna rağmen, mevcut çalışmalar genellikle tek bir parametreyi izole bir biçimde ele almakta ve parametreler arasındaki etkileşimleri ihmal etmektedir. Bu tez, söz konusu boşlukları gidermek amacıyla tasarlanmış kapsamlı bir karşılaştırmalı değerlendirme çalışması sunmaktadır. Altı temel faktörün kombinasyonuyla toplam 480 boru hattı konfigürasyonu oluşturulmuştur. Bu faktörler iki haritalama algoritması (BWA-MEM ve Bowtie2), üç varyant çağırıcı (Mutect2, Strelka2 ve SomaticSniper), iki trimming seçeneği, iki baz yeniden kalibrasyon seçeneği, iki duplikasyon işleme stratejisi ve iki yüksek performanslı hesaplama ortamıdır. Her bir dizileme merkezi için 96 konfigürasyon üretilmiş ve bu konfigürasyonlar beş merkeze uygulanarak toplam 480 boru hattı çalıştırması gerçekleştirilmiştir. Konfigürasyonlar, Dizileme Kalite Kontrolü Faz 2 (Sequencing Quality Control Phase 2, SEQC2) konsorsiyumu tarafından sağlanan beş bağımsız dizileme merkezinden elde edilen eşleştirilmiş tümör–normal WES veri setlerine uygulanmıştır. Boru hatları, Sarıyer ve Altay olmak üzere iki farklı yüksek performanslı hesaplama kümesinde yürütülmüştür. Boru hattı çıktıları, 1.161 doğrulanmış tek nükleotid polimorfizmi (SNP) içeren SEQC2 yüksek güvenilirlikli varyant setine karşı değerlendirilmiştir. Değerlendirme için titiz bir metodoloji benimsenmiştir. Her bir boru hattı çıktısı, yüksek güvenilirlikli varyant setine karşı hassasiyet (precision), hatırlama (recall) ve F1-puanı açısından ölçülmüştür. Hassasiyet, çağrılan varyantların doğruluğunu nicelendirirken; hatırlama, gerçek varyantların ne kadarının yakalandığını ifade etmektedir. F1-puanı ise bu iki ölçütün harmonik ortalamasıdır. Parametrelerin göreli önemini belirlemek için Tip III varyans analizi (ANOVA) uygulanmış ve çoklu karşılaştırmalar Benjamini–Hochberg yanlış keşif oranı (FDR) yöntemiyle düzeltilmiştir. Performansın genom boyunca tekdüze olup olmadığını incelemek için varyantlar, Genome in a Bottle (GIAB) stratüm bölgelerine göre kategorize edilmiştir. Son olarak, tekil boru hatlarının ötesinde, birden fazla boru hattının çıktılarını birleştiren konsensüs ve topluluk (ensemble) yaklaşımları da değerlendirilmiştir. Sonuçlar, varyant çağırma sonuçlarında önemli bir heterojenlik olduğunu ortaya koymaktadır. Tip III ANOVA analizine göre bu heterojenliğin temel kaynağı varyant çağırıcı seçimidir; bu faktör tek başına F1-puanlarındaki toplam varyansın %57,27'sini açıklamaktadır. Dizileme merkezi %20,59 ile ikinci en büyük katkıyı sağlamıştır. Bu katkı, merkezler arasındaki okuma derinliği (read-depth) ve kütüphane hazırlığındaki farklılıkları yansıtmaktadır. Adaptör trimming işlemi hatırlamayı (recall) 0,717'den 0,800'e önemli ölçüde iyileştirmiştir. Bu iyileşme, hassasiyette (precision) istatistiksel olarak anlamlı bir düşüş olmadan gerçekleşmiştir (FDR-düzeltilmiş p = 0,3318). Baz yeniden kalibrasyonu ise hassasiyeti 0,636'dan 0,699'a yükseltirken, hatırlama oranını %1'den az düşürmüştür. Her iki ön işleme adımı birlikte uygulandığında, genel F1-puanı temel çizgideki (baseline) 0,651 değerinden 0,733'e ulaşmıştır. Tekil boru hattı performansları incelendiğinde, F1-puanlarının konfigürasyona bağlı olarak geniş bir aralıkta değiştiği görülmüştür. Birincil SNP analizine ek olarak, indel (insersiyon ve delesyon) çağırma performansı da hap.py, som.py ve vcfeval gibi referans tabanlı araçlarla değerlendirilmiştir. Indel tespit doğruluğu, tüm konfigürasyonlarda SNP tespitine kıyasla daha düşük ve daha değişken bulunmuştur. Mutect2 tabanlı boru hatları en yüksek indel F1-puanlarını elde ederken, SomaticSniper en düşük indel duyarlılığını göstermiştir. Genomik bölge karmaşıklığı analizi, boru hatlarının genom boyunca tekdüze performans göstermediğini ortaya koymuştur. Segmental duplikasyon bölgelerinde medyan F1-puanı yaklaşık 0,45'e düşerken, duplikasyon içermeyen bölgelerde bu değer yaklaşık 0,83 olarak ölçülmüştür. Benzer şekilde, düşük haritalanabilirliğe sahip bölgelerde medyan F1-puanı yaklaşık 0,47'ye gerilemiştir. Yüksek güvenilirlikli varyantların %25,3'ü bu zor bölgelerde yer almaktadır. Bu bulgu, yalnızca toplam (aggregate) metriklerin raporlanmasının, klinik açıdan önemli ancak zorlu bölgelerdeki güvenilirliği olduğundan fazla gösterebileceğini ortaya koymaktadır. Bireysel boru hattı konfigürasyonları arasında, Bowtie ile Mutect kombinasyonu en yüksek F1-puanını (0,922) elde etmiştir. Daha yüksek doğruluk elde etmek amacıyla, birden fazla boru hattının çıktıları birleştirilmiştir. 34 boru hattının varyant çağrılarını birleştiren bir konsensüs yaklaşımı 0,94'lük bir F1-puanına ulaşmıştır. Ancak bu yaklaşım yüksek hesaplama maliyeti gerektirmektedir. Buna karşılık, en az iki optimal seçilmiş boru hattı kullanan bir topluluk (ensemble) oylama stratejisi 0,926'lık bir F1-puanı elde etmiştir. Bu sonuç, hesaplama gereksinimlerini büyük ölçüde azaltırken konsensüs zirvesinin %1,48'i içinde kalmaktadır. Bu durum, yüksek doğruluğun az sayıda tamamlayıcı boru hattıyla da elde edilebileceğini göstermektedir. Boru hattı seçiminin klinik etkileri, tümör mutasyonel yükü (TMB) analizi ve kanser ile ilaç ilişkili gen varyantlarının tespiti aracılığıyla değerlendirilmiştir. Farklı haritalayıcı–çağırıcı kombinasyonları, aynı örnek için belirgin şekilde farklı TMB tahminleri üretmiştir. Trimming ve baz yeniden kalibrasyonunun birlikte uygulanması bu değişkenliği azaltmıştır. Benzer şekilde, klinik açıdan işlem yapılabilir kanser ve ilaç ilişkili genlerin tespiti de boru hattı konfigürasyonuna bağlı olarak değişmiştir. Bu sonuçlar, hesaplamalı kararların terapötik önerileri doğrudan etkileyebileceğini açıkça göstermektedir. Hesaplama maliyeti analizi, ön işleme adımlarının çalışma süreleri üzerindeki etkisini değerlendirmiştir. Adaptör trimming işlemi, doğruluk açısından sağladığı kazanıma rağmen anlamlı bir hesaplama yükü getirmemiştir. Buna karşılık, baz kalite puanı yeniden kalibrasyonu çalışma sürelerini belirgin şekilde artırmıştır. İki farklı yüksek performanslı hesaplama ortamı arasındaki karşılaştırma ise, hesaplama ortamının varyant çağırma sonuçları üzerinde önemsiz bir etkiye sahip olduğunu göstermiştir. Bu durum, sonuçların donanım ortamından büyük ölçüde bağımsız olarak tekrarlanabilir olduğunu desteklemektedir. Sonuç olarak, bu tezin temel çıktısı, farklı somatik WES boru hattı konfigürasyonlarının aynı girdi verilerinden heterojen varyant listeleri ürettiğidir. Bu heterojenlik, NGS tabanlı klinik genomiğin tutarlılığı açısından ciddi endişelere yol açmaktadır. Heterojenliğin temel sürükleyicisi varyant çağırma algoritması seçimidir. Ön işleme adımları, özellikle adaptör trimming ve baz yeniden kalibrasyonu, ölçülebilir ödünleşimler getirmektedir. Bu ödünleşimler TMB ve klinik olarak işlem yapılabilir mutasyon tespiti gibi klinik sonuçlara da yansımaktadır. Bu bulgulardan hareketle, hesaplama kaynakları sınırlı olduğunda hem trimming hem de baz yeniden kalibrasyonu etkinleştirilmiş BWA-MEM ile Mutect2 kombinasyonu önerilmektedir. Maksimum doğruluk hedeflendiğinde ise en az iki tamamlayıcı boru hattından oluşan bir topluluk yaklaşımı kullanılmalıdır. Bu heterojenliği azaltmak ve NGS tabanlı klinik karar verme süreçlerinin güvenilirliğini sağlamak için sürekli karşılaştırmalı değerlendirme ve boru hattı konfigürasyonlarının şeffaf raporlanması esastır.
Özet (Çeviri)
Next-generation sequencing (NGS) technologies have transformed biomedical research and clinical diagnostics by enabling rapid, high-throughput profiling of genomic material at a fraction of the cost of earlier sequencing methods. Among the various applications of NGS, whole-exome sequencing (WES) has become particularly important for cancer genomics. WES captures the protein-coding regions of the genome---where the majority of disease-causing mutations reside---and is substantially more cost-effective than whole-genome sequencing (WGS). In the context of oncology, somatic variant calling---the computational process of identifying mutations that arise specifically in tumor tissue and are absent from the matched normal tissue of the same patient---serves as the foundation for precision medicine workflows that guide treatment selection, prognostication, and biomarker discovery. The bioinformatics pipelines used to perform somatic variant calling are composed of multiple sequential steps, and at each step researchers must select from a range of competing algorithms and configure their associated parameters. These steps typically include quality-control trimming of raw sequencing reads, alignment (mapping) of reads to a reference genome, handling of PCR duplicate reads, base quality score recalibration (BQSR), and the variant calling step itself. Although a substantial body of literature has examined how the choice of variant calling algorithm affects detection accuracy, far less attention has been paid to the upstream pre-processing steps or to the interactions between different stages of the pipeline. This thesis presents a comprehensive benchmarking study designed to address these gaps. A total of 480 pipeline configurations were constructed by combining six key factors: two mapping algorithms (BWA-MEM and Bowtie2), three variant callers (Mutect2, Strelka2, and SomaticSniper), two trimming options, two base recalibration options, two duplicate handling strategies, and two high-performance computing environments. These configurations were applied to paired tumor--normal WES datasets from five independent sequencing centers provided by the Sequencing Quality Control Phase~2 (SEQC2) consortium. Pipeline outputs were evaluated against the SEQC2 high-confidence variant set containing 1,161 validated single-nucleotide polymorphisms (SNPs). The results reveal substantial heterogeneity in variant calling outcomes driven primarily by the choice of variant caller, which accounted for 57.27\% of the total variance in F1-scores according to a Type~III ANOVA analysis. The sequencing center---which captures inter-center differences primarily driven by variations in read depth and library preparation---was the second largest contributor at 20.59\%. Adapter trimming was found to significantly improve recall, raising it from 0.717 to 0.800, without a statistically significant reduction in precision (FDR-corrected $p = 0.3318$). Base recalibration improved precision from 0.636 to 0.699 while reducing recall by less than 1\%. When both pre-processing steps were applied together, the overall F1-score reached 0.733, compared to 0.651 for the baseline. Importantly, trimming did not introduce meaningful computational overhead, whereas base recalibration increased execution times substantially. Among individual pipeline configurations, Bowtie combined with Mutect achieved the highest F1-score (0.922). A consensus approach combining 34 pipelines achieved the highest F1-score of 0.94. An ensemble voting strategy using as few as two optimally selected pipelines attained an F1-score of 0.926, falling within 1.48\% of the consensus peak while dramatically reducing computational requirements. The clinical implications of pipeline choice were examined through tumor mutational burden (TMB) analysis and the detection of cancer- and drug-associated gene variants, demonstrating that computational decisions directly influence therapeutic recommendations. Specifically, different mapper--caller combinations produced markedly different TMB estimates, and the application of trimming and base recalibration reduced TMB variability. In conclusion, the principal outcome of this thesis is that different somatic WES pipeline configurations yield heterogeneous variant lists from identical input data, raising serious consistency concerns for NGS-based clinical genomics. The choice of variant calling algorithm is the dominant driver of this heterogeneity, while pre-processing steps---particularly adapter trimming and base recalibration---introduce measurable trade-offs that propagate to clinically relevant endpoints such as TMB and actionable mutation detection. Based on these findings, when computational resources are limited, BWA-MEM combined with Mutect2 with both trimming and base recalibration enabled provides the best balance of accuracy and speed; when maximum accuracy is targeted, an ensemble approach consisting of at least two complementary pipelines should be used. Continuous benchmarking and transparent reporting of pipeline configurations are essential to mitigate this heterogeneity and ensure the reliability of NGS-based clinical decision-making.
Benzer Tezler
- Comparative next generation sequencing data analysis
Karşılaştırmalı yeni nesil dizileme verisi analizi
MEHMET ARİF ERGÜN
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET BAYSAN
- Comparative analysis of long-read structural variant calling tools: Benchmarking tools and different combinations for detecting somatic structural variants in whole-genome sequencing data
Uzun okuma yapısal varyant çağırma araçlarının karşılaştırmalı analizi: Tüm genom dizileme verilerinde somatik yapısal varyantları tespit etmek için araçların ve farklı kombinasyonların kıyaslanması
SAFA KEREM AYDIN
Yüksek Lisans
İngilizce
2025
GenetikOrta Doğu Teknik ÜniversitesiMoleküler Biyoloji ve Genetik Ana Bilim Dalı
DOÇ. DR. AHMET ACAR
- Identifying functionally important missense mutations in cancer by dynamics-based analysis and predicting pathogenicity/disease category of missense mutations
Kanserde fonksiyonel öneme sahip yanlış anlam mutasyonların dinamik tabanlı analizle belirlenmesi ve yanlış anlam mutasyonların patojenite/hastalık kategorisinin tahmin edilmesi
JAN FEHMİ SAYILGAN
Doktora
İngilizce
2021
BiyofizikKoç ÜniversitesiHesaplamalı Bilimler ve Mühendislik Ana Bilim Dalı
DOÇ. DR. MEHMET GÖNEN
- Toplam kalite yönetimi ve benchmarking
Başlık çevirisi yok
YONCA ÖZİMER
Yüksek Lisans
Türkçe
1997
İşletmeYıldız Teknik Üniversitesiİşletme Yönetimi Ana Bilim Dalı
PROF. DR. İLKER BİRDAL