Geri Dön

Reproducibility assessment of research code repositories

Araştırma kod depolarının yeniden üretilebilirlik değerlendirmesi

  1. Tez No: 822886
  2. Yazar: EYÜP KAAN AKDENİZ
  3. Danışmanlar: DOÇ. DR. SELMA TEKİR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: İzmir Yüksek Teknoloji Enstitüsü
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 69

Özet

Makine öğrenimi araştırmalarındaki büyümeye, sonuçların tekrar üretilebilirliğinde buna karşılık gelen bir gelişme eşlik etmemiştir. Bu tez, ilişkili GitHub projesinin Readme dosyasının içeriğine dayalı olarak makine öğrenmesi çalışmalarının yeniden üretilebilirliğini değerlendiren yeni, tam otomatik bir uçtan uca sistem sunmaktadır. Bu değerlendirme, popüler depoların analizinden türetilen bir readme şablonuna dayanmaktadır. Şablon, yeniden üretilebilirliği teşvik eden bir yapıyı önerir. Sistemimiz, değerlendirilen her Readme dosyası için bir yeniden üretilebilirlik puanı üretir ve biri bölüm sınıflandırmasına, diğeri hiyerarşik dönüştürücülere dayanan iki farklı model kullanır. Deneysel sonuçlar, bölüm benzerliğine dayalı sistemin hiyerarşik dönüştürücü modelinden daha iyi performans gösterdiğini göstermektedir. Ayrıca, skorların Readme dökümanlarının ilgili bölümleriyle doğrudan ilişkilendirilebilmesi açısından üstün bir açıklanabilirliğe sahiptir. Önerilen çerçeve, kod paylaşımının kalitesini artırmak için önemli bir araç sunmakta ve sonuçta makine öğrenimi araştırmalarında yeniden üretilebilirliğin arttırılmasına yardımcı olmaktadır.

Özet (Çeviri)

The growth in machine learning research has not been accompanied by a corresponding improvement in the reproducibility of the results. This thesis presents a novel, fully-automated end-to-end system that evaluates the reproducibility of machine learning studies based on the content of the associated GitHub project's Readme file. This evaluation relies on a readme template derived from an analysis of popular repositories. The template suggests a structure that promotes reproducibility. Our system generates a reproducibility score for each Readme file assessed, and it employs two distinct models, one based on section classification and the other on hierarchical transformers. The experimental outcomes indicate that the system based on section similarity outperforms the hierarchical transformer model. Furthermore, it has a superior edge concerning explainability, as it allows for a direct correlation of the scores with the respective sections of the Readme files. The proposed framework provides an important tool for improving the quality of code sharing and ultimately helps to increase reproducibility in machine learning research.

Benzer Tezler

  1. Koah hastalarında solunum fonksiyon test kalitesi ile kognitif fonksiyonlar arasındaki ilişkinin incelenmesi

    Pulmonary function tests in copd patients with quality study of the relationship between cognitive functions

    GÜLFEM YILDIRIM

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2014

    Göğüs HastalıklarıSelçuk Üniversitesi

    Göğüs Hastalıkları Ana Bilim Dalı

    DOÇ. DR. BAYKAL TÜLEK

  2. Design of a si-pin based gamma detector used for the assessment of environmental radioactivity

    Çevresel radyasyon seviyesinin ölçümü için kullanılabilecek sı-pın bazlı bir gama dedektörünün tasarımı

    GÖKÇEN TATAROĞLU

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Fizik ve Fizik Mühendisliğiİstanbul Teknik Üniversitesi

    Fizik Mühendisliği Ana Bilim Dalı

    PROF. DR. CENAP ŞAHABETTİN ÖZBEN

  3. Ergenlik dönemindeki Türk bireylerde yüz estetiğinin değerlendirilmesi

    Determination of facial aesthetics in Turkish adolescents

    AHMET FİDANCIOĞLU

    Doktora

    Türkçe

    Türkçe

    2010

    Diş HekimliğiSelçuk Üniversitesi

    Ortodonti Ana Bilim Dalı

    DOÇ. DR. SIDDIK MALKOÇ

  4. Garp linyit işletmelerinde kullanılan çekme kepçeli yerkazarların güvenirlik analizleri

    Reliability analysis of dragline systems used in G.L.İ

    CAN DURU

    Yüksek Lisans

    Türkçe

    Türkçe

    2019

    Maden Mühendisliği ve Madencilikİstanbul Teknik Üniversitesi

    Maden Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HAKAN TUNÇDEMİR

  5. Hizmet sektöründe toplam kalite yönetimi

    Başlık çevirisi yok

    HÜNKAR ŞERİF

    Yüksek Lisans

    Türkçe

    Türkçe

    1998

    İşletmeMarmara Üniversitesi

    Bankacılık Ana Bilim Dalı

    PROF. DR. İ. METE DOĞRUER