Synthetic respondents: evaluating large language models as substitutes for human survey participants
Sentetik katılımcılar: büyük dil modellerinin insan anket katılımcılarına alternatif olarak değerlendirilmesi
- Tez No: 1000883
- Danışmanlar: DOÇ. DR. ENİS KAYIŞ
- Tez Türü: Yüksek Lisans
- Konular: Endüstri ve Endüstri Mühendisliği, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, İstatistik, Industrial and Industrial Engineering, Computer Engineering and Computer Science and Control, Statistics
- Anahtar Kelimeler: Benzetim, Dil modelleri, Survey, İnsan-yapay zeka etkileşimi, İstatistiksel analiz, İstatistiksel modeller, Simulation, Language models, Survey, Human-artificial intelligence interaction, Statistical analysis, Statistical models
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Özyeğin Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Veri Bilimi Ana Bilim Dalı
- Bilim Dalı: Veri Bilimi Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, geleneksel veri toplama süreçlerindeki artan maliyet ve yanlılık sorunlarına bir çözüm arayışı olarak Büyük Dil Modellerini (LLM) anketlerdeki“sentetik katılımcılar”rolüyle değerlendirmektedir. Çalışma kapsamında Dünya Değerler Araştırması'nın (WVS) 7. dalgasından alınan 10.000 profil kullanılarak, on farklı LLM, güvenle ilgili yedi soruyu yanıtlamaya yönlendirilmiştir. LLM performansı; tam eşleşme doğruluğu, ortalama mutlak hata, dağılımsal sapma ve değişken önemlerinin uyumu metrikleri üzerinden, gerçek insan yanıtları ve gözetimli makine öğrenmesi modelleriyle karşılaştırılarak analiz edilmiştir. Bulgular, LLM tahminlerinin rastlantısal eşiğin üzerinde doğruluk gösterdiğini, ancak gözetimli makine öğrenmesi modellerinin gerisinde kalabildiğini göstermektedir. Hatalar yönsel olarak tutarlı olsa da, sapma testleri LLM'lerin baskın görüşleri aşırı temsil ederek ve azınlık perspektiflerini bastırarak ve bir“çoğunluk sınıfa saplanma”sergilediğini ortaya koymaktadır. Ayrıca, her ne kadar hem insan yanıtları üzerinde eğitilmiş makine öğrenmesi modellerinin hem de LLM çıktıları üzerinde eğitilmiş olanların Hükümet Etkinliği, İnsani Gelişmişlik Endeksi, Gayrisafi Yurt İçi Hasıla gibi makro göstergelere öncelik verdiği görülse de, ilk grubun aynı zamanda etnik köken ve dil gibi kültürel kimliğe ilişkin özelliklere önem verdiği, ikinci grubun ise gelir ve sosyal sınıf gibi sosyoekonomik faktörleri baz aldığı gözlemlenmiştir. Sonuç olarak LLM'ler, genel demografik eğilimleri yakalayan ancak detaylı sosyal araştırmalar için gereken heterojenliği yansıtamayan“ortalama temsilciler”olarak işlev görmektedir. Çalışma, keşifsel çalışmalar için vaat edici olsalar da incelenen LLM'lerin; azınlık veya kültürlerarası perspektifler için temsil doğruluğu gerektiren bağlamlarda insan verisinin yerini tutmak için henüz yeterli olmadığını göstermektedir.
Özet (Çeviri)
This thesis evaluates Large Language Models (LLMs) as“synthetic participants”in opinion surveys, addressing rising costs and biases in traditional data collection. Using 10,000 profiles from Wave 7 of the World Values Survey, ten LLM architectures were prompted to respond to seven trust-related questions. Performance was assessed via exact-match accuracy, mean absolute error (MAE), distributional divergence, and feature importance alignment, comparing LLM outputs to actual human participants and supervised machine learning models. Findings show that LLMs achieve a predictive accuracy that outperforms chance but lags behind specifically-trained supervised models. While errors were directionally accurate, divergence tests revealed a consistent“majority class fixation,”where LLMs overrepresented dominant views and suppressed minority perspectives. Furthermore, while both machine learning models trained on human responses and those trained on LLM outputs rely on macro-institutional indicators, the first group is further shaped by cultural identity (ethnicity, language), whereas the second group relies on socio-economic status (income, social class). Consequently, LLMs function as“global average smoothers”—capturing broad trends but failing to replicate the heterogeneity required for high-fidelity social research. While promising for exploratory studies, LLMs remain an inappropriate substitute for human data in contexts requiring representational accuracy for minority or cross-cultural viewpoints.
Benzer Tezler
- 1,3-difenil-4,5-bis(hidroksiimino)-imidazolidin ve Ni(II), Cu(II), Pd(II), UO2(VI) komplekslerinin sentezi
Başlık çevirisi yok
VEFA AHSEN
- Çiğit ve ayçiçek yağlarının doğal antioksidan içerikleri ile bu yağların stabilitelerinin arttırılmaları üzerinde araştırmalar
Başlık çevirisi yok
ALİ KEMAL YALNIZ
- The Effects of the chomskyan revolution in linguistics on language teaching
Başlık çevirisi yok
BANU KARAHAN
- Bira ve alkol üretiminde kullanılan bazı enzimlerin mikrobiyal yolla eldesi
Başlık çevirisi yok
HÜSEYİN ÜSTÜNES
