Synthetic respondents: evaluating large language models as substitutes for human survey participants
Sentetik katılımcılar: büyük dil modellerinin insan anket katılımcılarına alternatif olarak değerlendirilmesi
- Tez No: 1000883
- Danışmanlar: DOÇ. DR. ENİS KAYIŞ
- Tez Türü: Yüksek Lisans
- Konular: Endüstri ve Endüstri Mühendisliği, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, İstatistik, Industrial and Industrial Engineering, Computer Engineering and Computer Science and Control, Statistics
- Anahtar Kelimeler: Benzetim, Dil modelleri, Survey, İnsan-yapay zeka etkileşimi, İstatistiksel analiz, İstatistiksel modeller, Simulation, Language models, Survey, Human-artificial intelligence interaction, Statistical analysis, Statistical models
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Özyeğin Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Veri Bilimi Ana Bilim Dalı
- Bilim Dalı: Veri Bilimi Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, geleneksel veri toplama süreçlerindeki artan maliyet ve yanlılık sorunlarına bir çözüm arayışı olarak Büyük Dil Modellerini (LLM) anketlerdeki“sentetik katılımcılar”rolüyle değerlendirmektedir. Çalışma kapsamında Dünya Değerler Araştırması'nın (WVS) 7. dalgasından alınan 10.000 profil kullanılarak, on farklı LLM, güvenle ilgili yedi soruyu yanıtlamaya yönlendirilmiştir. LLM performansı; tam eşleşme doğruluğu, ortalama mutlak hata, dağılımsal sapma ve değişken önemlerinin uyumu metrikleri üzerinden, gerçek insan yanıtları ve gözetimli makine öğrenmesi modelleriyle karşılaştırılarak analiz edilmiştir. Bulgular, LLM tahminlerinin rastlantısal eşiğin üzerinde doğruluk gösterdiğini, ancak gözetimli makine öğrenmesi modellerinin gerisinde kalabildiğini göstermektedir. Hatalar yönsel olarak tutarlı olsa da, sapma testleri LLM'lerin baskın görüşleri aşırı temsil ederek ve azınlık perspektiflerini bastırarak ve bir“çoğunluk sınıfa saplanma”sergilediğini ortaya koymaktadır. Ayrıca, her ne kadar hem insan yanıtları üzerinde eğitilmiş makine öğrenmesi modellerinin hem de LLM çıktıları üzerinde eğitilmiş olanların Hükümet Etkinliği, İnsani Gelişmişlik Endeksi, Gayrisafi Yurt İçi Hasıla gibi makro göstergelere öncelik verdiği görülse de, ilk grubun aynı zamanda etnik köken ve dil gibi kültürel kimliğe ilişkin özelliklere önem verdiği, ikinci grubun ise gelir ve sosyal sınıf gibi sosyoekonomik faktörleri baz aldığı gözlemlenmiştir. Sonuç olarak LLM'ler, genel demografik eğilimleri yakalayan ancak detaylı sosyal araştırmalar için gereken heterojenliği yansıtamayan“ortalama temsilciler”olarak işlev görmektedir. Çalışma, keşifsel çalışmalar için vaat edici olsalar da incelenen LLM'lerin; azınlık veya kültürlerarası perspektifler için temsil doğruluğu gerektiren bağlamlarda insan verisinin yerini tutmak için henüz yeterli olmadığını göstermektedir.
Özet (Çeviri)
This thesis evaluates Large Language Models (LLMs) as“synthetic participants”in opinion surveys, addressing rising costs and biases in traditional data collection. Using 10,000 profiles from Wave 7 of the World Values Survey, ten LLM architectures were prompted to respond to seven trust-related questions. Performance was assessed via exact-match accuracy, mean absolute error (MAE), distributional divergence, and feature importance alignment, comparing LLM outputs to actual human participants and supervised machine learning models. Findings show that LLMs achieve a predictive accuracy that outperforms chance but lags behind specifically-trained supervised models. While errors were directionally accurate, divergence tests revealed a consistent“majority class fixation,”where LLMs overrepresented dominant views and suppressed minority perspectives. Furthermore, while both machine learning models trained on human responses and those trained on LLM outputs rely on macro-institutional indicators, the first group is further shaped by cultural identity (ethnicity, language), whereas the second group relies on socio-economic status (income, social class). Consequently, LLMs function as“global average smoothers”—capturing broad trends but failing to replicate the heterogeneity required for high-fidelity social research. While promising for exploratory studies, LLMs remain an inappropriate substitute for human data in contexts requiring representational accuracy for minority or cross-cultural viewpoints.
Benzer Tezler
- Tehlikeli maddelerin çevresel risk değerlendirmesi
Başlık çevirisi yok
TUNCEL SUNAR
Yüksek Lisans
Türkçe
1998
Çevre Mühendisliğiİstanbul Teknik ÜniversitesiÇevre Mühendisliği Ana Bilim Dalı
PROF. DR. İLHAN TALINLI
- Evaluating habitability of affordable housing projects in Nairobi-Kenya
Naırobı - Kenya'da uygun konut projelerinin yaşanabilirliğinin değerlendirilmesi
VALERIO MUSIITWA
- İmalat performansının değerlendirilmesi : Türkiye sanayi işletmelerinde bir alan araştırması
Evaluation of manufacturing performance: A field study in Turkish industrial enterprises
ARZU KARAMAN
Doktora
Türkçe
2009
İşletmeİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
PROF. DR. SITKI GÖZLÜ
- Bilgi transfer rotalarının ürün tasarım performansına etkisi
The effect of knowledge transfer routes on product design performance
OKŞAN İMAMOĞLU
Doktora
Türkçe
2017
İşletmeİstanbul Teknik Üniversitesiİşletme Mühendisliği Ana Bilim Dalı
PROF. DR. SITKI GÖZLÜ
PROF. DR. MEHMET BÜLENT DURMUŞOĞLU
- Examining the effects of sequentialpolyhedron visibility on wayfinding and evacuation
Yol bulma ve tahliye üzerinde polihedron görünürlüğünün sıralı etkilerinin incelenmesi
UZAY TOPAL
