Deep learning for game genre classification from game posters
Derin öğrenme ile oyun afişlerinden oyun türü sınıflandırması
- Tez No: 916203
- Danışmanlar: PROF. DR. SANEM SARIEL UZER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Bilim ve Teknoloji, Computer Engineering and Computer Science and Control, Science and Technology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Oyun ve Etkileşim Teknolojileri Ana Bilim Dalı
- Bilim Dalı: Oyun ve Etkileşim Teknolojileri Bilim Dalı
- Sayfa Sayısı: 81
Özet
Bu tez çalışmasında, derin öğrenme tabanlı modeller kullanılarak video oyunlarının türlerinin sınıflandırılması hedeflenmiştir. Çalışma kapsamında, Keras kütüphanesindeki ResNet50V2 ve InceptionV3 modelleri temel alınarak geliştirilen modeller kullanılmıştır. Bu modeller, Steam platformundan alınan oyun poster görüntüleri ve oyun yayıncıları tarafından belirlenen tür etiketleri ile eğitilmiştir. Ayrıca, seçilen bir oyuncu grubunun oyunları türlerine göre sınıflandırdığı bir çevrimiçi anket düzenlenmiştir. Bu anket aracılığıyla elde edilen veriler, hem insan katılımcıların hem de derin öğrenme modelinin görsel içeriklerden tür çıkarımında bulunma yeteneklerini karşılaştırmak için kullanılmıştır. Sonuçlar, anket katılımcılarının bu görevi ResNet50V2 ile geliştirilen modelden daha başarılı bir şekilde yerine getirdiğini ve InceptionV3 ile geliştirilen modelle benzer sonuçlar verdiğini göstermiştir. Oyun endüstrisi, hızla büyüyen ve sürekli gelişen bir alandır. Oyunların türlerine göre sınıflandırılması, oyunculara uygun içerik sunma ve pazarlama stratejilerinin belirlenmesi açısından büyük önem taşımaktadır. Bu bağlamda, oyun poster görsellerinin analizi ve bu görsellerden tür çıkarımı, hem oyuncular hem de geliştiriciler için değerli bilgiler sunabilir. Bu tez çalışmasında, oyun poster görsellerinin derin öğrenme teknikleri kullanılarak türlerine göre sınıflandırılması amaçlanmıştır. Çalışma, hem akademik literatüre katkı sağlamakta hem de pratik uygulamalar için önemli çıkarımlar sunmaktadır. Araştırmada, Steam platformundan elde edilen oyun poster görselleri ve bu oyunların yayıncılar tarafından belirlenen tür etiketleri kullanılmıştır. Model eğitimi için, derin öğrenme modelleri arasında yaygın olarak kullanılan ve başarılı sonuçlar veren ResNet50V2 ve InceptionV3 modelleri tercih edilmiştir. Modeller, Keras kütüphanesi kullanılarak geliştirilmiştir. Eğitim sürecinde, veri seti belirli oranlarda eğitim ve test setlerine bölünmüştür. Eğitim seti, modellerin öğrenmesi için kullanılırken, test seti modellerin genel performansını değerlendirmek için ayrılmıştır. İkinci bir test seti olarak kullanmak üzere bin oyundan oluşan ayrı bir veri seti de çalışmanın başında ayrıca belirlenmiştir. Eğitim süreci boyunca, modellerin performansını artırmak için çeşitli hiperparametre ayarlamaları yapılmıştır. Bu ayarlamalar, öğrenme oranı, epoch sayısı ve mini-batch boyutu gibi parametreleri kapsamaktadır. Ayrıca, modellerin aşırı öğrenme (overfitting) sorununu önlemek amacıyla dropout ve erken durdurma (early stopping) teknikleri uygulanmıştır. Bunun yanı sıra, insan katılımcıların oyunları türlerine göre nasıl sınıflandırdığını anlamak için bir çevrimiçi anket düzenlenmiştir. Ankete on dokuz katılımcı dahil edilmiştir. Katılımcılara, rastgele seçilen oyun görselleri gösterilmiş ve bu oyunları belirli türlere göre sınıflandırmaları istenmiştir. Anket sonuçları, modellerin performansını insan performansı ile karşılaştırmak için kullanılmıştır. Katılımcılar çeşitli üniversitelerin oyun kulüplerinde faaliyet gösteren öğrenciler arasından seçilmiştir. Anket katılımcılarının verdikleri cevaplar baz alınarak oyun görselleri yeniden gruplandırılmış ve türlere özel oyun görseli üretebilen stable diffusion 1.0 modelini baz alan yeni modeller oluşturulmuştur. Devamında bu modeller kullanılarak hayali oyunlar için örnek görseller üretilmiş ve yeni bir anketle aynı katılımcı havuzundan insanlardan görsellerle türleri eşleştirmeleri istenmiştir. İlk anketten farklı olarak geri bildirimler çerçevesinde oyun geliştirici ekibin kurumsal yapısını tanımlayan bağımsız oyun türü ve oyunun kompleksitesini tanımlayan gündelik oyun türü çalışmadan çıkarılmıştır. Araştırmanın bulguları, belirli türlerin diğerlerine göre daha yüksek doğruluk oranları ile tahmin edildiğini göstermektedir. Özellikle,“bağımsız”ve“aksiyon”türlerinin tahmin skorlarının“RPG”ve“strateji”türlerine göre daha yüksek olduğu belirlenmiştir. Bu farklılık, hem anket sonuçlarında hem de modelin performansında gözlemlenmiştir.İnsan katılımcıların türler arasında yaptıkları tahminler daha az varyasyon gösterirken, ResNet50V2 modelinin düşük performansı veri setinde türlerin farklı oranlarda bulunmasına bağlanabilir. Bu nedenle, özellikle RPG ve strateji türleri için daha geniş ve çeşitli bir veri seti kullanılarak modelin performansının artırılabileceği öne sürülmüştür. ResNet50V2 kullanılan modeldeki tutarsızlık, problemin yapısından veya veri setinin boyutundan kaynaklanıyor olabilir. Bu nedenle, her tür için aynı sayıda veriyle ve sadece bir türe ait oyunların görselleri kullanılarak iki model daha eğitilmiştir. ResNet50V2 tabanlı yeni model çoğu türde düşük performans göstermiş ve veri kümesini ve problem formatını değiştirmenin performans üzerinde fark edilebilir bir etkisi olmadığı görülmüştür. Bununla birlikte, InceptionV3 kullanılarak oluşturulan model, özellikle RPG türünde \%82'lik bir başarı oranı ve \%52'lik bir genel doğruluk ile kayda değer gelişmeler göstermiştir. Bu bulgular, InceptionV3'ün bu çalışma için ResNet50V2'den daha iyi performans gösterdiğini ve daha etkili bir araç olduğunu ortaya koymaktadır. Anket katılımcıları ile ResNet50V2 kullanılan modelin performansı karşılaştırıldığında, katılımcıların türleri ayırt etme konusunda daha başarılı olduğu görülmüştür. Özellikle, aksiyon ve indie türlerinde modeller ve katılımcılar arasında yüksek uyum sağlanırken, RPG ve strateji türlerinde bu uyum daha düşük seviyede kalmıştır. Bu durum, RPG ve strateji oyunlarının tanımındaki belirsizlikten bir başka deyişle bu türlerin tanımının daha geniş olmasından kaynaklandığı öngörülmektedir. Modellerin ve anket katılımcılarının performansını daha detaylı incelemek amacıyla, ResNet50V2 kullanılan modelin iyi ve kötü performans gösterdiği oyunlar iki gruba ayrılmıştır. Aksiyon, macera, indie ve gündelik oyun türlerinin iyi performans gösteren grupta daha belirgin olduğu ortaya koyulmuştur. Kötü performans gösteren gruptaki görsellerin genellikle sadece basit bir arka plan üzerinde yazılmış oyun isminden oluştuğu ve bu görsellerin genel olarak hiçbir türe işaret edecek nitelikler taşımadığı görüşü ortaya çıkmıştır. Bu durum, modelin“tasarım geri bildirimi sağlama”kullanım durumu için olumlu bir sonuç olarak değerlendirilebilir. Yani, oyun geliştiricileri oyun poster görsellerinin tasarımını iyileştirmek için modelin çıktılarından faydalanabilirler. Ayrıca, modelin ve anket katılımcılarının aynı türleri işaretlediği ancak bu türlerin Steam platformundaki resmi oyun türleri ile eşleşmediği durumlar da tespit edilmiştir. Bu durum, modelin“tür doğrulama”kullanım durumu için de uygun olduğunu göstermektedir. Oyun yayıncılarının belirlediği tür etiketleri ile modelin ve katılımcıların etiketleri arasında uyumsuzluk olduğunda, bu model oyunların türlerini yeniden değerlendirip doğrulamak için kullanılabilir. İkinci anketin sonuçları ilk anketin sonuçlarına benzer sonuçlar göstermiştir. Türlere göre eğitilmiş görsel üretme modeli baz modelle karşılaştırıldığında tür bazlı modelin türünün tahmin edilebilirliği daha yüksek görseller ürettiği görülmüştür. Bu çalışmada elde edilen sonuçlar, oyun türlerinin belirlenmesinde sabit bir standardın olmadığını göstermektedir. Bu sorunun üstesinden gelmek ve oyunlar arasındaki gizli ilişkileri bulmak için gelecekte denetimsiz sınıflandırma çalışmaları yapılması önerilmektedir. Bu tür çalışmalarda, oyunlar herhangi bir tür etiketi olmaksızın kümeler halinde gruplandırılabilir ve bu kümelerin tutarlılığı incelenebilir. Böylece, oyunların doğal olarak hangi gruplara ayrıldığı ve bu grupların hangi özelliklere dayandığı daha net bir şekilde ortaya konulabilir. ResNet50V2 modelinin düşük performansı, veri setinin boyutu ve çeşitliliği ile sınırlı olabilir. Daha geniş ve çeşitli bir veri seti ile çalışıldığında, özellikle belirsiz türlerde modelin performansı artırılabilir. Ayrıca, modelin eğitim sürecinde kullanılan hiperparametreler ve mimari iyileştirmeler de performansın artırılmasında önemli rol oynayabilir. Araştırmanın bir diğer önemli bulgusu, insan katılımcıların oyun türlerini sınıflandırmadaki başarısıdır. İnsanların oyun türlerini daha doğru sınıflandırması, onların oyunlar hakkında daha geniş bir bilgi ve deneyime sahip olmasından kaynaklanabilir. İnsanlar, oyunları sadece görsellerine bakarak değil, aynı zamanda görsellerdeki yazıları dikkate alarak sınıflandırabilirler. Bu durum, modellerin performansını iyileştirmek için çalışmaya yeni bir boyut olarak metin tanıma ve bu metni de bir parametre olarak kullanma fonksiyonu eklemeyi geliştirilebilir bir nokta olarak işaret etmektedir. Bu çalışma, aynı zamanda oyun poster görsellerinin tasarımının oyunların tanıtımında ve pazarlamasında ne kadar önemli olduğunu da göstermektedir. Basit ve anlaşılmaz görseller, hem modelin hem de insanların tür tahminlerini zorlaştırmaktadır. Bu nedenle, oyun geliştiricileri ve yayıncıları, poster görsellerinin tasarımına daha fazla özen göstermelidir. Daha net, çekici ve bilgilendirici görseller, hem oyuncuların ilgisini çeker hem de türlerin doğru bir şekilde anlaşılmasına yardımcı olur. Sonuç olarak, öneri sistemlerinde oyun türlerine dayalı önerilerde derin öğrenme modellerinin kullanılması, öneri sisteminin performansını ve oyuncu memnuniyetini artırabilir. Örneğin, bir oyuncu belirli bir türde oyunlar oynamayı seviyorsa, bu model o türdeki diğer oyunları daha doğru bir şekilde önerebilir. Ayrıca, bu tez çalışması, oyun görsellerinin türleri yansıtma gücünü ve türlerin doğru bir şekilde belirlenmesindeki zorlukları ortaya koyarak, oyun geliştirme ve pazarlama süreçlerine de önemli katkılar sağlamaktadır. Oyun geliştiricileri, oyunlarının türünü belirlerken veya oyunlarını pazarlarken bu modelin çıktılarından faydalanabilirler. Böylece, hem oyunların hedef kitleye daha doğru bir şekilde ulaşması sağlanabilir hem de oyuncu deneyimi iyileştirilebilir. Bu çalışma ve önceki çalışmalar arasında dikkat çekici bir nokta, oyun türlerinin belirlenmesinde sabit bir standardın olmamasıdır. Bu sorunu aşmak ve oyunlar arasında gizli ilişkiler bulmak için gelecekte denetimsiz sınıflandırma çalışmaları yapılabilir ve türler isimlendirilmeden kümeler halinde gruplandırılarak bu kümelerin tutarlılığı incelenebilir. Son olarak, modelin çıktılarının oyun geliştiricilerine tasarım geri bildirimi sağlamada kullanılması, oyun görsellerinin tasarımını iyileştirmede önemli bir rol oynayabilir. Bu şekilde, oyun poster görsellerinin daha çekici ve anlaşılır hale getirilmesi, oyunların pazarlanmasında ve oyuncu çekmede önemli avantajlar sağlayabilir.
Özet (Çeviri)
This thesis aims to classify the genres of video games using a deep learning based model. The models, which were developed based on the ResNet50V2 and InceptionV3 architectures in the Keras library, were trained with game capsule images taken from the Steam platform and genre labels determined by game publishers. In addition, an online survey was conducted in which a group of participants classified games according to their genres. The results were used to comparatively evaluate the ability of both human participants and deep learning models to infer genres from the image content. The survey participants performed this task with more success than the ResNet50V2 model. Among the genres analyzed, it was observed that the prediction scores of the“indie”and“action”genres were higher than the“RPG”and“strategy”genres. This difference was also observed when the survey results were compared with the performance of the model using ResNet50V2. While the predictions made by survey participants show less variation between genres, the low performance of the ResNet50V2 model can be attributed to the different proportions of genres in the dataset. Therefore, it is recommended that the study be repeated with a more extensive data set, especially for these species. The variation in the survey results may be due to the ambiguity in the definition of RPG and strategy games or, in other words, the broader definition of these genres. The discrepancy in the ResNet50V2 model could be caused by the problem's structure or dataset size. Consequently, we trained two more models with the same number of data for every genre and one genre for every game. Again the ResNet50V2-based model performed poorly across most genres, and changing the dataset and issue format had no considerable effect on performance. Nonetheless, the model constructed using InceptionV3 demonstrated noteworthy advancements, especially with an RPG success rate of 82\% and an overall accuracy of 52\%. These findings imply that InceptionV3 outperforms ResNet50V2 in this challenge, suggesting that it is a more effective design. When the games that the ResNet50V2 model and the survey participants performed well and poorly were divided into two groups, it was observed that action, adventure, indie and casual game genres were more prominent in the well-performed group. It was stated that the images in the poorly performed group usually consisted of only the game name written on a simple background and that the common opinion that these images were incomprehensible was a positive result for the“providing design feedback”use case of the model. Likewise, the occurrence of cases where the model and survey participants marked the same genres but did not match the game genres on the Steam platform indicates that the model can be used for the“genre validation”use case. A noteworthy point between this study and previous studies is that there is no fixed standard for determining game genres. To overcome this problem and to find hidden relationships between games, unsupervised classification studies can be carried out in the future, and genres can be grouped into clusters without naming them, and the consistency of these clusters can be examined. Based on the responses from survey participants, the game images were reclassified, and new models capable of generating genre-specific game images were created using the stable diffusion 1.0 model. Subsequently, these models were employed to generate sample images for imaginary games, and a new survey was conducted. In this survey, the same pool of participants was asked to match the images with the corresponding genres. Unlike the initial survey, the independent game genre, which defines the organizational structure of the game developer team, and the casual game genre, which describes the complexity of the game, were excluded from this study based on the feedback received. The results of the second survey were similar to those of the first survey. When compared to the base model, the genre-specific image generation model produced images with higher genre predictability. As a result, using a deep learning models in recommendation systems based on game genres will improve the performance of the recommendation system and genre-specific image generation model has potential to assist designers. This thesis study contributes to game development and marketing processes by revealing the power of game images to reflect genres and the difficulties in accurately determining genres.
Benzer Tezler
- Real-time emotion recognition from EEG signals using one electrode device
Tek elektrotlu cihaz ile EEG sinyallerinden gerçek zamanlı duygu tanıma
MEHMET ALİ SARIKAYA
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. GÖKHAN İNCE
- Generative adversarial networks based level generation for angry birds
Çekişmeli üretici ağlar ile angry birds bölümlerinin üretilmesi
BURKAN YILMAZ
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiOyun ve Etkileşim Teknolojileri Ana Bilim Dalı
DOÇ. DR. SANEM SARIEL UZER
- Derin öğrenme tabanlı dijital oyun test sistemi tasarımı
Deep learning based digital game test system design
MEHMET SAVRAN
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HASAN BULUT
- Özel yetenekli öğrencilerin yaratıcı problem çözme becerilerinin değerlendirilmesine yönelik derin öğrenme tabanlı oyunun geliştirilmesi
Development of a deep learning-based game for assessing gifted students' creative problem-solving skills
NURAN HOŞ ERCİN
Doktora
Türkçe
2024
Eğitim ve ÖğretimTrabzon ÜniversitesiMatematik ve Fen Bilimleri Eğitimi Ana Bilim Dalı
PROF. DR. TUNCAY ÖZSEVGEÇ
- Oyun karakteri üretimi için üretken modeller
Generative models for game character generation
FERDA GÜL AYDIN EMEKLİGİL
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiOyun ve Etkileşim Teknolojileri Ana Bilim Dalı
DOÇ. DR. İLKAY ÖKSÜZ