Web kazıma için mikroservis tabanlı bir sistem
Microservice-based system for web scraping
- Tez No: 887454
- Danışmanlar: PROF. DR. ERDİNÇ UZUN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Tekirdağ Namık Kemal Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 72
Özet
İnternetin hızla yaygınlaşması, Web verilerinin hem hacminde hem de çeşitliliğinde önemli bir artışa yol açmış ve Web sayfalarından değerli bilgilerin çıkarılması için etkili tekniklerin geliştirilmesini gerektirmiştir. Geleneksel monolitik mimariler Web kazıma için işlevsel olsa da özellikle büyük ölçekli veri çıkarma görevleri için genellikle ölçeklenebilirlik ve sürdürülebilirlik zorluklarıyla karşı karşıyadır. Bu tez, modülerlik, bağımsız ölçeklenebilirlik ve gelişmiş performans için mikro hizmetlerden yararlanarak bu doğal sınırlamaları ele alan Web kazıma için mikro hizmet tabanlı bir sistemin tasarımını ve uygulamasını araştırmaktadır. Önerilen sistem, her biri Web kazıma sürecindeki belirli görevlerden sorumlu olan tarayıcı, API katmanı, kuyruk yöneticisi ve veri depolama kapsayıcıları dahil olmak üzere birden fazla mikro hizmetten oluşmaktadır. Bu mimari, her bir bileşenin bağımsız olarak geliştirilmesini, test edilmesini ve ölçeklendirilmesini kolaylaştırarak genel sistem verimliliğini artırmaktadır. Performans değerlendirmeleri, mikro hizmet tabanlı sistemin yanıt süresi, verim ve kaynak kullanımı açısından geleneksel monolitik mimarilerden önemli ölçüde daha iyi performans gösterdiğini ortaya koymaktadır. Sonuçlar, mikro hizmet yaklaşımının toplam ve ortalama sayfa kazıma sürelerini azalttığını, işlem ve bellek verimliliğini artırdığını ve monolitik sistemlere göre avantajlarını doğruladığını göstermektedir. Bu tez çalışması, Web veri çıkarımının artan taleplerini gelişmiş performans ve kararlılıkla karşılayabilen ölçeklenebilir, sürdürülebilir ve verimli bir mikro hizmet tabanlı sistem sunarak Web veri çıkarımı alanına katkıda bulunmaktadır.
Özet (Çeviri)
The rapid expansion of the Internet has led to a significant increase in both the volume and variety of Web data, necessitating the development of efficient techniques for extracting valuable information from Web pages. Traditional monolithic architectures for Web scraping, while functional, often face scalability and maintainability challenges, especially for large-scale data extraction tasks. This thesis explores the design and implementation of a microservice-based system for Web scraping that addresses these inherent limitations by leveraging microservices for modularity, independent scalability, and improved performance. The proposed system consists of multiple microservices, including the crawler, API layer, queue manager, and data storage containers, each responsible for specific tasks within the Web scraping process. This architecture facilitates independent development, testing, and scaling of each component, thereby improving overall system efficiency. Performance evaluations show that the microservice-based system significantly outperforms traditional monolithic architectures in terms of response time, throughput, and resource utilization. The results show that the microservice approach reduces total and average page scraping times and improves process and memory efficiency, confirming its advantages over monolithic systems. This research contributes to the field of Web data extraction by presenting a scalable, maintainable, and efficient microservice-based system capable of meeting the growing demands of Web data extraction with improved performance and stability.
Benzer Tezler
- Web scraping in ecommerce and designing a blocking prevention method for web scraping
Eticarette web kazıma ve web kazıma için engellemeden kaçınan bir yöntem tasarlanması
ANUAR SAKENOV
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBüyük Veri Analitiği ve Yönetimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SELAMİ BAĞRIYANIK
- Pandemi döneminde Türkiye'de, kargo firmalarına yapılan şikayetlerin makine öğrenmesi yöntemleri ile analizi
During pandemic period in Turkey, analysis the complaints to the cargo companies by machine learning methods
TOLGA KUYUCUK
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ LEVENT ÇALLI
- Machine learning for webpage classification on AI integrated Erasmus web application
Yapay zeka entegrasyonlu Erasmus web uygulamasında web sayfası sınıflandırması için makine öğrenimi
MEHDI MAMMADLI
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SELİN NACAKLI
- Web kazıma ve duygu analizi temelli ürün analiz sistemi
Web scraping and sentiment analysis based product analysis system
GÖKTUĞ YAVUZ
Yüksek Lisans
Türkçe
2023
Yönetim Bilişim SistemleriAksaray ÜniversitesiYönetim Bilişim Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TARIK YILMAZ
- Web kazıma ve makine öğrenmesi yöntemleri kullanılarak fiyat tahminleme: İkinci el araç piyasasında bir örnek
Price prediction using web scraping and machine learning methods: An example in the used car market
SEDA KAHRAMAN
Yüksek Lisans
Türkçe
2023
Mühendislik BilimleriSakarya ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
DOÇ. DR. İHSAN HAKAN SELVİ