Web scraping in ecommerce and designing a blocking prevention method for web scraping
Eticarette web kazıma ve web kazıma için engellemeden kaçınan bir yöntem tasarlanması
- Tez No: 780708
- Danışmanlar: DR. ÖĞR. ÜYESİ SELAMİ BAĞRIYANIK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Büyük Veri Analitiği ve Yönetimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 86
Özet
Modern dünyada yeni teknolojilerin gelişmesi, internet ve büyük veri ortamında çok sayıda alanın gelişmesi için önemli sonuçlar doğurmaktadır. Bu etki ile e-ticaret, yaygın olarak kullanılan ve gelecekteki kararlar için analiz edilebilecek büyük miktarda büyük veriye sahip bir çevrimiçi kaynak haline gelmektedir. Web kazıma teknolojisi, verileri çevrimiçi platformlardan edinmek için kullanılır. Bu çalışmada bir web kazıyıcı oluşturulmuştur. Türkiye'nin en popüler ve önde gelen e-ticaret web sitelerinden birisi, bu çalışmada önerilen web veri kazıma yönteminin testi için kullanılmıştır. Web veri kazıma yardımıyla iş süreçleri, müşteri davranışları, tercihleri ve ürünlere olan talepleri takip edilebilir. Bununla birlikte, çevrimiçi platformlar, web kazıma uygulamalarını engelleyen mekanizmalara sahiptir. Bu nedenle, oluşturulan web kazıyıcılar engellenmekle karşı karşıya kalmaktadır. Bu araştırma çalışmasının katkısı, aşamalı olarak üç algoritmadan oluşan ve“Hibrit insansı kazıyıcı”olarak adlandırılan blokajı önlemek için bir yöntem oluşturmaktır. Öncelikle, engellenmeyen ancak inceleme kısmı olmayan ilk algoritma tanıtılmıştır. Ardından düşük ve yüksek frekans algoritması inceleme bölümü ile tanıtılmıştır. Düşük frekansı kullanarak, web kazıyıcı verileri başarıyla alınmıştır. Ancak yüksek frekanslı kazıyıcı bloke edilmiştir. Son olarak, üçüncü algoritma eklenerek yüksek frekans kullanmak ve e-ticaret platformunda IP adreslerini değiştirerek web veri kazıma engellemesi ile karşılaşmamak mümkün olmuştur. Web Veri Kazıma ve algoritmalar kullanılarak etik ve yasal standartlara da uygun şekilde web platformunda web veri kazıma blokajının önüne geçilmiştir.
Özet (Çeviri)
The development of new technologies in the modern world has great consequences for the development of numerous areas in Internet and in big data environment. With this affect e-commerce has become a great online source that is widely used and has huge amount of big data, which can be analysed for future decisions. Web scraping technology is used to scrape the data from online platforms. In this study, a web scraper was created. One of the most popular and leading e-commerce web site in Turkey was taken for testing the web scraper. With the help of web scraping, you can track business processes, customer behaviour, their preferences and demand for the goods. However, online platforms have a blocking mechanism that blocks web scraping programs. That is why, the created scraper also faced blocking. Therefore, contribution to this research work was creating a method to prevent blocking, which consists of three algorithms and called“Hybrid humanoid scraper”. The first algorithm was introduced, which was not blocked, but did not have a review part. After that, the second low and high frequency algorithm was introduced with a review part. By using the low frequency, the web scraper retrieved data successfully. However, with high frequency scraper was blocked. Finally, it was possible to use a high frequency by adding the third algorithm and bypass the blocking of web scraping by changing IP addresses on the e-commerce platform. By using web scraping and algorithms to prevent web scraping blocking on the web platform, ethical and legal standards were not violated.
Benzer Tezler
- Makine öğrenmesi yaklaşımı ile e-ticaret sitesi uygulamalarının müşteri yorumlarına yönelik duygu analizi
Sentiment analysis of customer comments of e- commerce site applications with a machine learning approach
FATMA YILMAZ
Yüksek Lisans
Türkçe
2024
Yönetim Bilişim SistemleriHaliç ÜniversitesiYönetim Bilişim Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ GÖKÇE KARAHAN ADALI
- Web kazıma ve makine öğrenmesi yöntemleri kullanılarak fiyat tahminleme: İkinci el araç piyasasında bir örnek
Price prediction using web scraping and machine learning methods: An example in the used car market
SEDA KAHRAMAN
Yüksek Lisans
Türkçe
2023
Mühendislik BilimleriSakarya ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
DOÇ. DR. İHSAN HAKAN SELVİ
- Detecting flemish innovative companies using web scraping
Başlık çevirisi yok
NUSRET İPEK
Yüksek Lisans
İngilizce
2021
İstatistikKatholieke Universiteit Leuven (Catholic University of Leuven)PROF. JAN DE SPİEGELEER
- Web kazıma için mikroservis tabanlı bir sistem
Microservice-based system for web scraping
BURAK SEVİNÇ
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTekirdağ Namık Kemal ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ERDİNÇ UZUN
- Web kazıma ve duygu analizi temelli ürün analiz sistemi
Web scraping and sentiment analysis based product analysis system
GÖKTUĞ YAVUZ
Yüksek Lisans
Türkçe
2023
Yönetim Bilişim SistemleriAksaray ÜniversitesiYönetim Bilişim Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TARIK YILMAZ