The development of mod_antiCrawl: An anti crawler add-on module for apache web servers
mod_antiCrawl: Apache web sunucusu için internet robotu engelleyici eklenti modülü geliştirilmesi
- Tez No: 301666
- Danışmanlar: PROF. DR. M. UFUK ÇAĞLAYAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Mühendislik Bilimleri, Computer Engineering and Computer Science and Control, Engineering Sciences
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2012
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 51
Özet
İngilizcede crawler diye adlandırılan İnternet Robotu yazılımları bir web sayfasındaki tüm bağlantıları gezerek bu sitenin haritasını çıkartan otomatikleştirilmiş yazılımlardır. Bir web sitesinin haritasının çıkartılması, o siteye yapılacak bir saldırı için temel teşkil edeceğinden otomatikleştirilmiş saldırılar için büyük önem taşımaktadır. Bu yüzdendir ki otomatik web açıklık tarayıcılarının hepsi, taramaya başlamadan önce mutlaka sitenin haritasını çıkartmak için bağlantı keşfi işlemi (crawling) gerçekleştirir. İnternet robotları, otomatik web açıklık taramalarına temel olmak dışında, içerik hırsızlığı için de sıkça kullanılmaktadır. Otomatikleştirilmiş bir şekilde bir sitenin tüm içeriğinin sayfa sayfa gezilerek başka bir web sitesine kopyalanması konusunda internet robotları büyük rol oynamaktadır.Bu tezde web sunucular için internet robotlarına karşı bağlantı keşfi önleyici yöntemleri içeren internet robotu engelleyici modülü geliştirilmiştir. mod_antiCrawl C dili ve Apache API'si kullanılarak yazılmış bir Apache modülüdür. mod_antiCrawl'ın internet robotu yakalama ve engelleme yetenekleri sayesinde sunucular, zararlı robot yazılımlardan korunmaktadır. Yapılan performans değerlendirme ölçümlerinde, modül aktif konuma getirildikten sonra internet robotlarının elde edebildikleri bulgu sayısında en az %70'lik bir düşüş sağlandığı görülmüştür. Bu oran mod_antiCrawl içerisindeki internet robotı karakteristiğine daha uygun fonskiyonların da yardımıyla %90 seviyesine çıkabilmektedir.
Özet (Çeviri)
A web crawler can be defined as automated software that extracts website maps by visiting all the links in a website. Website map extraction process can be used to build a basis for a web attack. Hence, crawling plays an important role in automated attacks. The most automated vulnerability scanners perform crawling before vulnerability tests in order to determine overall map and attack surface. Besides automated scanning features, crawlers can also be used for content theft. By utilising a crawler, one can copy all the pages and content of a website by visiting all pages in an orderly manner.Anti-crawling can be defined as a set of mechanisms that prevents websites from being crawled by automated crawlers. In this thesis, a set of anti-crawling mechanisms are combined into an Apache web server module called mod_antiCrawl. mod_antiCrawl is developed in C language by using Apache API and it has crawler detection and inhibition capabilities to protect servers from malicious crawlers. The performance of mod_antiCrawl has also been studied and our results show that website map discovery by crawlers decreases at least 70% after mod_antiCrawl is activated. This ratio increases to 90% by enabling different functionalities of the module.
Benzer Tezler
- Machine learning based design of gap waveguides
Makine öğrenmesi tabanlı boşluk dalga kılavuzu tasarımı
UĞUR ALKAŞI
Yüksek Lisans
İngilizce
2022
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. MEHMET ÇAYÖREN
- Assignment query and its implementation in moving object databases
Hareketli nesne veritabanı sistemleri için atama operatörü ve uygulaması
ALİ RIZA KONAN
Yüksek Lisans
İngilizce
2006
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. TAFLAN İMRE GÜNDEM
- Muhammed Abdulhalim Abdullah'ın romancılığı
Muhammad Abdalhalim Abdallah's novalism
ENCÜMEN BAYRAM
Doktora
Türkçe
2021
Doğu Dilleri ve EdebiyatıAkdeniz ÜniversitesiTemel İslam Bilimleri Ana Bilim Dalı
DOÇ. DR. YASİN PİŞGİN
- Kayma mod ile ultrasonik motorun hız kontrolü
Speed control of ultrasonic motor with sliding mode
HÜSEYİN TAŞ
Yüksek Lisans
Türkçe
2018
Mekatronik MühendisliğiMarmara ÜniversitesiMekatronik Ana Bilim Dalı
DOÇ. DR. MUSTAFA CANER AKÜNER
- Anaerobik performansı takım sporlarına özgü ölçen yeni bir saha testi geliştirme
Development of A new field test to assessment of anaerobic performance for team sports
CELAL GENÇOĞLU
Doktora
Türkçe
2015
FizyolojiDokuz Eylül ÜniversitesiFizyoloji Ana Bilim Dalı
PROF. DR. BERKANT MUAMMER KAYATEKİN