Crawling the web using Apache Nutch and Lucene
Apache Nutch ve Lucene kullanarak web tarama
- Tez No: 372495
- Danışmanlar: YRD. DOÇ. DR. ABDÜL KADİR GÖRÜR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Bilgisayar ağları, Sayısal görüntü işleme, Veri tabanı, Yapay zeka, Örüntü tanıma, Computer networks, Digital image processing, Database, Artificial intelligence, Pattern recognition
- Yıl: 2014
- Dil: İngilizce
- Üniversite: Çankaya Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Matematik ve Bilgisayar Bilimleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Webde yer alan geniş boyuttaki bilgilerin varlığı, kullanıcıların ihtiyacı olan bilgiyi seçmesini zorlaştırmaktadır. Bu bilgiler ile internet kullanıcıları arasındaki bağlantı yolu arama motorlarıdır. Arama motorları. Crawler, bot veya örümcek adı verilen yazılımlar aracılığıyla web'deki veri koleksiyonları üzerinde çalışır. Birçok arama motoru kullanıcısı arama motorlarının çalışma mekanizmasını bilmezler. Örneğin arama motorları nasıl çalışır veya web üzerinde bilgiyi nasıl yakalar yahut bilgiyi nasıl sıralar. Bu çalışmada açık kaynak tabanlı arama motorlarının nasıl çalıştığını detaylı incelenmiştir. Bu çalışmada, açık kaynak kod tabanlı Web Crawler programlarını izah ederken apache nutch ve lucene yazılımlarını tek tek kullanılmıştır. Bunlar Apache yazılım kurumu tarafından yayınlanmıştır. Nutch bir web crawler olup, world wide web üzerinde indeksleme yapabilmektedir. Nutch bir lucene mimarisi üzerinde geliştirilmiştir. Bilgi erişimi teknolojileri kullanır. Büyük boyuttaki verileri indeksleyebilmek için birçok yazılım kütüphanesi mevcuttur. Lucene web üzerinde var olan PDF, TEXT veya MS WORD gibi bilgiler ile ilgilenmez. Bu dökümanları indeksleyerek, faydalı olabileceği türe dönüştürür. Bu çalışmada Nutch ve Lucene'nin birarada kullanılmasının faydası, birbirinden bağımsız olmalarının yanısıra Nutch ve Lucene'nin ikisinin de Java ile geliştirilmesidir. Ayrıca Lucene içeriğini veya indeksini görüntülemek ve analiz edebilmek için Tag Cloud Technology'i kullanılmalıdır.
Özet (Çeviri)
The availability of information in large quantities on the Web makes it difficult for user selects resources about their information needs. The good link between the internet users and this information is Search engine. Search engine is kind of Information Retrieval (IR). It works on data collection from the Web by software program is called crawler, bot or spider. Most of Search Engines users don't know the mechanism of action the Search Engine, like how Search Engine works and how it catch information in the Web and how it rank the results to users. For this reason in this thesis used the open-source Search Engine is researched in detail. In this study, we used each of (Apache Nutch and Lucene) to clarify work of Web crawling open source. They are released under the Apache Software Foundation. Nutch is a web Search Engine working to search and index Web Pages from the World Wide Web (WWW). Nutch is based or built on top of Lucene. It uses in the information retrieval technology. It has more software libraries to indexing of large-size data. Lucene doesn't care about information existing in the Web, like PDF, TEXT, and MS Word. It is working to indexing these documents and convert them to the data can be utilized. The benefit of using both Nutch and Lucene in this study, they are free and we can their development. The Nutch and Lucene are written by Java language, it is a computer programming language. Furthermore, we used Tag Cloud Technology to analysis and view the Lucene content or its index.
Benzer Tezler
- The development of mod_antiCrawl: An anti crawler add-on module for apache web servers
mod_antiCrawl: Apache web sunucusu için internet robotu engelleyici eklenti modülü geliştirilmesi
MUHAMMED OĞUZHAN TOPGÜL
Yüksek Lisans
İngilizce
2012
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. M. UFUK ÇAĞLAYAN
- Web mining issues: Topic finding and focused crawling evaluation
Örün madenciliği konuları: Konu bulma ve odaklanmış arama değerlendirmesi
ERAY ULUHAN
Yüksek Lisans
İngilizce
2006
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiY.DOÇ.DR. BERTAN BADUR
- Improving the efficiency of search engines: Strategies for focused crawling, searching, and index pruning
Arama motorlarının verimliliğini artırmak: Odaklanmış tarama, arama ve indeks budama stratejileri
İSMAİL SENGÖR ALTINGÖVDE
Doktora
İngilizce
2009
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Bölümü
PROF. DR. ÖZGÜR ULUSOY
- İnternet'te heterojen veri kaynaklarından veri toplanması, entegrasyonu ve güncellenmesi
Collecting, integrating and updating data from heterogenous data sources on the internet
ZÜLFÜ ALANOĞLU
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilişim Sistemleri Ana Bilim Dalı
PROF. DR. MUHAMMET ALİ AKCAYOL
- TR-webarchıve: kamu web mirasının korunması amacıyla YZ destekli hibrit arşivleme mimarisi
TR-webarchive: An AI-Supported hybrid archiving architecture for preserving public web heritage
ABDULKADİR KARABIYIK
Yüksek Lisans
Türkçe
2026
ArşivOstim Teknik ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AHMET ANIL MÜNGEN