搜索资源列表
WebLoupe-0.5-src
- 一个java写的网络爬虫，有界面，有log，能够压缩下载文件。-A web crawler written in Java, interface, the log and be able to extract the downloaded file.
WebNetCrawler
- 简单实现网络爬虫功能，抓取目标网站与关键字匹配的信息进行存储-Simple web crawler to crawl the target site with keyword matching information stored
Nutch
- 网上流行的Nutch爬行器代码，是Java语言编写的。功能很强大-Nutch web crawler popular code is the Java language. Very powerful
search
- python开发的一个C/S架构的导师查询系统。一个简单的搜索引擎，有网络爬虫，可离线搜索。-python development of a C/S structure of the tutor query system. A simple search engine Web crawler can be offline search.
netspider
- 一个简单并且适合初学者学习的C语言网络爬虫-A simple and suitable for beginners to learn the C language Web crawler
Spider-Java
- 网络爬虫的简要介绍及一点源代码，分享给想要学习爬虫的人-The web crawler brief introduction and point-source code
ThreadCrawler
- 用java编写的网络爬虫程序,输入起始url和想要爬取的页面个数,就可以开始爬取.-Enter the start url web crawler program written in Java, and want to crawling the page number, you can begin crawling.
TestHttp
- 一个实现用http下载网络文件，可以用它来实现一个简单的网络爬虫-An http download network file, you can use it to implement a simple web crawler
Practice1
- 网络爬虫抓取页面的链接，利用递归可以从该链接到达的页面继续获取链接-Web crawler recursively crawls pages link
NwebCrawler
- NwebCrawler是用C#写的一款多线程网络爬虫程序，它的实现原理是先输入一个或多个种子URL到队列中，然后从队列中提取URL（先进先出原则），分析此网页寻找相应标签并获得其href属性值，爬取有用的链接网页并存入网页库中，其中用爬取历史来记录爬过的网页，这样避免了重复爬取。提取URL存入队列中，进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。-NwebCrawler is a multi-threaded w
DataFromWeb
- VC++实现的网络爬虫程序，主要功能是抓取指定网页并解析-Web crawler program VC++ realized, the main function is to crawl specified pages and parse
Lucene
- 小型搜索引擎，实现网络爬虫，下载网页，建立网页索引，提供关键字搜索-Small search engine Web crawler, download page, create web pages index and keyword search
WebSearch-v1.4
- python编写的网页爬虫，根据指定的关键字，从百度、google、Bing、搜库等网站上抓取视频链接并存为文件。-web crawler written in python, based on the specified keywords, grab the video link from the website of Baidu, Google, Bing, search library co-exist as a file.
somao_v8.0
- PHPSou V3.0（20130322） 为UTF-8编码的测试版本，功能还不完善，不过在后台已经可以实现网址的抓取，目前后台已经抓取了超过80万的顶级网址，接近10万的网页可供搜索。 值得注意的是，本版本为整合sphinx版本，需要安装sphinx才能正常使用，需要研究本版本的网友可以登录官方论坛：http://www.phpsou.net 了解新版的安装方法。 PHPSou V3.0（20130322）为最终的PHPSou开发框架，后续版本将会在本版本的基础上进行升级，
heritrixDktj131_2012
- 扩展Heritrix开发包开发的面向主题的网络爬虫-The extended the Heritrix development package developed theme-oriented web crawler
train_tickets_spider-1.0.0-beta-all
- 一个用于火车票网上查询的工具，现在火车票不能转让后，估计用得少了。但是网络爬虫技术可以参考。-A train ticket online query tool, now train tickets can not be transferred, it is estimated that less. However, the web crawler technology can reference.
Crawler
- 一个java编写的简单爬虫程序，可以实现通过Socket保存html网页 去乱码 存储当前页面URL 自动顺序抓取页面-A java simple crawler can be achieved by Socket save html web pages garbled storage automatic sequence of the current page URL to fetch page.
crawler4j-3.x-dependencies
- Java web crawler from dencies
spider
- 基于c语言的网络爬虫实现，含有ppt，内容具体-C language-based Web crawler to achieve
cecho_secho
- 网络爬虫spider，用户需要输入搜索起始URL(必须以http://开头)，搜索关键词，搜索深度。显示器上显示的时访问URL获得的新URL 关键词可以是一种文件的扩展名等，而具有关键词的URL则保存在D盘根目录下，可以更改 -Web crawler spider, the user needs to enter the search base URL (must start with http://), search keywords, search depth. Displayed