搜索资源列表
yuzhiguobot2.0
- 该程序采用ASP编写，使用Access数据库，主要功能是记录常用搜索引擎蜘蛛最近来访时间、IP、来访次数、抓取页面地址。 经过2周的亲自测试，截至2009.8.30，本系统可统计95种蜘蛛。由于搜索引擎抓取网页不抓取JS代码，所以JS的统计方式不能统计到蜘蛛（经测试只能统计到腾讯soso），所以本系统只适合动态ASP网站使用，静态网站请飘过。 文件说明： bots.asp 统计蜘蛛访问记录文件，把这个文件插入到要统计的页面中,比如插入到conn.asp公共文件里，以达到整站统计蜘蛛的
weather
- 通过.NET抓取网页的天气，生成一个XML文件，再由js读取这个xml文件，显示到另一个html文件中-By weather NET crawl pages, generate an XML file, read the xml file by js display another html file.
NwebCrawler
- NwebCrawler是用C#写的一款多线程网络爬虫程序，它的实现原理是先输入一个或多个种子URL到队列中，然后从队列中提取URL（先进先出原则），分析此网页寻找相应标签并获得其href属性值，爬取有用的链接网页并存入网页库中，其中用爬取历史来记录爬过的网页，这样避免了重复爬取。提取URL存入队列中，进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。-NwebCrawler is a multi-threaded w
DataFromWeb
- VC++实现的网络爬虫程序，主要功能是抓取指定网页并解析-Web crawler program VC++ realized, the main function is to crawl specified pages and parse
WebSearch-v1.4
- python编写的网页爬虫，根据指定的关键字，从百度、google、Bing、搜库等网站上抓取视频链接并存为文件。-web crawler written in python, based on the specified keywords, grab the video link from the website of Baidu, Google, Bing, search library co-exist as a file.
webparse
- python实现的爬虫程序，模仿浏览器访问，多线程抓取网页-python implementation crawlers mimic browser access, multi-threaded crawling web pages
test01
- python入门，一个简单的抓取网页小程序-python entry, a simple crawl the web applet
simplehtmldom
- 抓取网页指定信息，针对html文件做操作-Crawl pages specified information
phpcws-php-demo
- 元搜索引擎源码，通过抓取百度、谷歌、搜狗等搜索引擎的网页整合展示出来-Meta Search
HTMLParser
- 利用HTMLParser实现网页信息的抓取-Using HTMLParser crawl web information
somao_v8.0
- PHPSou V3.0（20130322） 为UTF-8编码的测试版本，功能还不完善，不过在后台已经可以实现网址的抓取，目前后台已经抓取了超过80万的顶级网址，接近10万的网页可供搜索。 值得注意的是，本版本为整合sphinx版本，需要安装sphinx才能正常使用，需要研究本版本的网友可以登录官方论坛：http://www.phpsou.net 了解新版的安装方法。 PHPSou V3.0（20130322）为最终的PHPSou开发框架，后续版本将会在本版本的基础上进行升级，
client
- 接收网页的文件头，用于抓取文件头的包。用于学习交流-Receives the page header for package crawl header.
FindEmail
- 使用RegExp正则表达式，抓取网页中的Email地址-Use regular expression, crawl Email Address
ROSTDM
- 网页文本抓取，通过设置XML可以批量抓取任意网站的任意数据-Web text crawl, crawl any website any data volume by setting XML
Crawler
- 一个java编写的简单爬虫程序，可以实现通过Socket保存html网页 去乱码 存储当前页面URL 自动顺序抓取页面-A java simple crawler can be achieved by Socket save html web pages garbled storage automatic sequence of the current page URL to fetch page.
ZeroCrawler
- 该程序用于抓取某一网页的所有链接，适合爬虫初学者使用-The procedure used to crawl all the links of a web page, suitable for reptiles beginners
Super-curriculum
- 超级课程表是利用httpclient模拟登录 ，抓取高校教务系统的网页进行解析的 ，就可以做一下修改，这里是基本的代码-Super curriculum HttpClient analog Sign in, grab parse the web pages of the College Educational system, you can do modify, here is the basic code
htmlparser
- HTMLparser的源代码。架构搜索引擎是抓取HTML网页。-Source code of HTMLparser. Architecture search engines crawl the HTML page.
EComputerRobot
- Web Crawler，网络蜘蛛即Web Spider。找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止-failed to translate
testhtmlsession
- 用MFC实现抓取网页内容，存入字符串中，可输出到文本框里-MFC crawl the web content stored in the string can be output to a text box