搜索资源列表
SubjectSpider_ByKelvenJU
- 1、锁定某个主题抓取； 2、能够产生日志文本文件，格式为：时间戳(timestamp)、URL； 3、抓取某一URL时最多允许建立2个连接（注意：本地作网页解析的线程数则不限） 4、遵守文明蜘蛛规则：必须分析robots.txt文件和meta tag有无限制；一个线程抓完一个网页后要sleep 2秒钟； 5、能对HTML网页进行解析，提取出链接URL，能判别提取的URL是否已处理过，不重复解析已crawl过的网页； 6、能够对spider/crawler程序的一些基本参数进行
score_page
- 这是一段很有意思的perl程序，主要目的是根据一些非法关键字“keylist”文件中的来对网页进行分析，评估，打分， 来判断web页面是否为非法网页，结合网络蜘蛛使用可以得到不良网页或某些特定网页的集合。
spider
- 该工程产生一个象蜘蛛一样行动的程序，该程序为断开的URL链接检查WEB站点。链接验证仅在href指定的链接上进行。它在一列表视图CListView中显示不断更新的URL列表，以反映超链接的状态。本工程能用作收集、索引信息的模板，该模板将这些信息存入到可以用于查询的数据库文件中。
JavaBotter
- 网络机器人java编程指南一书作者编写的一个程序包，利用该程序包可以方便地实现网络机器人、网络蜘蛛等功能
phpspidercount
- 欢迎使用搜索引擎蜘蛛跟踪器，写这个小程序是因为我的服务器日志不能用了，所以才有了它。 由于水平有限，大家凑合着用吧：） 功用：跟踪搜索引擎的蜘蛛（BOT），并进行记录，提供在线察看和生成cvs格式文档下载。
kayeee10
- 这个程序是卡页连接联盟当前在使用的最新全站程序.本站是一套全新概念的自助友情链接交换系统，加入本系统的的网站，很容易被各大搜索引擎的蜘蛛爬行，对于提高网站的质量、流量，将会有很好的作用，本友情链接系统对外完全公开。 如果你的网站已经登记过了，想找回自己网站的连接代码，也请点击“提交网站”按钮，输入网址既可找回连接。
searchengine
- 自己写的一个简单的Windows下的专用网站搜索引擎（可以先用蜘蛛将要搜索的网站放入数据库），界面经过美化，是一个揭示搜索引擎原理的简单程序
zhizhupai
- 一个用JAVA编写的可以在LINUX下运行的蜘蛛牌小程序
csspider
- 一个简单国外蜘蛛爬虫程序。共享给大家使用，多提宝贵意见。
CH05
- 在JDK1.5上运行的蜘蛛纸牌.运行\"打包发布\"文件夹下的Spider.bat便可直接运行.\"源程序\"文件夹下为程序源文件
dl
- [功能] 本源码是一个因特网下载工具。他可以扫描整个网站的页面及各种图片音频视频等资源，你可以给这些待下载的资源设定最小的大小。 程序还使用了一个剪切板钩子（HOOK），使用它监控任何拷贝到剪切板中的文字，如果你复制了一个URL网页链接或者是一个URL的图片等链接，程序会立即弹出一个对话框让你配置下载任务。 用户可以通过设置文件名和文件大小，来下载整个站点的资源，或限制下载图片等等。 本质上来说，这是一个网络蜘蛛，可以多线程抓取网站。
zhizu
- 一个开源的蜘蛛，一个开源的搜索引擎程序，C#编写的。里面有详细的说明文档。
bot-package-1.4
- < 网络机器人java编程指南>>的配套源程序，研究如何实现具有Web访问能力的网络机器人的书。从Internet编程的基本原理出发，深入浅出、循序渐进地阐述了网络机器人程序Spider、Bot、Aggregator的实现技术，并分析了每种程序的优点及适用场合。本书提供了大量的有效源代码，并对这些代码进行了详细的分析。通过本书的介绍，你可以很方便地利用这些技术，设计并实现网络蜘蛛或网络信息搜索器等机器人程序。-lt; Lt; Java Web Robot Programming
spider
- 网页抓取器又叫网络机器人(Robot)、网络爬行者、网络蜘蛛。网络机器人（Web Robot），也称网络蜘蛛(Spider)，漫游者（Wanderer）和爬虫（Crawler），是指某个能以人类无法达到的速度不断重复执行某项任务的自动程序。他们能自动漫游与Web站点，在Web上按某种策略自动进行远程数据的检索和获取，并产生本地索引，产生本地数据库，提供查询接口，共搜索引擎调用。
mfc做的网络爬虫
- 绝对好用的mfc程序，实现网络蜘蛛功能
统计系统
- 可查看蜘蛛访问记录，根据记录可查看何种蜘蛛何时来访问过你的哪些页面。 有简约记录与详细记录两种方式，请在config.asp页面中设置。 使用方法： ----插入asp页面调用,建议插入到conn.asp文件底部。 优点： 1、程序简洁易用。 2、记录爬行所有页面，简约记录可以统计同一蜘蛛爬行同一页面的次数，详细记录可设置同一蜘蛛爬行同一页面的次数。 3、可以批量删除数据。 4、可进行数据查询、排序等操作。 5、使用ASP+ACCESS
nicewords4.5中文版
- Nicewords是由工作在顶级门户网站的几名资深高级工程师利用爬虫技术(蜘蛛机器人,spider)和分词技术，结合白帽SEO，利用URL重写技术、缓存技术，使用PHP语言开发的一套能根据设置的关键词自动抓取互联网上的相关信息、自动更新的WEB智能建站系统。利用NiceWords智能建站系统，只需要在配置页面上设置几个关键词，NiceWords就能全自动的生成一套能自动更新的网站了。 NiceWords最主要是解决了自动建站的问题。以前的自动建站软件内容都还是需要自己发，有了NiceWord
exam.rar
- 本系统栏目包括了网络在线考试系统的通用功能，具体功能主要有考题题库维护、考生档案管理、随机 出题、考试计划管理、系统自动评分及成绩查询，该系统实现了考生的断线续考功能，大大减少了人工 的主观性干扰，大大增加了考试的公平性。 本系统程序由“风口浪尖”整理开发，版权所有，欢迎使用，可以修改。 可以免费商业使用！ 但作为免费版本，我不对任何使用本系统所造成的不良后果负责。因为你使用的前提是自愿！ 需商业使用，而在功能上有增加或修改的，或是技术上有疑问的，可以与我进行技术
Web_Crawler.rar
- 网页爬行蜘蛛，抓取网页源码，用这个程序源码，可以编译实现自己的抓取网页源码已经获取网页所有的link,Web Crawler
zzzp
- 蜘蛛纸牌 游戏 用C语言编写的，关于电脑自带游戏的小程序-Spider solitaire game written in C, the small program that comes with the game on computer