搜索资源列表
3126
- PKU 3126 典型的广度优先搜索 用队列实现
heritrix2.rar
- Heritrix是一个爬虫框架，可加如入一些可互换的组件。 它的执行是递归进行的，主要有以下几步： 1。在预定的URI中选择一个。 2。获取URI 3。分析，归档结果 4。选择已经发现的感兴趣的URI。加入预定队列。 5。标记已经处理过的URI ,Heritrix is a framework for reptiles, such as income may be a number of interchangeable components. It is a recursive implem
spider2006
- 可配置：线程数、线程等待时间，连接超时时间，可爬取文件类型和优先级、下载目录等。 状态栏显示统计信息：排入队列URL数，已下载文件数，已下载总字节数，CPU使用率和可用内存等。 有偏好的爬虫：可针对爬取的资源类型设置不同的优先级。 健壮性：十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 较好的性能：基于正则表达式的页面解析、适度加锁、维持HTTP连接等。 -C# spider.
NwebCrawler
- NwebCrawler是用C#写的一款多线程网络爬虫程序，它的实现原理是先输入一个或多个种子URL到队列中，然后从队列中提取URL（先进先出原则），分析此网页寻找相应标签并获得其href属性值，爬取有用的链接网页并存入网页库中，其中用爬取历史来记录爬过的网页，这样避免了重复爬取。提取URL存入队列中，进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。-NwebCrawler is a multi-threaded w
NWebCrawler
- 网络爬虫, * 可配置：线程数、线程等待时间，连接超时时间，可爬取文件类型和优先级、下载目录等。 * 状态栏显示统计信息：排入队列URL数，已下载文件数，已下载总字节数，CPU使用率和可用内存等。 * 有偏好的爬虫：可针对爬取的资源类型设置不同的优先级。 * 健壮性：十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 * 较好的性能：基于正则表达式的页面解析、适度加锁、维持HTTP连接等。-Web crawler
IndexMaxPQ
- 通过Java实现索引优先最小队列并附带algs4包，他是一个很有用的例子(Through the Java implementation of the index priority minimum queue with algs4 package, he is a very useful example)