一个网络爬虫程序，用java实现的，并且可以实现新闻的抓取-A Web crawler program, with the java implementation, and news of the capture can be achieved

Java网络爬虫(蜘蛛)源码 本程序利用java技术通过IP/TCP技术去捕捉网络数据。-Java web crawler (spiders) the source code The program use Java technology through the IP/TCP technology to capture network data.

本文用lucene和Heritrix构建了一个Web 搜索应用程序 Lucene 是基于 Java 的全文信息检索包，它目前是 Apache Jakarta 家族下面的一个开源项目。 Lucene很强大，但是，无论多么强大的搜索引擎工具，在其后台，都需要一样东西来支援它，那就是网络爬虫Spider。网络爬虫，又被称为蜘蛛Spider，或是网络机器人、BOT等，这些都无关紧要，最重要的是要认识到，由于爬虫的存在，才使得搜索引擎有了丰富的资源。 Heritrix是一个纯由Java开

JAVA实现基本的页面抓取，运用多线程过滤和筛选，网络爬虫-JAVA Implementation of the basic page capture, filtering and screening of the use of multi-threaded Web crawler