C#语言的爬虫、selenium 自动化+ phantomjs + 代理服务器，数据采集器(C# language crawler, selenium automation + phantomjs + proxy server, data collector)

通收录工具可以向百度搜索主动推送资源，缩短爬虫发现网站链接的时间，不保证收录效果。 2、API提交和手动提交共享配额，每日至多提交10万条有价值的内容，sitemap提交配额不与其他方式共享，具体配额以站点页面显示数据为准，提交内容会进入百度搜索统一管理。

¤ 优化蜘蛛程序，整合Crawler爬虫代码、自动下载采集数据到本地 调用，实现本地索引功能。 ¤ 优化蜘蛛功能，实现蜘蛛智能去除死链接，实现多线程采集，默认蜘蛛开启数为20个，也就是说可以同时开启20个蜘蛛同时工作，这个根据你的服务器的配置来定，服务器越好开启的越多，采集的数据越多。理论值：日采集数据不低于1000000条信息。 【PHP+Mysql+Sphinx 说明】 出自俄罗斯的开源全文搜索引擎软件 Sphinx ，单一索引最大可包含1亿条记录，在1千万条记录