FirteX介绍 功能： 支持增量索引，差量索引，多字段索引，提供了3种前向索引方式； 支持纯文本，HTML，PDF等文件格式； 提供快速中文分词； 从底层到高层，提供了多种索引访问接口，灵活自由地使用索引文件； 提供丰富的检索语法，支持多字段检索，日期范围检索，检索结果自定义排序等。 性能： 在Pentium 4 2.8G 2GRAM的机器上超过200Mb每分钟的索引速度 在近7G的索引文件（100G网页，11G纯文本的索引）上检索，仅使用十几M内存在数毫

Cola是一个分布式的爬虫框架，用户只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。-Cola is a distributed crawler frame, users only need to write a few specific functions, without attention to detail distributed operation. Tasks are automatically assigned to mult