搜索资源列表
web_search
- 一段的网页爬虫代码，python写的。可用于获取需要的网页，以供网页分析。(A python code for web search. Using this code, multiple web pages could be crawled for web data analysis.)
爬虫
- 深交所上市公司交易信息爬取，基于python语言。(Shenzhen Stock Exchange listed companies trading information crawling, based on Python language.)
dytt
- 爬虫demo演示，可以爬取当个网站中的下载资源(Crawler demo demo, you can crawl to download resources in a web site)
getf
- 爬取专利网站上的专利数据的半自动爬虫，和保存为xml 文件(getting data from patent website and save them as xml file)
AljazeeraArabicSpider-master
- 编写的一个基于Java-web的爬虫项目，非常适合于学习。(Prepared a Java-web based crawler project, very suitable for learning.)
python爬虫
- 指定一个网站，从该网站上爬取全部匹配的图片到任意指定的文件夹当中，关键是正则表达式的使用(Specify a website, from the site to crawl all the matching images to any designated folder, the key is the use of regular expressions)
zhihu-master
- 爬虫程序，python语言，希望大家可以交流。。。。。。。。。。。。(Crawler procedures, python language, I hope we can exchange)
crawl-master
- php爬虫系统 * 程序只支持CLI # 安装程序 ### 1.dbconfig.php 添加正确的数据库配置 ### 2. 安装程序 ```PHP php run install # 启动程序 ### 安装完成后，在setting表添加来源站点及正则提取规则。 ### 启动程序 (参数是 setting 表id)(* program only supports CLI # setup ### 1.dbconfig.php add the correct configura
scrapy_project
- python爬虫还在不断完善中，希望大家共同交流一下(Python crawler is still perfect, and I hope we can share it)
c%23写的非常完整的网络爬虫程序
- 非常完整的网络爬虫代码，非常适合初学网络爬虫的同学入门学习。(Very complete web crawler code)
python internet worm
- 这是新浪微博爬虫，采用python+selenium实现 主要爬取内容包括： 新浪微博手机端用户信息和微博信息。 用户信息：包括用户ID、用户名、微博数、粉丝数、关注数等。 微博信息：包括转发或原创、点赞数、转发数、评论数、发布时间、微博内容等。 安装过程： 1.先安装Python环境，作者是Python 2.7.8 2.再安装PIP或者easy_install 3.通过命令pip install selenium安装selenium，它是自动测试、爬虫的工具 4.然后修改代码中的用户名和密码
crawler
- 大数据，写一个爬虫爬取维基百科的数据进行研究(The web crawler for weijibaike.And collect big datas)
XueQiuSuperSpider
- python开发一个用于爬取雪球网上股票信息和数据的网络爬虫(Python develops a web crawler for crawling stock information and data on snowball Online)
C#爬虫
- 这个用C#实现和python一样的原理功能，通过一个连接地址不断爬取html中的图片路径，然后下载指定的文件夹中，希望对大家有帮助，该源码来源于网络。(The realization of the principle of function like Python C#, connected through a continuous address crawling path in HTML images, and then download the specified folder, we w
extract
- 简单的一级网页数据爬虫，抓取网页中的文字(Simple data crawler, grab the text in the page)
spider
- 本菜写的JAVA语言的蜘蛛爬虫,基本可以爬大部分的网站，牛逼的可以无视哈(spider by java When text is saved from a Web page, it is often very badly formatted with many short lines.)
Simple-Web-Crawler-master
- 网络爬虫，多线程抓取，带有cookie，高效率。异步抓取(Web crawler, multi-threaded crawl, with cookie, high efficiency. Asynchronous grasp)
phpspider
- 基于php的爬虫，内置了拉勾网招聘职位等信息(web crawler based on PHP)
autohome
- 最近做的汽车之家爬虫，用selenium模拟打开网页，用beautifulsoup规范化获取html中内容，爬下的内容输出在excel文件里，基本可爬，但该网站伪元素还未破解，请指正。(Autohome crawler recently made by myself. The simulation Using selenium simulate openning pages, using the beautifulsoup to standard obtain HTML content, cli
糗事百科
- 糗事百科段子下载，利用python爬虫实现，每次回车输出一个段子(Most of the encyclopedia scr ipts to download, use the python crawler, enter each output of a piece)