Python pyspider的安装与开发

【51CTO晃荡】8.26 带你深度懂得清华大年夜学、搜狗基于算法的IT运维实践与摸索

b)敕令安装

PySpider是一个国人编写的强大年夜的收集爬虫体系并带有强大年夜的WebUI。采取Python说话编写，分布式架构，支撑多种数据库后端，强大年夜的WebUI支撑脚本编辑器、义务监督器，项目治理器以及结不雅查看器。

为了达到5分钟更新，我们应用抓取比来更新页膳绫擎的最后更新时光，以词攀来断定页面是否须要再次抓取。

可见，这个项目对于爬虫的监控和调剂请求是异常高的。

PySpider 中文网：http://www.pyspider.cn
PySpider 官网：http://docs.pyspider.org
PySpider 演示：http://demo.pyspider.org
PySpider 源码：https://github.com/binux/pyspider

PySpider 特点

python 脚本控制，可以用任何你爱好的html解析包(内置 pyquery)

WEB 界面编写调试脚本、起停脚本、监控履行状况，查看晃荡汗青，获取结不雅产出

数据存储支撑MySQL、MongoDB、Redis、SQLite、 ElasticSearch; PostgreSQL 及 SQLAlchemy

队列办事支撑RabbitMQ、Beanstalk、Redis、Kombu

支撑抓取 JavaScript 的页面

python get-pip.py

组件可调换，支撑单机/分布式安排，支撑 Docker 安排

强大年夜的调剂控制，支撑超时重爬及优先级设置

支撑Python 2.{6, 7}, 3.{3, 4, 5, 6}

PySpider 安装

1) pip 安装

pip可以在以下版本的CPython下运行：2.6, 2.7, 3.1, 3.2, 3.3, 3.4 和 pypy.

pip可以在Unix/Linux、Mac OS X、Windows体系中运行.

a)脚本安装

如不雅 setuptools (或 distribute) 未安装， get-pip.py

会主动为你安装 setuptools

如不雅须要进级 setuptools (或 distribute)，运行 pip install -U setuptools

sudo yum install python-pip // CentOS、Redhat、Fedora

2)PhantomJS 安装

PhantomJS 是一个基于 WebKit 的办事器端 JavaScript API。它周全支撑web而不需浏览器支撑，其快速、原生支撑各类Web标准：DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面主动化、收集监测、网页截屏以及无界面测试等。支撑Windows、Linux、Mac OS X等多操作体系。

PhantomJS 下载：http://phantomjs.org/download.html

PhantomJS不须要安装，解压后，设备情况变量后，便可直接应用，详见 PhantomJS 安装与开辟

PhantomJS 安装敕令：

sudo apt-get install phantomjs // Debian、Ubuntu

sudo pkg install phantomjs // FreeBSD

brew install phantomjs // Mac OS X

3)PySpider 安装

PySpider 安装的依附包 requirements.txt

Flask>=0.10 
Jinja2>=2.7 
chardet>=2.2 
cssselect>=0.9 
lxml 
pycurl 
pyquery 
requests>=2.2 
tornado>=3.2 
mysql-connector-python>=1.2.2 
pika>=0.9.14 
pymongo>=2.7.2 
unittest2>=0.5.1 
Flask-Login>=0.2.11 
u-msgpack-python>=1.6 
click>=3.3 
SQLAlchemy>=0.9.7 
six>=1.5.0 
amqp>=1.3.0,<2.0 
redis 
redis-py-cluster 
kombu 
psycopg2 
elasticsearch 
tblib

PySpider 安装敕令：

pip install pyspider

Ubuntu 用户，请提前安装好以下支撑类库：

sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml

4)验证安装成功

控制台输入敕令：

pyspider all

应用浏览器拜访 http://localhost:5000

sudo apt-get install python-pip // Debian、Ubuntu

正常出现 PySpider 的页面，那证实一切 OK

PySpider 示例

1)示例1：爬取米扑科技首页(mimvp.com)

#!/usr/bin/env python 
# -*- encoding: utf-8 -*- 	
			 1/3    1 2 3 下一页 尾页	
			

　　推荐阅读
　　怎样在java中定义一个抽象属性
            The following transaction has just finished:  1502179140689,1501,This is a test transaction !!  别的修改TransactionManagerFS如下：Abstract关键字平日被用于类和办法，用来把某些行动的实现宛>>>详细阅读


本文标题：Python pyspider的安装与开发
地址：http://www.17bianji.com/lsqh/36785.html
 1/2    1