CentOS部署pyspider

0x00 环境

阿里云ECS云服务器

CPU:1核

内存:2G

操作系统:Centos 7.3 x64

地域:华北 2(华北 2 可用区 A)

系统盘:40G

0x01 安装依赖

yum install gcc gcc-c++ python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel

0x02 升级 pip

pip install --upgrade pip

0x03 用 pip 安装 pyspider

pip install pyspider

0x04 安装 mysql

mysql安装及配置过程可以查看
nginx + php + mysql + wordpress 搭建简单站点 安装及配置过程

0x05 安装 redis 并启动

yum install redis
pip install redis
systemctl start redis

0x06 安装 mysql-connector

pip install mysql-connector

0x07 编辑 pyspider 配置文件

vim /etc/pyspider/pyspider.conf.json

内容如下

其中mysqlUser为mysql用户名,mysqlPasswd为mysql密码,webuiUser为登录控制台的用户名,webuiPasswd为登陆控制台的密码

{
    "taskdb": "mysql+taskdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/taskdb",
    "projectdb": "mysql+projectdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/projectdb",
    "resultdb": "mysql+resultdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/resultdb",
    "message_queue": "redis://127.0.0.1:6379/db",
    "webui": {
        "username": "webuiuser",
        "password": "webuipasswd",
        "need-auth": true
    }
}

0x08 启动 pysqpider

pyspider -c /etc/pyspider/pyspider.conf.json

后台运行

nohup pyspider -c /etc/pyspider/pyspider.conf.json &

也可以将以上命令写进bashrc里,直接使用pyspider命令在后台启动

vim .bashrc

添加如下内容

alias pyspider = 'nohup pyspider -c /etc/pyspider/pyspider.conf.json &'

0x09 访问控制台

地址:5000

LICENSED UNDER CC BY-NC-SA 4.0
Comment