CentOS7部署Flask/Gunicorn/Nginx/Supervisor

  • 原创
  • Madman
  • /
  • 2018-04-06 09:25
  • /
  • 0
  • 1187 次阅读

Flask应用部署架构图.jpg

Synopsis: 当你用Flask框架在本地完全开发好一个应用程序后,想部署到服务器上,让互联网用户可以访问它,这与搭建本地开发环境还是有一些不一样的地方。首先,我们假设在服务器上安装了CentOS-7系统,使用git来上传和后续更新程序源代码,由于Flask自带的开发Web服务器性能不足以应对生产环境的并发访问,所以我们使用Gunicorn来替代它,同时,整个Web应用有许多静态资源,而Nginx非常善于处理这类请求,所以在Gunicorn前面再部署Nginx来提供静态资源服务,将其它请求反向代理给后面的Flask应用服务器Gunicorn。最后,为保证我们的Web应用持续提供服务,使用Supervisor来监控MongoDB/Gunicorn/Nginx的服务状态,当某一服务意外停止后,它会自动重启它。另外,我们也可以用Fabric实现这整个生产环境的部署过程自动化

1. Git客户端

Win10安装git for windows

1.1 设置Git全局参数

打开Git Bash

$ git config --global user.name "Alice-HomePC"
$ git config --global user.email "alice@gmail.com"

1.2 生成SSH Key

打开Git Bash,可使用-C选项指定公钥的说明信息

$ ssh-keygen -t rsa -C "Alice-HomePC"

一直回车确认即可,秘钥对默认保存在C:\Users\你的Win10用户名\.ssh目录下,其中id_rsa是私钥(Private Key),要小心保管;id_rsa.pub是公钥(Public Key),待会要上传到VPS上,实现基于SSH无密码登录VPS。同理,如果你在Github或Coding上有代码仓库,也是先要将公钥上传过去,才能无密码使用Git命令操作远程仓库。

2. 配置VPS

2.1 修改主机名

# hostnamectl set-hostname CentOS
或者:
# vi /etc/hostname
# hostnamectl

重新登录.

2.2 修改SSH端口

# cp /etc/ssh/sshd_config /etc/ssh/sshd_config.bak
# vi /etc/ssh/sshd_config
将默认22端口改为你指定的, 例如
Port 12345

# systemctl restart sshd

2.3 禁用SSH密码认证,改为秘钥认证

首先需要将步骤1中生成的公钥上传到服务器,可以使用xmanager套件中的xftp上传,假设上传到/root目录

1. 添加公钥
# cd /root
# mkdir ~/.ssh && chmod 700 ~/.ssh
# touch ~/.ssh/authorized_keys && chmod 600 ~/.ssh/authorized_keys
# cat id_rsa.pub >> ~/.ssh/authorized_keys

2. 修改SSH配置文件
# vi /etc/ssh/sshd_config

修改几处地方,最终内容如下:
# 禁用root登录
PermitRootLogin no
# 启用密钥验证
RSAAuthentication yes
PubkeyAuthentication yes
# 指定公钥数据库文件
AuthorizedKeysFile .ssh/authorized_keys
# 禁用密码验证
PasswordAuthentication no

3. SSH重新加载配置文件
# systemctl reload sshd

此时,Win10可以通过xshell,无密码登录VPS了,且只能使用私钥认证通过。

3. 安装Python3

CentOS-7.3默认安装的是Python-2.7, 我的Flask程序是基于Python3写的,所以要再安装Python3

1. 准备编译环境
# yum -y install gcc make readline-devel sqlite-devel openssl openssl-devel libffi-devel zlib*

2. 编译安装
# wget -P /root http://python.org/ftp/python/3.6.4/Python-3.6.4.tar.xz
# tar xf Python-3.6.4.tar.xz
# cd Python-3.6.4/
# ./configure --prefix=/usr/local/python-3.6
# make && make install
# ln -s /usr/local/python-3.6/bin/python3.6 /usr/bin/python3
# ln -s /usr/local/python-3.6/bin/pip3.6 /usr/bin/pip3

更改pip安装源为国内的源,比如aliyun

# mkdir ~/.pip
# vi ~/.pip/pip.conf

添加内容如下:
[global]
index-url = http://mirrors.aliyun.com/pypi/simple/

[install]
trusted-host=mirrors.aliyun.com

(可选)安装IPython

1. pip方式安装(推荐), 该方式会有语法高亮等特性
# pip3 --version
# pip3 install --upgrade pip
# pip3 install ipython
# ln -s /usr/local/python-3.6/bin/ipython3 /usr/bin/ipython3

2. 编译安装
# tar xf ipython-0.13.1.tar.gz
# cd ipython-0.13.1/
# python3 setup.py install
# ln -s /usr/local/python-3.6/bin/ipython3 /usr/bin/ipython3

4. 安装MongoDB

官方文档

1. 配置repo源
# vi /etc/yum.repos.d/mongodb-org-3.6.repo

内容如下:
[mongodb-org-3.6]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.6/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-3.6.asc

2. 安装并启动服务
# yum install -y mongodb-org
# systemctl start mongod.service
# systemctl enable mongod.service

5. Git服务端

1. 安装
# yum install -y git

2. 创建裸仓库
# mkdir /home/git && cd /home/git
# git init --bare flask_project.git

我在Win10上已经开发好了Flask程序,待会上传到此git仓库中,应用程序代码准备部署到/home/www/flask_project,并通过git的hooks当客户端每次提交代码后,自动同步仓库中的代码到应用部署的位置 Simple automated GIT Deployment using GIT Hooks

1. 创建代码部署目录
# mkdir -pv /home/www/flask_project

2. 创建hooks
# vi /home/git/flask_project.git/hooks/post-receive

内容如下:
#!/bin/bash
TRAGET="/home/www/flask_project"
GIT_DIR="/home/git/flask_project.git"
BRANCH="master"

while read oldrev newrev ref
do
    # only checking out the master (or whatever branch you would like to deploy)
    if [[ $ref = refs/heads/$BRANCH ]];
    then
        echo "Ref $ref received. Deploying ${BRANCH} branch to production…"
        git --work-tree=$TRAGET --git-dir=$GIT_DIR checkout -f
    else
        echo "Ref $ref received. Doing nothing: only the ${BRANCH} branch may be deployed on this server."
    fi
done

3. 赋权
# chmod +x /home/git/flask_project.git/hooks/post-receive

6. 上传代码

打开Git Bash,准备把服务器上的flask_project.git仓库(目前为空)克隆下来。Git默认使用SSH协议且端口22,由于我们刚修改了服务器的SSH端口,所以克隆时要指定修改后的端口号

6.1 克隆远程仓库

方法1:

$ git clone ssh://root@VPS的IP或域名:VPS的SSH端口号//home/git/flask_project.git

方法2: 在Win10保存SSH秘钥对的目录下创建配置文件 C:\Users\你的Win10用户名\.ssh\config

host VPS的IP或域名
port VPS的SSH端口

然后执行克隆命令:

$ git clone root@VPS的IP或域名:/home/git/flask_project.git

6.2 提交代码

克隆后会在当前目录下生成 flask_project 目录,把开发好的flask代码拷贝到这里面,并指定哪些文件不提交到git仓库,在git bash中运行:

$ cd flask_project
$ vi .gitignore
比如我的规则:
.idea/
__pycache__/
uploads/
venv3/

提交代码:

$ git add .
$ git commit -m "initial"
$ git push

你会发现/home/www/flask_project目录下会自动拷贝git仓库中master分支的最新代码过来。

7. 调试程序

7.1 准备virtualenv环境

# pip3 install virtualenv
# ln -s /usr/local/python-3.6/bin/virtualenv /usr/bin/virtualenv
# cd /home/www/flask_project
# virtualenv --no-site-packages --python=/usr/bin/python3 venv3

7.2 安装相关python包

# source venv3/bin/active
(venv3)# pip install flask
依次安装完所有的依赖包后,
(venv3)# pip freeze > requirements.txt

7.3 测试用Flask自带的服务器能否运行

(venv3)# python manage.py runserver -h 0.0.0.0 -p 80

如果你能通过VPS的IP正常访问Flask应用,那么就可以进行下一步,使用Gunicorn替代Flask自带的开发服务器

8. Gunicorn

8.1 安装

(venv3)# pip install gunicorn

8.2 创建包含应用入口app的模块文件

一般我们开发时,都是使用manage.py,里面有flask-script方便调试,生产环境要再创建一个模块,比如:

# vi wsgi.py

内容如下:
import os

from app import create_app


###
# 调用工厂函数,初始化Flask程序实例,默认使用生产环境配置
###
app = create_app(os.getenv('FLASK_CONFIG') or 'production')


if __name__ == "__main__":
    app.run(host='0.0.0.0')

那么使用gunicorn命令行来启动Flask非常简单:

(venv3)# gunicorn -w 3 wsgi:app -b 0.0.0.0:80
说明:
-w 3 是启用3个进程,建议是CPU核数*2 + 1
wsgi:app 其中wsgi代表当前目录下的wsgi.py模块,后面的app代表wsgi.py模块里面的Flask应用app

如果你能通过VPS的IP正常访问Flask应用,那么通过指定gunicorn配置文件来启动Flask,比如:

# mkdir deploy
# vi deploy/gunicorn.conf.py

内容如下:
import multiprocessing

# bind = '127.0.0.1:8001'
bind = 'unix:/run/gunicorn.sock'
workers = multiprocessing.cpu_count() * 2 + 1
# daemon = True
pidfile = '/run/gunicorn.pid'
loglevel = 'info'
errorlog = '/tmp/gunicorn-error.log'
accesslog = '/tmp/gunicorn-access.log'
access_log_format = '%(h)s %(l)s %(u)s %(t)s "%(r)s" %(s)s %(b)s "%(f)s" "%(a)s"'

更详细的配置可以参考Gunicorn官方示例

那么,此时启动Flask变成:

(venv3)# gunicorn wsgi:app -c deploy/gunicorn.conf.py

9. Redis

使用Flask-Caching缓存页面,测试环境用默认的simple,生产环境用redis

9.1 安装Redis

1. Redis需要EPEL源
# yum install epel-release

2. 安装
# yum install -y redis

3. 启动与开机自启
# systemctl start redis.service
# systemctl enable redis.service

9.2 设置Redis

编辑/etc/redis.conf,确保只有本机能够访问Redis,即bind 127.0.0.1没有被注释掉。默认没有密码。

9.3 验证是否启用缓存

wsgi.py中是使用production配置,确保config.pyProductionConfig的配置项CACHE_TYPE = 'redis'

1. 用gunicorn启动Flask
# gunicorn -w 3 wsgi:app -b 0.0.0.0:5000

2. 用浏览器访问 VPS的IP:5000, 测试是不是缓存生效了

3. 输入 keys * ,查看redis中所有的key
# redis-cli
127.0.0.1:6379> keys *
1) "flask_cache_view//blog/?page=1"

10. Nginx

WSGI服务器没有Nginx处理静态文件的性能好,所以我们安装nginx,把我们应用程序中像logo.png这类静态资源变给nginx处理响应。而客户端的那些不是请求静态资源的request,会被nginx反向代理给后端的gunicorn,gunicorn生成html响应后,交回给nginx,再由nginx返回给客户端。

10.1 安装

官方文档

1. 添加repo源
# vi /etc/yum.repos.d/nginx.repo

内容如下:
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
enabled=1

2. 安装
# yum install -y nginx

3. 启动
# systemctl start nginx
# systemctl enable nginx

10.2 响应静态资源

1. 增加配置文件
# vi /etc/nginx/conf.d/flask_project.conf

内容如下:
server {
    listen 80;
    # server_name www.madmalls.com;

    location /static {
        alias  /home/www/flask_project/static/;
    }
}

2. 重启
# mv /etc/nginx/conf.d/default.conf /etc/nginx/conf.d/default.conf.bak
# nginx -t
# systemctl restart nginx

如果步骤8中没有停止gunicorn,先stop它:

# pkill gunicorn

此时,你用VPS的IP访问/static目录下的logo.png,如果能正常访问,说明是nginx在提供服务(因为此时我们已经关闭gunicorn了)

10.3 反向代理

1. 修改配置文件
# vi /etc/nginx/conf.d/flask_project.conf

内容如下:
server {
    listen 80;
    server_name www.madmalls.com;

    location / {
        proxy_set_header Host $http_host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_pass http://unix:/run/gunicorn.sock;
    }

    location /static {
        alias  /home/www/flask_project/app/static/;
    }
}

2. 重启
# nginx -t
# systemctl restart nginx

启动gunicorn:

(venv3)# gunicorn wsgi:app -c deploy/gunicorn.conf.py

此时,用VPS的IP访问Flask应用,应该一切正常。

11. Supervisor

使用supervisor来管理gunicorn进程的启停

11.1 安装

CentOS可以通过yum安装

# yum install -y supervisor
# systemctl start supervisord.service
# systemctl enable supervisord.service

11.2 增加配置文件

要监控gunicorn进程,只需要添加/etc/supervisord.d/gunicorn.ini配置文件,详细配置参考gunicorn的官方示例

# vi  /etc/supervisord.d/gunicorn.ini

内容如下:
[program:gunicorn]
command=/home/www/flask_project/venv3/bin/gunicorn wsgi:app -c deploy/gunicorn.conf.py
directory=/home/www/flask_project
user=root
autostart=true
autorestart=true
redirect_stderr=true

说明:
command 即启动gunicorn的命令,此处要写绝对路径
directory 项目部署目录,不然没办法知道command中wsgi模块在哪

11.3 管理gunicorn

1. 增加配置文件后,更新
# supervisorctl reread
# supervisorctl update

2. 查看状态
# supervisorctl status

3. 启动/停止
# supervisorctl start gunicorn
# supervisorctl stop gunicorn
# supervisorctl restart gunicorn

12. Fabric

官网

假如现在修复了一个bug,要重新部署代码,先在Win10上git push代码到仓库,自动同步到部署目录,用supervisor重启gunicorn,步骤不多,所以没必要用fabric 如果你的应用比较复杂,数据库层、缓存层、服务层、Web层都是分布式架构,那么可以用fabric自动部署,省得登录这么多台服务器去做一些枯燥费时的重复操作。

未经允许不得转载: LIFE & SHARE - 王颜公子 » CentOS7部署Flask/Gunicorn/Nginx/Supervisor

分享

作者

作者头像

Madman

如果博文内容有误或其它任何问题,欢迎留言评论,我会尽快回复; 或者通过QQ、微信等联系我

0 条评论

暂时还没有评论.

发表评论前请先登录