数据挖掘工程师Web开发修炼(1)---基于Flask的后端API搭建

Photo by Markus Spiske on Unsplash

1、前言

简单API设计与制作是数据工程师必备的技能之一,同时相信数学科班出身的数据挖掘工程师在职业初期都会思考如何提高个人的工程性,所以数据挖掘工程师Web开发修炼系列文章主要简单总结以下三个部分

  • 基于Flask的后端API搭建
  • 基于Bootstrap的简单前端界面搭建
  • 基于阿里云的应用部署

本文更偏向介绍怎么利用Python微框架Flask搭建较为完整的后端API项目,至于flask的基础部分,可直接看文档即可。
Flask英文文档Flask中文文档

2、创建项目myFlask

mkdir myFlask

3、虚拟环境利器——Virtualenv

在实际实践中,不同项目可能使用不同版本的python第三方包,比如应用A可能需要jinja 2.7,而应用B需要jinja 2.6,所以需要一个工具来统一开发环境,在此使用Virtualenv进行演示,将路径切换到项目根目录下。

(1)安装

sudo pip install virtualenv

(2)创建独立的Python运行环境

virtualenv --no-site-packages env

参数--no-site-packages是防止本地的python包污染到虚拟环境,此时在我们项目的根目录下便出现了env文件夹。

(3)进入环境

source env/bin/activate

注:退出虚拟环境命令为deactivate

(4)安装Flask

sudo pip install flask

4、API文件组织结构

假设目前我们基于历史数据用机器学习算法一个简单的推荐策略,那么运营部门需要我们做到他们每输入一个新数据,便可以实时返回一个数据结果。
此时,API初版文件组织如下

├── config.py 项目配置文件
├── env 虚拟环境
├── myapp API核心文件夹
│ ├── __init__.py 初始化应用,组件组合
│ ├── views.py 顶层:定义路由,获取前端输入数据
│ ├── services.py 中间层:处理输入数据并发送到model.py
│ ├── models.py 底层:定义数据模型,处理services请求数据并返回结果
│ ├── static 公共CSS、JS、 images等静态文件
│ └── templates 应用的Jinja2模板,实际上是html文件
├── requirements.txt应用依赖的所有Python包
└── run.py启动开发服务器

其中myapp目录下文件设计实际上是参考MVC框架。为理解MVC,先假设电脑为M-model,显示器为V-view,键盘或鼠标为C-control,当我们需要查看电脑本地某个文件,首先我们通过鼠标或键盘输入搜索请求,电脑接受请求后便返回结果,最后在显示器上我们便可看到文件内容。接下来,以一个简单例子说明各个函数的功能。

4.1 models.py

该部分处理与数据库交互部分。

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
M层-底层:处理业务模型
"""

def with_db():
    """测试函数"""
    return 'hello, I am from ./myapp/models.py'

4.2 services.py

该文件主要对用户输入的数据进行验证,验证必要的参数是否存在,将输入数据处理为适合数据模型的数据格式。

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
C层-中间层:对输入数据进行验证与处理
"""
from . import models


def service_demo():
    """测试函数"""
    return models.with_db()

4.3 views.py

主要管理路由,获取前端输入内容。

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
V层-顶层:处理展示
"""

from . import app
from . import services


@app.route('/api/v1')
def view_demo():
    """return"""
    return services.service_demo()

4.4 __init__.py

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
初始化APP
"""

import config
from flask import Flask


app = Flask(__name__)

from . import views

4.5 config.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
项目配置文件
"""

DEBUG = True # 启动Flask的Debug模式
DEV_HOST = '0.0.0.0'
DEV_PORT = 5000

4.6 run.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
应用启动程序
"""
from myapp import app

app.config.from_object('config')
app.run(host=app.config['DEV_HOST'], port=app.config['DEV_PORT'], debug=app.config['DEBUG'])

4.7 requirements.txt

pip freeze > requirements.txt

这样子便可将项目所依赖的所有第三方包均包含到requirements.txt,当到了新环境中,便可直接使用以下命令进行安装:
pip install -r requirements.txt

4.8 测试

可以利用curl命令进行测试,直观的话可以直接在浏览器输入localhost:5000/api/v1

image.png

5 蓝图

当我们的API有不同的接口时候,我们便需要将接口进行分离,Flask中提供了蓝图功能,具体的项目文件组织可以如下,具体可以移步到拓展阅读:
.
├── config.py
├── env 虚拟环境
├── myapp
│ ├── api_1_0
│ │ ├──__init__.py
│ │ ├── models.py
│ │ ├── services.py
│ │ ├── static
│ │ ├── templates
│ │ └── views.py
│ └── __init__.py
├── requirements.txt
└── run.py


参考:
[1] RESTful API 设计指南
[2] Principles of good RESTful API Design
[3] Github API v3

本文所有代码只用于技术交流,如转载请注明出处!

推荐阅读更多精彩内容