sqlite 的分布式实现方案:rqlite

rqlite 相关操作说明

项目总为实现 sqlite 添加账号和密码,以满足信息安全的需求。
鉴于对 sqlite 实现添加账号和密码比较复杂和困难,项目中使用了分布式 rqlite ,故转而研究 rqlite 如何添加账号和密码。

项目概况:

开发语言:Python

存储: sqlite (rqlite)

整体流程:

  • rqlite 介绍
  • rqlite CLI 客户端介绍
  • rqlite Basic Auth
  • pyrqlite 介绍
  • sqlalchemy-rqlite 介绍

1. rqlite 使用介绍

rqlite 项目地址

作者博客

rqlite : 基于 SQLite 构建的轻量级、分布式关系数据库, 使用Go 编程实现,使用 Raft 算法来确保所有 SQLite 数据库实例的一致性。

  • 下载地址和方式

Download

以 Linux版本为例, 解压之后:存在: rqlite 和 rqlited 两个文件

  • 启动服务
./rqlited /pathdir/rqlitedata


# 在 /pathdir/rqlitedata 目录下存放数据文件和其他一些配置文件

peers.json  raft.db  snapshots

  • 启动多个节点
rqlited -http-addr localhost:4003 -raft-addr localhost:4004 -join http://localhost:4001 /pathdir/rqlitedata1
rqlited -http-addr localhost:4005 -raft-addr localhost:4006 -join http://localhost:4001 /pathdir/rqlitedata2

rqlite 支持Securing 操作

  1. File system security
  2. Network security
  3. HTTPS API
  4. Node-to-node encryption
  5. Basic Auth

2. rqlite CLI 命令行使用介绍

启动服务后可以使用命令行工具进行数据的增删改查:

./rqlite
127.0.0.1:4001>

# sqlite 的语法的增删改查都支持
演示示例:
$ ./rqlite
127.0.0.1:4001> CREATE TABLE foo (id INTEGER NOT NULL PRIMARY KEY, name TEXT)
0 row affected (0.000362 sec)
127.0.0.1:4001> .tables
+------+
| name |
+------+
| foo  |
+------+
127.0.0.1:4001> .schema
+---------------------------------------------------------------+
| sql                                                           |
+---------------------------------------------------------------+
| CREATE TABLE foo (id INTEGER NOT NULL PRIMARY KEY, name TEXT) |
+---------------------------------------------------------------+
127.0.0.1:4001> INSERT INTO foo(name) VALUES("fiona")
1 row affected (0.000117 sec)
127.0.0.1:4001> SELECT * FROM foo
+----+-------+
| id | name  |
+----+-------+
| 1  | fiona |
+----+-------+
127.0.0.1:4001> quit
bye~

命令行工具的参数说明

./rqlite -h
 
Options:
 
  -h, --help
      display help information
 
  -s, --scheme[=http]
      protocol scheme (http or https)
 
  -H, --host[=127.0.0.1]
      rqlited host address
 
  -p, --port[=4001]
      rqlited host port
 
  -P, --prefix[=/]
      rqlited HTTP URL prefix
 
  -i, --insecure[=false]
      do not verify rqlited HTTPS certificate
      

除命令行之外,rqlite 支持 HTTP API

通过 HTTP API 完成对数据库的增删改查。

演示示例:

# 创建数据库
 
curl -X POST 'localhost:4001/db/execute?pretty&timings' -H "Content-Type: application/json" -d '[
    "CREATE TABLE foo (id integer not null primary key, name text)"
]'
 
# 返回是个 json 格式的数据
{
    "results": [
        {
            "last_insert_id": 1,
            "rows_affected": 1,
            "time": 0.00886
        }
    ],
    "time": 0.0152
}
 
# 查询数据
 
curl -G 'localhost:4001/db/query?pretty&timings' --data-urlencode 'q=SELECT * FROM foo'
 
# 返回结果
 
{
    "results": [
        {
            "columns": [
                "id",
                "name"
            ],
            "types": [
                "integer",
                "text"
            ],
            "values": [
                [
                    1,
                    "fiona"
                ]
            ],
            "time": 0.0150043
        }
    ],
    "time": 0.0220043
}
 
# 也有很好的错误处理机制,比如查询一个不存在的数据库,或者语法错误,都能很好的捕获
 
curl -XPOST 'localhost:4001/db/execute?pretty&timings' -H "Content-Type: application/json" -d "[
    \"INSERT INTO nonsense\"
]"
 
{
    "results": [
        {
            "error": "near \"nonsense\": syntax error"
        }
    ],
    "time": 2.478862
}
 
# 还可显示响应信息
 
curl -v -G 'localhost:4003/db/query?pretty&timings' --data-urlencode 'q=SELECT * FROM foo'
 
# 响应信息
* About to connect() to localhost port 4001 (#0)
*   Trying ::1...
* Connection refused
*   Trying 127.0.0.1...
* Connected to localhost (127.0.0.1) port 4001 (#0)
* Server auth using Basic with user 'bob'
> GET /db/query?pretty&timings&q=SELECT%20%2A%20FROM%20foo HTTP/1.1
> Authorization: Basic Ym9iOnNlY3JldDE=
> User-Agent: curl/7.29.0
> Host: localhost:4001
> Accept: */*
>
< HTTP/1.1 200 OK
< Content-Type: application/json; charset=utf-8
< X-Rqlite-Version: v4.0.0
< Date: Tue, 14 Nov 2017 08:07:27 GMT
< Content-Length: 276
<
{
    "results": [
        {
            "columns": [
                "id",
                "name"
            ],
            "types": [
                "integer",
                "text"
            ],
            "time": 0.000116084
        }
    ],
    "time": 0.000741562
* Connection #0 to host localhost left intact

3. rqlite Basic Auth

其他安全策略暂时不研究,研究认证方式。

具体做法是:

  • 配置文件: config.json 规定相应用户的操作权限

  • 启动服务传入配置文件

  • 命令行操作 -H 传入参数

  • HTTP API 则也需要传入用户名和密码

演示:config.json

1. 用户名、密码和操作权限设置

[
  {
    "username": "bob",
    "password": "secret1",
    "perms": ["all"]
  },
  {
    "username": "mary",
    "password": "secret2",
    "perms": ["query", "status"]
  }
]


# 配置了两个用户名和密码,两个用户的操作权限不一致,mary 用户只要query , status 权限

注: 用户权限包括:

  • all: user can perform all operations on a node.
  • execute: user may access the execute endpoint.
  • query: user may access the query endpoint.
  • load: user may load an SQLite dump file into a node.
  • backup: user may perform backups.
  • status: user can retrieve status information from the node.
  • join: user can join a cluster. In practice only a node joins a cluster.
  • remove: user can remove a node from a cluster.

2. 传入认证参数启动节点服务

./rqlited -auth=/root/config.json -http-addr localhost:4001 -raft-addr localhost:4002 /root/data/rqlite

3. 若使用命令界面访问认证的数据库

bob,secret1 为配置文件中的用户名和密码

./rqlite -H bob:secret1@localhost
bob:secret1@localhost:4001>
 
# 正常使用 SQL 实现增删改查,不添加-H 参数,报错,无法读取数据库数据

4. 若使用HTTP API 的方式访问认证的数据库

访问 API 有所差异

curl -G 'https://bob:secret1@localhost:4001/db/query?pretty&timings' \
--data-urlencode 'q=SELECT * FROM foo'
 
# API 中带入了用户名和密码

4. pyrqlite 使用介绍

假设启动了节点服务,那如何实现编程实现对数据库的增删改查?

pyrqlite 和绝大多数数据库API 的使用方法一致:

安装

  • 下载源码
  • python setup.py install

基本使用

import pyrqlite.dbapi2 as dbapi2
 
# Connect to the database
connection = dbapi2.connect(
    host='localhost',
    port=4001,
)
 
try:
    with connection.cursor() as cursor:
        cursor.execute('CREATE TABLE foo (id integer not null primary key, name text)')
        cursor.executemany('INSERT INTO foo(name) VALUES(?)', seq_of_parameters=(('a',), ('b',)))
 
    with connection.cursor() as cursor:
        # Read a single record
        sql = "SELECT `id`, `name` FROM `foo` WHERE `name`=?"
        cursor.execute(sql, ('a',))
        result = cursor.fetchone()
        print(result)
finally:
    connection.close()
 
# 结果
OrderedDict([('id', 1), ('name', 'a')])

若启动了一个配置认证信息的节点如何操作pyrqlite

最新版本,已经实现创建数据库连接时配置 user 和 paasword

connection = dbapi2.connect(
    host='localhost',
    port=4001,
    user='bob',
    password='secret1'
)

5. sqlalchemy-rqlite 使用介绍

如果对直接编写SQL 语句容易出错,作者还提供了ORM 方式。

安装

  • 下载源码
  • python setup.py install

基本使用

from sqlalchemy import create_engine
engine = create_engine('rqlite+pyrqlite://localhost:4001/', echo=True)

如果对已经配置认证信息的节点进行连接

from sqlalchemy import create_engine
engine = create_engine('rqlite+pyrqlite://localhost:4001/?user=bob&password=secret1', echo=True)

(全文完)

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,458评论 4 363
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,454评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,171评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,062评论 0 207
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,440评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,661评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,906评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,609评论 0 200
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,379评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,600评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,085评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,409评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,072评论 3 237
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,088评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,860评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,704评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,608评论 2 270

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 170,569评论 25 707
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,100评论 18 139
  • “京东创始人刘强东跟我一起被人告了,原因竟是一部小朋友都爱看的动画片——喜洋洋与灰太狼!” 昨天状状收到粉丝留言,...
    大状师阅读 498评论 0 3
  • “莺莺张生红娘子,十娘怒沉百宝箱,若无真情无绝唱”,歌词透露出痴情的伤,从古至今,似乎受伤的大多是多情的一方,多情...
    小麦快熟阅读 1,209评论 1 1
  • 昨晚在桥上徜徉,慵懒的偎着栏杆看晚霞、游船、弹唱的艺人、归家的飞鸟成群…下午在小镇的零食店喝了两...
    兆辕阅读 333评论 0 0