分库分表梳理


当涉及到分库来支撑高并发的请求,大量分表保证每个表的数据量别太大,读写分离实现主库和从库按需扩容 结合自己公司的业务和项目来考虑自己的系统如何做分库分表应该怎么做 具体的分库分表落地的时候,需要借助数据库中间件来实现分库分表和读写分离 对于日单量50万的订单表  从单表结构设计上 没有好的方法能解决 问题的本质 需要如何看待要描述嗯问题 而不局限于那一点上 如何解决问题 对于订单 单表数据量越来越大  若 每天单表新增50万条数据,一个月就多1500万条数据,一年下来单表会达到上亿条数据。 在高峰期请求现在是每秒1万  系统可以做微服务集群部署 解决平均每台机器每秒支撑一千以内的请求  数据库层面 如何解决呢 到数据库层面每秒上万的并发请求应该如何来支撑? 单从单表字段结构设计想是死胡同 应该从数据库并发 负载量考虑问题 怎么实现数据分流 才是正路 对于普通服务器 一般让其每秒请求支撑 控制在2000 左右 负载相对合理 解决 方案如下 首先第一步,就是在上万并发请求的场景下,部署个5台服务器,每台服务器上都部署一个数据库实例。 然后每个数据库实例里,都创建一个一样的库,比如说订单库。 此时在5台服务器上都有一个订单库,名字可以类似为:db_order_01,db_order_02,等等 然后每个订单库里,都有一个相同的表 那么此时5个订单库里都有一个订单信息表。 比如db_order_01库里就有一个tb_order_01表,db_order_02库里就有一个tb_order_02表。 这就实现了一个基本的分库分表的思路,原来的一台数据库服务器支撑变成了5台数据库服务器,原来的一个库变成了5个库,原来的一张表变成了5个表。 然后你在写入数据的时候,需要借助数据库中间件,比如sharding-jdbc,或者是mycat,都可以。 可以根据比如订单id来hash后按5个库取模,比如每天订单表新增50万数据,此时其中10万条数据会落入db_order_01库的tb_order_01表,另外10万条数据会落入db_order_02库的tb_order_02表,以此类推。 这样就可以把数据均匀分散在5台服务器上了,查询的时候,也可以通过订单id来hash取模,去对应的服务器上的数据库里,从对应的表里查询那条数据出来。 [图片 703.jpg] 原来比如订单表就一张表,这个时候不就成了5张表了么,那么每个表的数据就变成1/5了。 假设订单表一年有1亿条数据,此时5张表里每张表一年就2000万数据了 每天新增50万数据的话,那么每个表才新增10万数据,这样初步缓解了单表数据量过大 带来的性能问题 最后 回来原先来问题 每秒1万请求到5台数据库上,每台数据库就承载每秒2000请求 若一年一亿的量 ,每个库还是有两千万 还是数据量太大 还应该继续分表,大量分表。 比如可以把订单表动态创建拆分为1024张表,这样1亿数据量的话,分散到每个表里也就才10万量级的数据量,然后这上千张表分散在5台数据库里就可以了。 在写入数据的时候,需要做两次路由,先对订单id hash后对数据库的数量取模,可以路由到一台数据库上,然后再对那台数据库上的表数量取模,就可以路由到数据库上的一个表里了 通过这个步骤,就可以让每个表里的数据量非常小,每年1亿数据增长,但是到每个表里才10万条数据增长,这个系统运行10年,每个表里可能才百万级的数据量 这样可以一次性为系统未来的运行做好充足的准备 [图片 704.jpg] 大量分表的策略保证可能未来10年,每个表的数据量都不会太大,这可以保证单表内的SQL执行效率和性能。 然后多台数据库的拆分方式,可以保证每台数据库服务器承载一部分的读写请求,降低每台服务器的负载。 不得不考虑一个问题 假如说每台数据库服务器承载每秒2000的请求,然后其中400请求是写入,1600请求是查询。 增删改的SQL才占到了20%的比例,80%的请求是查询。 这时候 数据库一般都支持读写分离,也就是做主从架构。 写入的时候写入主数据库服务器,查询的时候读取从数据库服务器,就可以让一个表的读写请求分开落地到不同的数据库上去执行。 这样的话,假如写入主库的请求是每秒400,查询从库的请求是每秒1600 [图片 705.jpg] 写入主库的时候,会自动同步数据到从库上去,保证主库和从库数据一致。 然后查询的时候都是走从库去查询的,这就通过数据库的主从架构实现了读写分离的效果了 现在的好处就是,假如说现在主库写请求增加到800,这个无所谓,不需要扩容。然后从库的读请求增加到了3200,需要扩容了。 这时,你直接给主库再挂载一个新的从库就可以了,两个从库,每个从库支撑1600的读请求,不需要因为读请求增长来扩容主库。 实际上线上生产你会发现,读请求的增长速度远远高于写请求,所以读写分离之后,大部分时候就是扩容从库支撑更高的读请求就可以了 对同一个表,如果你既写入数据(涉及加锁),还从该表查询数据,可能会牵扯到锁冲突等问题 所以一旦读写分离之后,对主库的表就仅仅是写入,没任何查询会影响他,对从库的表就仅仅是查询
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,569评论 4 363
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,499评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,271评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,087评论 0 209
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,474评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,670评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,911评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,636评论 0 202
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,397评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,607评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,093评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,418评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,074评论 3 237
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,092评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,865评论 0 196
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,726评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,627评论 2 270