百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

分库分表实现方式Client和Proxy,性能和维护性该怎么选?

haoteby 2025-06-08 21:13 16 浏览

大家好,我是【架构摆渡人】,一只十年的程序猿。这是分库分表系列的第一篇文章,这个系列会给大家分享很多在实际工作中有用的经验,如果有收获,还请分享给更多的朋友。

其实这个系列有录过视频给大家学习,但很多读者反馈说看视频太慢了。也不好沉淀为文档资料,希望能有一系列文字版本的讲解,要用的时候可以快速浏览关键的知识点。那么它就来了,我再花点时间写成几篇连续的文章供大家学习。

分库分表的手段

手动路由

如果没有复杂的操作,手动路由相对来说是简单的方式。比如你的操作只根据分片键操作,那么通过分片键你可以计算出这条数据的库和表,从而将你的SQL路由到指定的库进行执行。

这里主要是要在执行SQL的时候,动态获取对应的数据源,获取到数据源之后就用这个数据源进行SQL的执行。至于SQL在哪张表即SQL拼接的时候就已经知道了。

这也是最简单的实现分库分表的方式,但是实际业务中,我们不可能只根据分片键进行查询,假设有非分片键的查询,就还涉及到数据聚合,分页的问题,如果每个业务都要自己处理,这复杂度就太高了,所以我们需要一款中间件来支撑分库分表的需求。

中间件

分库分表中间件的出现,降低了分库分表的门槛,也极大的提升了开发效率。中间件内部会回SQL进行校验,解析,路由,聚合等逻辑。同时也会考虑到可用性,易用性等方面。

目前中间件主要分为两种类型,一种是Client方式的中间件,比如Sharding-JDBC,Ctrip DAL,TSharding等优秀的中间件。

一种是Proxy方式的中间件,比如ShardingSphere,Mycat等优秀的中间件。

Client和Proxy方式对比

Client方式是指分库分表的逻辑都在应用本地进行控制,应用本地会直连多个数据库进行操作,然后本地进行数据的聚合汇总等操作逻辑。

Proxy方式是指挥有一个独立的应用,这个应用实现了Mysql的协议,可以对外提供服务。业务方的应用不需要直接连接数据库,而是连接这个Proxy的应用,把这个Proxy就当做一个数据库使用。Proxy会将Sql分发到具体的数据库进行执行,并返回结果。

性能方面比较

从性能这块去比较多的话,Client方式性能更好。Client方式采用的是应用直连数据库的形式,一条SQL直达数据库,拿到结果直接就可以用了,基本上跟我们没分库分表之前差不了多少。

Proxy方式在性能方法会有一点损耗,因为中间多了一次路由操作。就是SQL由应用到Proxy,Proxy再将SQL路由到具体的数据库,拿到结果,再响应给应用。

内存方面比较

从内存占用这块去比较的话,Client方式不是很好。Client方式拿到数据库响应的内容后要在应用本地进行聚合操作,内存,cpu等都是占用当前应用的资源。

Proxy方式也是会占用内存,但是它的内存不是当前应用的内存,而是Proxy这个应用的内存,Proxy应用是单独部署的,所以是隔离的状态。同时Proxy是会集群部署的,所以会更好点。

连接数方面比较

Client方式在连接数方面会占用的比较多,每个应用都会直接连接每个库,每个库也就是一个连接池。

Proxy方式连接数会相对较少一点,每个库只需要一个连接池即可。应用连接Proxy占用的就不是数据库的连接了。当然如果Proxy集群的节点多的话,连接数也是会相应的增多。

架构复杂度比较

Client方式在架构方面比较简单,通常是依赖一个Jar包,不会出现单点故障问题。

Proxy方式需要单独部署一个独立的服务,并且这个服务也要考虑高可用,整体的架构复杂度还是比较高的,所以小团队建议大家用Client方式。

从升级方面比较

Client方式每个项目都要依赖Jar包,一但版本有什么问题,出了新的修复版本,所有项目都得跟着升级。小公司还好,就那么几个项目,大公司的项目成百上千,而且都是属于不同团队下的,这种中间件是属于基础架构团队的,要推动业务团队升级其实很困难的,没个半年基本上很难全部都升级完。

Proxy方式在这方面的优势就提现出来了,有什么新功能或者修复了什么Bug,只需要Proxy集群重新发布一遍即可,使用方完全不需要关心,也就不存在推动升级的问题了。但是需要做好一点:发布过程中必须无损。这边应用时刻都在执行SQL,你发布不能导致应用执行SQL报错。

统一管控方面比较

Client方式要做统一管控,必须得进行升级,但是升级又是一个很耗时的推动过程。

Proxy方式在统一管控方式就容易的多,比如对SQL的限流,监控,告警等管控,是不需要客户端关心的。除了这些管控,还有一些其他的管控,比如异地多活场景下的禁写,禁读操作,都是管控的点。如果用Client方式确实不太好统一处理。

总结

今天主要给大家介绍了如何进行分库分表中间件的选型,不同的阶段其实适合不同的中间件。规模不大时建议用Client方式的中间件,使用简单,也没什么维护成本。规模大了后建议用Proxy方式的中间件,更方便统一管控和维护。

原创:架构摆渡人(公众号ID:jiagoubaiduren),欢迎分享,转载请保留出处。

本文已收录至学习网站 http://cxytiandi.com/ ,里面有Spring Boot, Spring Cloud,分库分表,微服务,面试等相关内容。

相关推荐

一日一技:用Python程序将十进制转换为二进制

用Python程序将十进制转换为二进制通过将数字连续除以2并以相反顺序打印其余部分,将十进制数转换为二进制。在下面的程序中,我们将学习使用递归函数将十进制数转换为二进制数,代码如下:...

十进制转化成二进制你会吗?#数学思维

六年级奥赛起跑线:抽屉原理揭秘。同学们好,我是你们的奥耀老师。今天一起来学习奥赛起跑线第三讲二进制计数法。例一:把十进制五十三化成二进制数是多少?首先十进制就是满十进一,二进制就是满二进一。二进制每个...

二进制、十进制、八进制和十六进制,它们之间是如何转换的?

在学习进制时总会遇到多种进制转换的时候,学会它们之间的转换方法也是必须的,这里分享一下几种进制之间转换的方法,也分享两个好用的转换工具,使用它们能够大幅度的提升你的办公和学习效率,感兴趣的小伙伴记得点...

c语言-2进制转10进制_c语言 二进制转十进制

#include<stdio.h>intmain(){charch;inta=0;...

二进制、八进制、十进制和十六进制数制转换

一、数制1、什么是数制数制是计数进位的简称。也就是由低位向高位进位计数的方法。2、常用数制计算机中常用的数制有二进制、八进制、十进制和十六进制。...

二进制、十进制、八进制、十六进制间的相互转换函数

二进制、十进制、八进制、十六进制间的相互转换函数1、输入任意一个十进制的整数,将其分别转换为二进制、八进制、十六进制。2、程序代码如下:#include<iostream>usingna...

二进制、八进制、十进制和十六进制等常用数制及其相互转换

从大学开始系统的接触计算机专业,到现在已经过去十几年了,今天整理一下基础的进制转换,希望给还在上高中的表妹一个入门的引导,早日熟悉这个行业。一、二进制、八进制、十进制和十六进制是如何定义的?二进制是B...

二进制如何转换成十进制?_二进制如何转换成十进制例子图解

随着社会的发展,电器维修由继电器时代逐渐被PLC,变频器,触摸屏等工控时代所替代,特别是plc编程,其数据逻辑往往涉及到数制二进制,那么二进制到底是什么呢?它和十进制又有什么区别和联系呢?下面和朋友们...

二进制与十进制的相互转换_二进制和十进制之间转换

很多同学在刚开始接触计算机语言的时候,都会了解计算机的世界里面大多都是二进制来表达现实世界的任何事物的。当然现实世界的事务有很多很多,就拿最简单的数字,我们经常看到的数字大多都是十进制的形式,例如:我...

十进制如何转换为二进制,二进制如何转换为十进制

用十进制除以2,除的断的,商用0表示;除不断的,商用1表示余0时结束假如十进制用X表示,用十进制除以2,即x/2除以2后为整数的(除的断的),商用0表示;除以2除不断的,商用1表示除完后的商0或1...

十进制数如何转换为二进制数_十进制数如何转换为二进制数举例说明

我们经常听到十进制数和二进制数,电脑中也经常使用二进制数来进行计算,但是很多人却不清楚十进制数和二进制数是怎样进行转换的,下面就来看看,十进制数转换为二进制数的方法。正整数转二进制...

二进制转化为十进制,你会做吗?一起来试试吧

今天孩子问把二进制表示的110101改写成十进制数怎么做呀?,“二进制”简单来说就是“满二进一”,只用0和1共两个数字表示,同理我们平常接触到的“十进制”是“满十进一”,只用0-9共十个数字表示。如果...

Mac终于能正常打游戏了!苹果正逐渐淘汰Rosetta转译

Mac玩家苦转译久矣!WWDC2025苹果正式宣判Rosetta死刑,原生游戏时代终于杀到。Metal4光追和AI插帧技术直接掀桌,连Steam都连夜扛着ARM架构投诚了。看到《赛博朋克2077》...

怎么把视频的声音提出来转为音频?音频提取,11款工具实测搞定

想把视频里的声音单独保存为音频文件(MP3/AAC/WAV/FLAC)用于配音、播客、听课或二次剪辑?本文挑出10款常用工具,给出实测可复现的操作步骤、优缺点和场景推荐。1)转换猫mp3转换器(操作门...

6个mp4格式转换器测评:转换速度与质量并存!

MP4视频格式具有兼容性强、视频画质高清、文件体积较小、支持多种编码等特点,适用于网络媒体传播。如果大家想要将非MP4格式的视频转换成MP4的视频格式的话,可以使用MP4格式转换器更换格式。本文分别从...