什么是分片技术(Sharding)?
Sharding 中文名叫数据分片(是指数据层的水平分区),是对数据进行横向扩展的一种方式。数据量增加,我可以通过加一台机器,来扩展其容纳能力和处理能力。
Sharding它解决三个关键问题:
1.数据的路由
是数据库告诉应用程序,你让我查的数据目前在哪个分片上,这条路怎么走过去。
2.数据的分片
是实际数据的存放地点,往往每个分片就是一台单独的服务器(含存储)。
3.分片的元数据信息保存
是被切割放在不同的机器上,那么需要有个集中的地点存放数据分片的信息,即分片元数据的信息。
总结一下就是:应用问路由怎么走,路由去查询元数据得知需要的数据在哪个分片上,最终应用访问到该分片上。
Oracle分片- 数据库架构模式
•Oracle Sharding在提供Sharding的同时,并没有牺牲掉关系型数据库所带来的优秀特性,比如说关系型数据建模,SQL编程接口,丰富的数据类型,在线的表结构变更,充分利用CPU多核的扩展性,高级安全,压缩,高可用,ACID特征,一致读,所有的Oracle数据库的优势仍然还在那里,但是,额外,提供了Sharding的优势。
•对于Oracle Sharding的上层来说,使用的是Oracle GDS(Global Data Services)框架来实现自动部署和shading的管理以及拓扑复制。GDS还同时提供了对于整个SDB访问的负载均衡和基于位置的路由功能。在GDS框架中,global service manager负责将应用过来的请求转发到合适的shard上,另外还有一个shard catalog数据库,支持跨shard的查询功能,同时SDB的配置数据也都存在这个catalog数据库中。
•对于Oracle Sharding的底层来说,使用的是Oracle长久以来一直存在的分区(partitioning)技术。Oracle Sharding就其本质上来说,实际上就是分布式分区,将以前的分区扩展支持到跨不同的物理数据库上。
Oracle分片的优点
•数据自动分片到独立的分片数据库(分片)中,这些库组成一个数据库池。
•这个数据库池以一个单一的逻辑库的方式呈现给应用程序
•支持在线添加分片以增加整体吞吐量
•数据量,客户量和交易量可线性扩展
•一个分片库的故障或减速不影响其他分片的可用性
•自动部署数据库复制实现分片级的高可用性(RAC 可选)
•每个分片可独立补丁和升级,不影响其他分片
•灵活的分片组织- 一致性哈希,区域,列表或复合分片(range-hash, list-hash)
•数据分布可基于可用性,灾难恢复,性能,或法规要求决定
Sharding适合所有的数据库应用吗?
既然Sharding听上去很厉害,那么是不是现在只要遇到有性能问题的数据库,一律都可以使用Sharding技术来解决呢?当然不,Sharding不会也不可能是FAST=TRUE这样的参数。一个适合Sharding技术的应用,必须有非常好的数据模型,和清晰的数据分布策略(比如是一致性哈希,范围或者列表分区),并且访问这些数据也是总要通过shard key来过滤的,只有这样,才能在整个Sharded数据库架构中很好地将请求路由到合适的数据库上。这样的shard key可能会是客户编号,国家编号,身份证号码等。
Sharding适合的业务场景:
专用OLTP应用Custom OLTP Applications,海量扩展和高可用性 MassiveScalability and HA
•大规模计费系统 Large billing systems
•航空票务系统 Airline ticketing systems
•在线金融服务Online financial services
•媒体服务公司Media companies
•在线信息服务Online information services
•社交媒体公司Social media companies
分片数据库物理架构
Sharding分片数据库的物理架构如下所示:
分片数据库组件
•分片目录库 Shard Catalog
存储SDB元数据 metadata
跨片查询的协调数据库 coordinator
包含应用的元数据定义和复制表 Contains application gold schema & duplicated tables
•分片导向器 Shard Director(Global Service Manager)
提供从应用层到分片连接请求的路由导向 。
通过ONS FAN发布运行时SDB拓扑图,均衡负载的建议跨数据库服务故障切换和管理。
连接时负载均衡 Connect-time loadbalancing。
•全局服务 Global Service
通过服务属性(service attributes)建立工作负载管理策略 workloadmanagement
本地服务优先 + {本地性, 复制时延, 角色, 数据库可选择性, 负载均衡目标}
Local service + {Locality, replication lag, role, database cardinality,load balancing goals}
•GDSCTL
管理SDB及其组件的命令行界面
•GDS区域 GDS Region
网络上邻近的一组分片和客户端
Sharding的部署方式
Sharding的部署方式非常的灵活,不仅可以在不同的主机(不同的操作系统)上部署;也可以部署在不同的地方,同时支持云上的部署。如下图:
Oracle分片方式
对于Oracle Sharding的底层来说,使用的是Oracle长久以来一直存在的分区(partitioning)技术。Oracle Sharding就其本质上来说,实际上就是分布式分区,将以前的分区扩展支持到跨不同的物理数据库上。使用的是Oracle GDS(Global Data Services)框架来实现自动部署和shading的管理以及拓扑复制。
总结
OracleSharding是分片数据层架构,数据是横向分区在独立的数据库。每个数据库的配置被称为分片单元。所有的分片单元在一起组成一个逻辑数据库,称为数据库分片。
它为企业提供了完整数据平台,对于业务系统需要分库分表,要线性水平扩展,没问题用Sharding最合适,它能做到自动化端到端的生命周期管理,为新一代开发者提供一个企业级的数据库平台。
【文章来源:Oracle官网】