高可用数据库分布式应用实践

高可用数据库分布式应用实践,淘宝首席DBA。

高可用数据库分布式 应用实践陈吉平 淘宝网首席DBA,研究员 Oracle ACE Director 《构建oracle高可用环境》一书作者 2010年3月

2003-2010 http://www.77cn.com.cn All Rights Reserved. 淘宝网 版权所有

高可用数据库分布式应用实践,淘宝首席DBA。

内容介绍

传统数据库模式的瓶颈与挑战 PC Server与分布式技术 Server与分布式技术 分布式的扩展,多机房技术 总结

2003-2010 http://www.77cn.com.cn All Rights Reserved. 淘宝网 版权所有

高可用数据库分布式应用实践,淘宝首席DBA。

传统数据库的解决方案 优点– 稳定,可靠,硬件本身的 健壮性与冗余性 – 起步速度快,对使用方技 术要求相对低

缺点– 成本投入很大 – 扩展性不强,随业务量增 加,容易出现瓶颈(天花 板问题) – 出现故障的时候,影响面 很大

高端主机+高端存储解决方案

2003-2010 http://www.77cn.com.cn All Rights Reserved. 淘宝网 版权所有

高可用数据库分布式应用实践,淘宝首席DBA。

传统数据库的解决方案 集中的数据库– 小型机+高端存储 – Oracle数据库 – Scale up扩展方式

宝贵的数据库资源 单点,不方便扩展集中的数据库,简单快速太多的应用机器 有限的链接池 集中的数据库

Oracle数据库 2003-2010 http://www.77cn.com.cn All Rights Reserved. 淘宝网 版权所有

高可用数据库分布式应用实践,淘宝首席DBA。

什么是更好的? 低成本– 廉价服务器(PC Server) – 本地存储 – 定制化

弹性,可扩展,最好是动态可扩展– 分布式技术,甚至支持远程分布 – 动态平衡(如一致性Hash)

高可靠,高可用性– 容错,健壮性 – 冗余,永不失败

2003-2010 http://www.77cn.com.cn All Rights Reserved. 淘宝网 版权所有

高可用数据库分布式应用实践,淘宝首席DBA。

内容介绍

传统数据库模式的瓶颈与挑战 PC Server与分布式技术 Server与分布式技术 分布式的扩展,多机房技术 总结

2003-2010 http://www.77cn.com.cn All Rights Reserved. 淘宝网 版权所有

高可用数据库分布式应用实践,淘宝首席DBA。

PC Server的快速发展 Server的快速发展 PC Server的快速发展 Server的快速发展– 多核技术的发展,处理速 度越来越快 – 大众化,熟悉的人很多 – 开放,开源技术的支持, 如Linux,Jboss,Mysql等

存在的风险– 硬件本身可靠性不佳,要 靠应用的冗余性来保证整 体的高可用 – 对应用与构架的技术要求 相对比较高

PC Server,通用服务器

2003-2010 http://www.77cn.com.cn All Rights Reserved. 淘宝网 版权所有

高可用数据库分布式应用实践,淘宝首席DBA。

各种主机测试结果服务器型号 IBM P550 IBM P590 IBM P590 cpu个数 cpu主频 cpu型号 4 8 16 2.1G 2.8G 3.5G 4.4G 1.6G 1.65G power 5 power 5 power 5 X5560 power 6 power 6 Itanium 2 9100 内存 事务处理数 单核CPU事务处理数 294 656 1200 12G 1107 32G 421 54G 1735.49 64G 1206 73.5 82 75 138 105 124 50

intel nehalem样机 2 IBM P550 IBM P570 hp rx8640 4 14 12

2003-2010 http://www.77cn.com.cn All Rights Reserved. 淘宝网 版权所有

高可用数据库分布式应用实践,淘宝首席DBA。

分布式方案1 分布式方案1-读写分离 水平扩展构架体系– Scale out的解决方案 – 缓解主库的压力 – 独特的消息中间件同 步方式(Notify) 读库降低整体成本,但不影响整体稳定Application TDDLWrite & Read Read

主

库可以是小型机, 读库是PC 读库是PC Server– 读库可扩展 – 坏掉任何一个读库, 不影响整体业务 – 容许了PC Server本 身的不稳定性

1/N

1/N

1/N

…

1/N

1/N

Replication data

主数据库

2003-2010 http://www.77cn.com.cn All Rights Reserved. 淘宝网 版权所有

高可用数据库分布式应用实践,淘宝首席DBA。

分布式方案2 分布式方案2-共享存储 采用PC Server+集中 采用PC Server+集中 存储– 降低主机成本,解决主 机瓶颈问题 – 存储可扩展,解决主机 难扩展的问题 折中的水平拆分解决方案Application TDDL

实现高可用的思路– 主机用来确保数据库的 可扩展问题,实现水平 分布式 – 存储本身通过SAN网络 实现可扩展,以及SAN 环境下的冗余 – 有点类似RAC,但是主 要是结合应用,实现高 可用1/N 1/N 1/N

…

1/N

1/N

SAN存储网络 存储 存储 存储

…

存储

存储

2003-2010 http://www.77cn.com.cn All Rights Reserved. 淘宝网 版权所有

高可用数据库分布式应用实践,淘宝首席DBA。

分布式方案3 分布式方案3-完全拆分 全部采用PC Server 全部采用PC– 成本最低 – 扩展方便,但是单点可 靠性并不强 – Shared nothing 采用PC Server彻底细分Application TDDLWrite & Read

可靠性需要应用的保 证– 构架支持,坏掉任何一 个主库,不影响业务, 或者只影响当前库的业 务 – 如果多主结构,可以避 免单个主机故障

M

M

M

M

M

…S S S SRead

S

TDDL 2003-2010 http://www.77cn.com.cn All Rights Reserved. 淘宝网 版权所有

高可用数据库分布式应用实践,淘宝首席DBA。

分布式构架关键技术分布式构架关键技术-TDDL

2003-2010 http://www.77cn.com.cn All Rights Reserved. 淘宝网 版权所有

高可用数据库分布式应用实践,淘宝首席DBA。

内容介绍

传统数据库模式的瓶颈与挑战 PC Server与分布式技术 Server与分布式技术 分布式的扩展,多机房技术 总结

2003-2010 http://www.77cn.com.cn All Rights Reserved. 淘宝网 版权所有

高可用数据库分布式应用实践,淘宝首席DBA。

分布式多机房技术

多活中心

2003-2010 http://www.77cn.com.cn All Rights Reserved. 淘宝网 版权所有

高可用数据库分布式应用实践,淘宝首席DBA。

多机房技术1 多机房技术1-本地双机房 Data Guard + Redo Mirror 双Active,应用运行在两个机房 Active,应用运行在两个机房

2003-2010 http://www.77cn.com.cn All Rights Reserved. 淘宝网 版权所有

高可用数据库分布式应用实践,淘宝首席DBA。

多机房技术2 多机房技术2-多机房 容灾建设,数据保护-典型的两地三中心技术 容灾建设,数据保护 机房的读写分离技术-主/读站点机房(Ebay) 机房的读写分离技术- 读站点机房(Ebay) 机房的水平分布技术-多Active 机房的水平分布技术-

分布式多数据中心的支持

2003-2010 http://www.77cn.com.cn All Rights Reserved. 淘宝网 版权所有