开放云平台数据引擎CMEM

开放平台的数据引擎CMEM系统介绍

腾讯云平台部邹润谋

DTCC2012

CMEM的诞生背景随着web2.0的快速发展,对互联网业务数据的要求越来越高

高可用

大吞吐

低延迟

热点大

平滑扩容

定点回档

为了应对以上挑战,在参考其他NoSQL技术的基础上腾讯开发出自己的高性能NoSQL存储CMEM在内部SNSGame和开放平台中发挥重要作用并不断发展完善

DTCC2012

概述什么是CMEM 全称为Cloud Memcache 高性能分布式数据存储服务,适用于Key-Value存储场景 适用存放对吞吐,延迟要求苛刻,数据安全性要求较高的数据使用CMEM的好处 一键式自助申请,马上可用,开发者无需自行安装memcached 通过支持memcached协议客户端和私有API均可访问 主备切换后应用接入入口不变，应用层无需修改配置 提供master-slave热备+流水,高可靠,支持定点回档 支持应用“一键式”无损扩容,无需业务参与.

DTCC2012

一些缓存的缺点Memcached模型 TTServer模型

MySql

Memory

Disk

Memory

缺点

缺点

写量支持有限,数据库IO瓶颈扩容复杂,需要应用拆分死机后需要预热,恢复时间长

回写期间毛刺严重扩容复杂,需要应用拆分预热时间长,业务不可用

DTCC2012

CMEM架构模型CMEM各业务管理

Master主机业务A

业务B

备件 Access接入群(全镜像) cache存储群备件备件

DTCC2012

CMEM系统模型CMEM模型用户运维

Access接入集群Master管理中心

Transf er搬迁中心

Stat统计中心

Dump集中备份中心

Stop策略执行中心

运维门户

Cache存储集群

数据高可靠性并发能力,写入能力强支持通用协议垮IDC搬迁能力锁定业务能力探测和预警能力统计分析功能支持数据淘汰业务无感扩容故障自动切换

DTCC2012

CMEM的高性能大量运用zero-copy思想,数据管道传递时,编解码次数最少网络处理逻辑运行于OS内核态,处理能力可达到35w/s(req+rsp),接近硬件极限请求延迟一般在us级别Client数据长度(字节)数据源 Client Client Client Client并发数 100(写) 200(读) 100(写) 200(读) 100(写) 200(读) 100(写) 200(读)执行时间(s) 300 300 300 300平均处理量(/s) 2.9355W 6.4016W 4.2W 10.817W 3.6504W 12.082W 4.2922W 12.357W失败率(%) 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000

1024 512 256 128

接入机型 Intel(R) Xeon(R) CPU E5504@ 2.00GHz千兆网卡 8G内存存储机型 Intel(R) Xeon(R) CPU E5405@ 2.00GHz千兆网卡 32G内存

DTCC2012

CMEM的扩容扩容只需增加扩容存储,瞬间完成表空间扩容扩容时读写不受影响,业务完全无感知并发可变速度的数据搬迁能力

接入集群

新增存储搬迁任务

初始存储

DTCC2012

CMEM的安全保证,快速切换热备+冷备保证单机故障快速切换

流水备份支持5分钟切片数据回档

备份中

心

接入集群

主

备 Standy+流水备份

DTCC2012

CMEM的迁移能力IDC1 IDC2

集群A

集群B

导数据 MD5比对补差

2T数据比对补差1.5h

DTCC2012

CMEM的业务锁定保护主备机同时死机

查找机器所涉及的业务

只读死机涉及的所有业务

保证数据一致性DTCC2012

CMEM的探测和监控能力

机器自身监控告警多点探测告警多级别告警定制化告警

DTCC2012

CMEM的统计分析

DTCC2012

CMEM现有规模

50T+存储数据

50+集群

4000+ 2000+应用服务接入器

DTCC2012

谢谢! Q&A腾讯云平台部欢迎业界精英加盟,共建云存储 runmouzou@

DTCC2012