淘宝技术架构介绍_V3

淘宝技术架构介绍

淘宝技术架构介绍2009.6

淘宝技术架构介绍

目标

了解淘宝，了解淘宝的架构需求了解淘宝的技术演变了解一些约束

淘宝技术架构介绍

淘宝是什么？ 淘宝是一个网站WebServer

AppServer

DBServer

淘宝技术架构介绍

淘宝是什么网站？ 淘宝是一个交易网站 交易 要素 人物合同(订单)

过程 匘配过程 交易过程 付款 发货

沟通交流

功能需求 交易系统

非功能需求 高稳定性

淘宝技术架构介绍

淘宝是什么样的交易网站？ 淘宝是一个很大的交易网站 每天 7亿次的页面访问，其中搜索宝贝过亿次，浏览宝贝过亿次 超过40亿次的用户访问，超过6亿次的交易访问，超过6亿次的宝贝访问 超过400万笔有效交易

高峰期 每秒超过25G的流量，核心业务每秒超过4.5G的流量 每秒生成几百笔交易，8万次的用户访问，1.5万次的商品访问

淘宝总共 超过22TB的宝贝图片存储 超过4亿条的在线交易记录，超过2亿的在线宝贝

非功能需求

高容量 高性能

淘宝技术架构介绍

淘宝是什么样的很大的交易网站？ 淘宝是一个高速发展的很大的交易网站 2008Q3 发布项目15个 发布日常285个 发布模板440次

2008Q4 发布项目49个 发布日常1149个 发布模板1909次

非功能需求 高可维护性

淘宝技术架构介绍

对淘宝技术架构的原始需求 高稳定性 高容量 高性能 高可维护性

淘宝技术架构介绍

淘宝发展历程25002000 15002008年每天：增加800G的数据高峰期流量超过30G/S处理超过1000G的日志处理40亿次的用户信息访问缓存处理60亿次的请求 2008年：交易额999.6亿注册用户9800万卖出1.4亿件服饰卖出1366万部手机卖出3130万张充值卡8W片/天 3.8W片/天

10005002000片/天 9000片/天

PV全网成交

2W片/天

0

2003 V1.0

2004V1.1

2005

2006 V2.1

2007 V2.2

2008

2009

V2.0

V3.0

淘宝技术架构介绍

V1.0 2003.5– 2004.1

2003年非典时期马于住宅 LAMP MySQL读写分离

淘宝技术架构介绍

V1.0Function Function 3 Function 2 Apache Function 1 Apache Apache mod_php4 Apache mod_php4 mod_php4 pear DB mod_php4 pear DB pear DB pear DB

Read复制 Slave1

Read/Write复制MySQL Master

Read

Slave2

淘宝技术架构介绍

V1.1过渡版本 V1.0问题 数据库容量限制 数据稳定性

V1.1需求 解决数据库性能问题 为V2做好准备

淘宝技术架构介绍

V1.1 2004.1– 2004.5 MySQL迁移至Oracle 引入SQL Relay中间件 迁移阶段开发人员写两种SQL

淘宝技术架构介绍

V1.1

Function 4 Function 3 Function 2 Apache Apache Function 1 Apache mod_php4 mod_php4 Apache mod_php4 pear DB pear DB mod_php4 pear DB SQL Relay SQL Relay pear DB SQL Relay SQL Relay

Oracle

淘宝技术架构介绍

V1问题 开发效率 无技术积累 丌能满足团队开发 丌能满足长期持续维护

性能 连接池 容量制约

淘宝技术架构介绍

V2需求 支撑高速业务发展 支撑团队幵行开发

支撑系统的可伸缩

淘宝技术架构介绍

V2.0 2004.2-2005.03 php迁移至java 三层结构 WebX Service Framework AntX ISearch

淘宝技术架构介绍

V2.0

Function 4 Function 3 Weblogic Function 2 Weblogic Function 1 WebX Weblogic WebX Weblogic EJB WebX EJB WebX Ibatis EJB Ibatis EJB Ibatis Ibatis

Read/Write SearchOracle dump Node 1 Node 2

……

Node n

淘宝技术架构介绍

V2.0逻辑结构表示层 Service FrameworkUC AOBO UC AO

业务请求转发业务流程处理UC AO

UC AO BO

BO

业务逻辑层

EJB容器内

BO

DAO

DAO

数据持久层DAO

DAO

Oracle

Oracle

Oracle

淘宝技术架构介绍

V2.0淘宝MVC框架 WebX 基亍规则 基亍Service Framework 模块化 car

pipeline 页面布局 Screen Layout Control

多模板引擎 Jsp Velocity FreeMarker