NoSQL数据库渐入佳境 国内应用案例盘点

转载其他网络文章

NoSQL数据库渐入佳境 国内应用案例盘点

2011年09月22日00:05 it168网站原创 作者：红丸 编辑：王玉圆 评论：0条

【IT168专稿】随着互联网的不断发展，各种类型的应用层出不穷，所以导致在这个云计算的时代，对技术提出了更多的需求。虽然关系型数据库已经在业界的数据存储方面占据不可动摇的地位，但是由于其天生的几个限制，使其很难满足上面这几个需求：扩展困难、读写慢、成本高、有限的支撑容量。业界为了解决上面提到的几个需求，推出了新类型的 “NoSQL”数据库。总的来说，在设计上，它们非常关注对数据高并发地读写和对海量数据的存储等，与关系型数据库相比，它们在架构和数据模型方量面做了”减法”，而在扩展和并发等方面做了”加法”。

现今的计算机体系结构在数据存储方面要求具备庞大的水平扩展性，而NoSQL致力于改变这一现状。目前Google、Yahoo、Facebook、Twitter、Amazon都在大量应用NoSQL型数据库。本文以NoSQL在国内知名的互联网公司应用为案例，为大家细数国内NoSQL数据库的应用情况。

一、新浪微博

大家都知道，在美国有一个非常有名的信息分享平台叫做Twitter，而在中国，我们也有同样的方式，就是现在非常流行的新浪微博，它还有个非常温馨的名字，叫做围脖。

▲新浪微博

新浪微博从技术上来说，每天用户发表特别容易，这造成每天新增的数据量都是百万级的、上千万级的这样一个量。这样你经常要面对的一个问题就是增加服务器，因为一般一台MySQL服务器，它可能支撑的规模也就是几千万，或者说复杂一点只有几百万，这样，你可能每天都要增加服务器，从而解决所你面对的这些问题。

目前新浪微博是Redis全球最大的用户，在新浪有200多台物理机，400多个端口正在运行着Redis, 有+4G的数据跑在Redis上来为微博用户提供服务。

转载其他网络文章

在新浪NoSQL和MySQL在大多数情况下是结合使用的，根据应用的特点选择合适存储方式。譬如：关系型数据，例如：索引使用MySQL存储，非关系数据库，例如：一些K/V需求的，对并发要求比较高的放入Redis存储。

Redis通过修改源码满足自己的业务需求：完善它的replication机制，加入position的概念，让维护更容易，同时failover能力也大大增强。改善Hashset在rdb里面的存储方式，提升复杂数据类型的加载速度。

二、淘宝数据平台

淘宝网拥有国内最具商业价值的海量数据。截至当前，每天有超过30亿的店铺、商品浏览记录，10亿在线商品数，上千万的成交、收藏和评价数据。如何从这些数据中挖掘出真正的商业价值，进而帮助淘宝、商家进行企业的数据化运营，帮助消费者进行理性的购物决策，是淘宝数据平台与产品部的使命。

▲淘宝数据平台

数据产品的一个最大特点是数据的非实时写入，正因为如此，可以认为在一定的时间段内，整个系统的数据是只读的。这为设计缓存奠定了非常重要的基础。一些对实效性要求很高的数据，例

转载其他网络文章

如针对搜索词的统计数据，希望能尽快推送到数据产品前端，所以在内存中做实时计算，并把计算结果在尽可能短的时间内刷新到NoSQL存储设备中，供前端产品调用。

淘宝Oceanbase的设计之初，是这样的。公司通过对淘宝的在线存储需求进行分析发现：

淘宝的数据总量比较大，未来一段时间，比如五年之内的数据规模为百TB级别，千亿条记录，另外，数据膨胀很快，传统的分库分表对业务造成很大的压力，必须设计自动化的分布式系统。所以有了淘宝Oceanbase，它以一种很简单的方式满足了未来一段时间的在线存储需求，并且还获得了一些其它特性，如高效支持跨行跨表事务，这对于淘宝的业务是非常重要的。

淘宝Tair是由淘宝自主开发的Key/Value结构数据存储系统，并且于2010年6月30号在淘宝开源平台上正式对外开源，在淘宝网有着大规模的应用。用户在登录淘宝、查看商品详情页面或者在淘江湖和好友“捣浆糊”的时候，都在直接或间接地和Tair交互。淘宝将Tair开源，希望有更多的用户能从我们开发的产品中受益，更希望依托社区的力量，使Tair有更广阔的发展空间。

三、视觉中国网站

在视觉中国成立之初，他们选用的数据库是MySQL，09年之后他们才选用了MongoDB作为系统的支撑数据库。

▲视觉中国

采用MongoDB的最初阶段困难是肯定有的，而且还有很多。困难的来源一方面来源于MongoDB的年轻。虽说它的发展很快，但是毕竟是年轻的产品，技术不是特别的成熟，所以会出现很多很多的问题。但是MongoDB有一个好的技术团队，对产品的版本更新速度很快，对问题的响应速度很快，这对解决问题是很大的支撑。一方面是技术，遇到困难，解决困难，在这个过程中，也得到了很多经验，为后续的工作做了很好的准备;

转载其他网络文章

视觉中国的数据量是有限的，只能到千万级别，所以将数据进行分组，大概分为四组，每组的平均数据量大概是几百万到几千万。但是，根据国外的案例来看，数据量已经达到十亿、百亿的级别，MongoDB的使用基本没有出现过太大的问题。如果现在不通过auto-sharding，自己手动切片，也是很不错的。

无论选用哪种数据库，都要根据公司的情况来判断，毕竟这种转移是十分耗费成本的。SQL+NoSQL的方法，十分值得关注。另外优化是十分重要的，但是优化是有技巧的，万不可胡乱优化。

四、优酷运营数据分析

优酷作为一家大型视频网站，拥有海量播放流畅的视频。它秉承注重用户体验这一产品技术理念，将绝大部分存储用在视频资源上。通过建设专用的视频CDN，建立了可自由扩展、性能优异的架构，在提供更好用户体验的同时优化了存储资源。在除视频资源外的其他方面，优酷也累积了海量数据：仅运营数据，每天收集到的网站各类访问日志总量已经达到TB级，经分析及压缩处理后留存下来的历史运营数据已达数百TB，很快将会达到 PB级，5年后数据量将会达到几十PB级。

▲优酷

目前优酷的在线评论业务已部分迁移到MongoDB，运营数据分析及挖掘处理目前在使用

Hadoop/HBase;在Key-Value产品方面，它也在寻找更优的 Memcached替代品，如Redis，相对于Memcached，除了对Value的存储支持三种不同的数据结构外，同一个Key的Value进行部分更新也

转载其他网络文章

会更适合一些对Value频繁修改的在线业务;同时在搜索产品中应用了Tokyo Tyrant;对于Cassandra等产品也进行过研究。

对于优酷来说，仍处于飞速发展阶段，已经在考虑未来自建数据中心，提高数据处理能力，从网站的运营中发掘出更多信息，为用户提供更好的视频服务。

五、飞信空间

飞信的SNS平台数据量大，增长快，目前的状态如下：

▲飞信空间

●日活跃用户100W，平均主动行为1.3次

转载其他网络文章

●平均好友20个

●平均每条动态存储数据量1.5K

●数据容量 2600W*1.5KB=40GB

●以关系型数据库估计，占用存储这僮100GB左右

SNS类型应用中，Feed的数据量最大，Feed数据的存储与读写操作往往是技术难度最高的部分，由于Feed要求的高并发写入，弱一致性，使HandlerSocket成为NoSQL技术的主要应用战场。 HandlerSocket还帮飞信解决了缓存的问题，因为Innodb已经有了成熟的解决方 …… 此处隐藏：2199字，全部文档内容请下载后查看。喜欢就下载吧 ……