51CTO_linuxops_issue12

51CTO电子杂志《Linux运维趋势》

51CTO电子杂志《Linux运维趋势》

目录杂志订阅: http://doc.guandang.net/art/201011/233915.htm《Linux运维趋势》投稿信箱: yangsai@http://doc.guandang.net

Index

目录人物·People 003 005 007 009 010 012 013 014 016 017天涯首席工程师王建科：技术人要有产品观交流·Interact网站扩展实例:1亿用户的Tagged架构进化史八卦·News Linux 20周年庆，2011最佳开源软件专题·Special strace命令使用实例 Unix调试的瑞士军刀：lsof使用top命令的一些小技巧网站排障分析常用的命令 MySQL生产环境突发故障处理手册 oracle审计导致的系统性能故障数据库故障分析与排查出版方： 51CTO系统频道 (北京无忧创想信息技术有限公司)本期责编：李晶出版日期： 2011年 9月 16日每月第 2个星期五出版订阅： http://doc.guandang.net/art/201011/233915.htm杂志主编：杨赛联系方法： yangsai@http://doc.guandang.net 010-68476606(分机 8035)

技巧·工具·脚本 021 022 024 027 Linux管理员常用网络资源收集五款救急的Linux文件恢复软件运维自动化之Cobbler系统安装详解用SHELL脚本来防止SSH和vsftpd暴力破解

002

51CTO Linux频道： http://doc.guandang.net/linux/

51CTO电子杂志《Linux运维趋势》

人物杂志订阅: http://doc.guandang.net/art/201011/233915.htm《Linux运维趋势》投稿信箱: yangsai@http://doc.guandang.net

People

天涯首席工程师王建科：技术人要有产品观采访/杨赛人物简介：王建科(天涯ID:卓锐),1996年毕业于吉林大学计算机科学系，现任海南天涯在线网络科技有限公司首席工程师、天涯论坛产品总监，天涯早期建设者及参与者，主导开发了天涯论坛、天涯博客等产品。

时候还是只有一台服务器，又当 web又当 db,内存只有 512MB,这个压力可想而知。当时天涯还有一个特点，就是帖子是不分页的。一千回复也好，一万回复也好，一个页面都要全部加载进来。长帖对天涯的系统压力非常大。 2003年之后到 2006年之间，是天涯发展的一个中期阶段。这个阶段天涯快速发展， 2003年的同从时在线 8000人， 2006年达到 20万。快速发展我到觉得有几个原因吧，第一个是大概在 2005年左右，中国互联网快速增长，网民大爆发，天涯用户也跟着往

国内的网民们大多听说过天涯社区，只是也许很多人并不知道，这个有 12年历史的、现在同时在线已经超过 50万人的巨大社区，在最开始几年的产品设计、开发和运维，都是由一个人来完成的。他就是现在天涯的首席工程师、天涯论坛产品总监王建科。本次访谈内容大致分为天涯的技术发展历程、天涯界面的设计、对技术债务的观点、对技术选型的观点、对技术人员成长的建议、以及开源相关的一些话题。对于互联网行业的开发、运维和产品运营人员而言，相信王建

科的分享会给你带来一些启发。 51CTO:首先，简单的介绍一下天涯的技术发展历程吧。王建科：天涯最初只有一个开发者，就是我。产品的设计和技术实现都是我。当时是用 ASP来做，有很多困难，因为那时 ASP这个技术没有文档，全靠摸索，不像现在，网上资料非常多。那是在 98年底的时候。天涯最开始上线运营的话是 99年 3月 1号。我

的 ID是 2月 28号注册的，是天涯第一个 ID。回想当时，其实对技术的要求并不很高，只要把这个东西实现出来，快速的实现出来。当时整个互联网的网民也比较少，所以用户比较少，所以对整个性能的压力也比较小。当然服务器硬件也比较差，大概是 586这样的吧。 51CTO:当时服务器是托管在机房？王建科：当时我们还没在机房，只有一条链路，好像也就是几十 K吧，马上感觉不够，就搬到电信的机房去了。当时电信还没有 IDC这个概念，也就是一张桌子，有个网线，连上去就行了 (笑)。当时门槛是比较低的。我们把天涯分为几个阶段，第一个就是 2003年之前，刚起步的一个阶段。网民比较少，当时网友还是一个比较异类的人群，千奇百怪的， ID谈的话题别人都听不懂。所以那个时候，同时在线也就是 90人左右。2002年同时在线是 1000人， 2003年的时候，到同时在线就差不多快要 10000人了。不过 2003年那

上增长。还有一个就是当时天涯的媒体性凸显出来，因为天涯当时很多网络事件和话题，很多媒体就把天涯作为一个新闻源去报导，这样相当于传播天涯的品牌。这样就导致了天涯的快速增长，而天涯的服务器这时候增长的也比较快…… 51CTO:不再是一台服务器了。王建科：不再是一台了。2004年的时候，嗯，已经是 4台 web,台 db了。之前已经是扛不住了， 2负载全都满了这么一个状况。后来我们就拆分嘛， db把拆分。天涯不是论坛分很多版块吗，所以就是把不同版块拆分到不同的服务器上。如果是所有版块在一个表里的话就很难拆分，所以我们就是一个版块对应一套表。所以如果这个服务器压力比较大的话，我们就可以把一整个版块，就是一个表，迁移到别的服务器上去。所以 db方面就是按版块拆分表这个模式。web方面就是增加。现在 web方面扩展比较容易点，最51CTO Linux频道： http://doc.guandang.net/linux/

003

51CTO电子杂志《Linux运维趋势》

人物杂志订阅: http://doc.guandang.net/art/201011/233915.htm《Linux运维趋势》投稿信箱: yangsai@http://doc.guandang.net

People

早做的时候就是通过 session会话把 web进行拆分。 db另一个方面就是不使用连合查询。天涯最早为了优化

性能有几个特点，一个就是不使用连合查询。比如有的时候你要呈现用户的名字啊，标题等信息的时候，就要去读，那么我们的做法是在产生的时候就把信息写到同一个地方去了，读的时候就只要把它一起呈现出来。这样表之间就没有太多关联，因为表关联也是十分影响性能的。而且表关联还会造成难以拆分的问题。还有就是一帖到底这个，我们的做法就是把所有回复写到一个字段里面去。有新的回复时，就把这个内容插到字段最下面，这样呈现的时候，只要读一个字段就全出去了。这样就极大的降低了 db的 I/O,因为多一次读写就多一次 I/O嘛，你只有一个字段，就只有一个 I/O;如果 100个回复分为 100个字段，那就是 100倍的 I/O, 1000个就是 1000个 I/O。所以天涯把所有回复合并，就极大的减少了 I/O。所以天涯才能大体做到“一帖到底”不分页。,另一个有关这个分页。很多论坛数据量很大的时候，你越往后翻页，处理的速度就越慢，效果很差了。所以天涯这边我们用 where子句来分页。Where子句就是判断，你点下一页的时候， where子句定位用到这个下一页的数据。所以这样的话，你每次点下一页，每次请求在性能上的消耗都是一样的，一致的。 51CTO:就不用做 n次计算了。王建科：就不用再去计算我下一页这个数据到对，底在什么位置，尤其数据量大的时候，这就很快。当然天涯只提供了下一页的功能，而没有提供直接到某

一页的功能，就只能一页一页翻这样。另一个就是锁。很多网站采用了死锁这种机制，但是天涯呢，因为网友看内容对一致性的要求并不高，我们就都全部允许脏读。就是说你不用忽略这个更新，不用在读的时候把它锁上这样。 51CTO:因为没这个需要。王建科：没必要。因为我们的数据不像银行数对，据，对一致性要求并不特别高，就避免了死锁这样的方式。另外一方面就是我们也用了 DNS轮询，但是 DNS轮询这个效果并不是特别好，没有我们想象的那么均匀，所以 …… 此处隐藏：24089字，全部文档内容请下载后查看。喜欢就下载吧 ……