校内网CTO：校内网规模架构应用

从20台服务器到5000台服务器，应该说，校内网的IT基础设施的变迁是与其自身的业务发展成 正比的，而每一次的业务突破实际上也是对数据中心的一个挑战。传统的IT基础建设模式，现在、将来又当如何适应SNS类网站的发展？从Csdn记者此次与 校内网技术总监黄晶的对话中，也许我们可以了解一二。 从20台到5000台服务器

作为校内网的CTO，黄晶对过去几年校内网IT基础建设的过程历历在目。

“如果要把这个历程分成几个阶段，那么在我看来，校内网的IT基础设施建设目前经历了三个阶段”。

黄晶对Csdn记者谈到，第一个阶段是校内网创业的阶段，那时候，校内网的主要推广对象是国内比较好的一些高校，但数量很有限，用户数不太多，访问量也不 大，因此，当时选择了一个IDC并租赁了20台左右的服务器。

“随着业务的发展，校内逐渐把业务覆盖到了全国，与此同时，数据量可以呈现几何式的增大，带宽与存储迎来了瓶颈，因此在那时候，公司开始寻找新的IT基础 架构解决方案，并因此而找到了世纪互联做服务器的托管，几年的时间，服务器的数量从几十台上升到了近5000台。”

“但问题也随之出现，虽然带宽够大，但是找IDC托管的这种运营方式成本太高了，尤其是对校内这种已经有一定规模的SNS网站来说，因此，后来直接找到了 网通与电信的机房，将服务器托管到这里，以DNS访问流的形式来解决。

数据集中与分散的问题

“从目前来看，异地数据中心之间的联系是个很大的发展瓶颈”，黄晶表示道，目前校内的两个主力机房，一个在电信一个在网通，从服务质量来说，目前是非常好 的，但是也有发展的局限性，“比如现在对一些象视频、图片的服务内容，目前是通过CDN的解决方案，在全国各地建点，这样全国各地的用户都能够体验到 SNS的高速服务，但这当中有很多还可以优化的空间，比如带宽量太大、数据集中化的问题等等。”

实际上，对 SNS网站 来说，目前的一大通病是数据集中化的问题，而一些 静态的网站比如说门户等，可以通过CDN很好的解决这个问题，但是对SNS网站来说，一方面由于数据比较集中，另一方面，用户之间的相互响应需要非常及时 （P2P），因此如果在各地建立分支机房，必须要解决数据同步传输的问题，而只有解决了这个问题后，才能通过容灾的点提供更好的服务质量。

据了解，由于每天形成的数据量太大，大多数互联网公司并没有配置专门的存储设备，而是采用性价比比较高的方式，即分布式文件系统，把服务器虚拟成一个大的 资源池，并用分布式文件系统软件管理硬盘。

校内网也面对同样的问题，黄晶表示道，“目前校内每天产生数据量最大的地方在于相册，还有一些音乐，而光相册这一部分，每天会产生几个T的数据量，对存储 的压力很大。”

“目前校内两个大的节点，通过光纤连接进行内网的传输”，黄晶进一步谈到，“总之异地数据中心之间的联系是个很大的 发展瓶颈，因此，校内网在解决多个数据中心间数据同步传输的问题上，花了很大精力，比如软件需要改进，比如cache的同步，算法的替换等等，还有如何通 过公网完成同步的问题，对系统软件有更高的考验。”

而在数据备份的策略上，校内网也是采取了几种不同的形式。

“首先是在线的备份， 为了保证实时数据的安全，每份数据至少有两个线上的拷贝，这样即使一个硬盘坏了，另一个硬盘也能完整的恢复”他谈到，“其次是离线的备份，主要是为了应对 机房大的故障，会用磁带+磁盘的方式。”

但是磁带的备份方式同样有缺陷，黄晶对csdn记者表示，“虽然磁带保存和运输比较方便，但问题在于恢复的时间太长”，“目前已经在和做虚拟磁带库的厂商 有接触，并在做一些测试。”

金融危机影响不大 但也需要节省开支

从黄晶对csdn记者描述的情况来看，实际上，对SNS类网站来说，09年受金融危机不大，IT规模投资依旧保持增长。对于这个原因，黄晶这样解释道， “校内网本身是一个发展中的互联网公司，发展速度很快，发展并未受金融危机影响，其次，从服务的内容来看，DNS网站目前提供的是一种面向大众的服务，是 一种基础性的需求，并非实体性的经济，因此受影响不大，相反一些增值业务发展速度比往年更快。”

但是随着网站规模的进一步扩大，运营成本再次扩大，校内这几年在节省运营成本上也是下了很大工夫。

首先，所有的软件基本上是用开源的软件，比如一些补丁提供给开发者开发，同时校内在去年还与Apache搭建了一个联合的实验站点，以推动开源软件的发 展。

对于一些新的技术，比如虚拟化、多核等，黄晶表示目前非常关注。比如现在有一些Linux软件在多核下发挥不出来优势，会尝试升级软件内核来适应多核硬 件。

而对于虚拟化技术，黄晶更是深有体会。

“虚拟化技术实施的成本并非很高，比如亚马逊的云计算平台，是将主机切成很多个小的虚拟机，然后销售给个人或者是开发者，但个人网站的访问量通常不会太 大，因此比较适合用虚拟化的方式来解决。”

从黄晶对csdn的描述中，我们也了解到，对于虚拟化技术，校内曾经有过尝试，包括Wmware、Xen等。黄晶谈到，“虚拟化技术是一个正在不断成熟的 技术，校内去年曾做过一些尝试，但发现虚拟机本身会消耗掉服务器的一部分资源，因此在终端处理能力上也不如物理机高，但我们一直关注这个技术，比如 Intel今年推出的Nehalem平台，加入了非常多的虚拟机支持技术，比如硬件绑定技术，在处理时绕过了虚拟层，这样能够把虚拟机本身对主机的消耗降 到最低，以前一台物理机分划分出两个虚拟机，但每个虚拟机都达不到物理机的1/2，只能到30%多，但现在通过硬件绑定技术， 每个虚拟机的性能能够提升到40%以上。”

但是对于虚拟化技术，黄晶也谈到校内目前并没有大规模应用，“当条件合适，或者说技术再成熟一些，会考虑大规模的应用。”

两年内将自建数据中心

“服务器托管只是暂时的，未来两三年内校内网将建立起自己的数据中心，”，黄晶透露道，“以校内目前的发展速度来看，两年左右，服务器的规模将达到10k 以上，而那时候，自建数据中心的需求就必须提上日程了。”

但黄晶也同时指出，自建数据中心的确是一个复杂的工作。

他谈到，以现在的情况来看，服务器托管的费用比服务器折旧的费用并不少，电力成本很高，在租用的空间的利用率上也受到了很大的制约，比如一个机柜，基于电 力配置的考虑，可能只能放一半的空间，对托管而言，这个浪费很大，如果自己有机房，自己可以把电力做充足一些，把空间利用起来。

“但自己建数据中心是一个一次性投入很大的项目，需要各方面的人才，比如电力方面的专家、部署的专家，散热方面的专家等等，才能做出一个完整的方案”， “因此，将来自建数据中心有两大考虑因素，一是成本，二是容灾的问题，比如火灾、地震等，能够实现数据的实时迁移。”

未来关注的业务领域

对于公司的新业务，黄晶认为，开放平台将是校内网下一步关注的重点，将来校内会推出一些开放平台给开发者，比如提供虚拟机，可以让开发人员尝试用比较低的 成本去做开发。

“开放平台将是一个机会，比如今年异军突起的 twitter 技术，校内会越来越开放，会越来越平 台化，希望更多的Developer能够与校内一起做更多的应用，只要是好的程序都能够被大众所接受。”

移动则是校内关注的另一个重点领域，据了解，校内自从去年三月就推出了手机WAP版本， 经过一年的发展，通过手机访问的网站中校内网排行第四。

“我们现在非常关注android平台的发展，包括 iphone 平台的发展，将陆续推出这些平台的应用， 从数据中心建设来看，为了更好地支持手机访问，很多手机厂商会有Server Push(推技术)，从校内网的角色来看，需要做到的是保证移动的品质，以及网关的顺畅。

而在沟通平台上校内网还将投入力量进行建设，比如即时消息和mail等。

**Csdn采访手记：**事实上，IT还是个幼稚的行 业，只容纳得下最勤奋思考的人。在传统的思维模式中，SNS网站他们的包袱不大，似乎不需要自建数据中心，因为他们的任务就是寻找雇佣最好的软件人才，以 及使用最好的技术开发出最流行最热门的产品，但是从此次与黄晶的对话中，我们了解到了，随着运营成本的增加，以及传统骨干网络的技术瓶颈，自建数据中心对 SNS网站而言，已经提上了议事日程。对电信骨干网运营商而言，当 他们意识到P2P网络的威力之时，他们也应该开始改造他们目前基于服务器构造的基础设施了。