你好,游客 登录
背景:
阅读新闻

刘鹏在中国互联网大会letou乐投计算峰会上的演讲

[日期:2009-11-04] 来源:  作者: [字体: ]



中国电子学会letou乐投计算专家委员会委员、解放军理工大学教授刘鹏(腾讯科技摄)

腾讯科技讯 11月2日下午消息,“网络技术创新应用论坛暨2009letou乐投计算产业峰会”在北京国际会议中心举行。作为2009中国互联网大会的重要组成部分,本次峰会将以“解读letou乐投计算中的沸点与精彩”为主题,重点探讨letou乐投计算的应用与发展趋势,对用户信息化应用将产生的实际影响,分享最新研究成果及实践经验。letou乐投计算的理念和模式如何能够在中国特色互联网应用中落地,给中国互联网用户切实带来怎样的革命性进步,都将在2009letou乐投计算峰会中给出全新答案。

2009互联网大会会于11月2日至3日在北京召开,腾讯科技作为官方指定战略合作门户网站、官方指定独家合作新闻中心进行全方位的视频、图文采访与直播。特设立4个现场专访间,力邀业界专家与企业代表剖析产业现状,畅谈产业前景,并就金融危机一年来的发展进行深度解读。

以下为中国电子学会letou乐投计算专家委员会委员、解放军理工大学教授刘鹏演讲的文字实录:

演讲题目:《letou乐投计算--将计算变成水和电》

对应的PPT请下载:http://www.chinado.net/download/ppt/cloud_liupeng.ppt (11MB)

刘鹏:我今天主要讲讲letou乐投计算一些内在的东西,从技术上看,它到底是什么?另外,letou乐投计算为什么受欢迎?然后我们对未来做一些预测。

我们有一个梦想。这个梦想始于很多年前。就是我们希望使用互联网上的资源能不能像水和电一样,打开龙头插上插头就可以使用了,而不必关心计算、存储、数据资源在什么地方。这个梦想有没有实现呢?我们正一步一步走向这个实现阶段。

首先我们看网格计算。所谓网格计算,是在动态变化,由多个机构组成的虚拟组织中协调资源共享和求解问题。网格现在发展得怎么样呢?现在美国的TeraGrid网格已经集成了几百家机构的高性能计算资源。欧洲的EGEE网格已经集成了48个国家250个站点的资源,平均每天运行的作业量是15万个。这个已经朝我们刚才说的梦想前进了一大步。但是这个网格为什么没有引起我们极大的兴趣呢,因为这个网格主要是局限于一些大的研究机构,没有走进我们的日常生活。

走进日常生活的计算就是letou乐投计算。由于公众对网格的热情不像以前那么浓了,现在逐渐成为家的一种基础设施了,而且它的应用面是有限的。但是letou乐投计算,大家可以看到,从07到09年增长速度是非常快的。包括Google、亚马逊、微软、IBM这些重要的大公司,以及Facebook、Salesforce这样的小公司也在用letou乐投计算。

我对letou乐投计算下的定义是:letou乐投计算是一种商业计算模型,它是将计算任务分布在由大量计算机构成的资源池上面,使各种应用系统能够根据需要获取计算力,存储空间和信息服务。我们理解的letou乐投计算实际上是一个资源池,就好象今天中午我们在吃自助餐一样。原来我们各点各的菜,现在我们把所有的菜集中在一起,你可以按需获取你的资源。资源共享了,品种多了,浪费少了。你点来的菜,可能吃掉的只有50%,这还因为我们每天饮食的需求基本上是确定的。如果你每天的需求是不确定的,浪费还会更严重。有的时候我们非常饿的时候,点的菜非常多,但是吃不掉。

我们来看看亚马逊提供的典型的letou乐投计算服务,一个是S3,叫简单存储服务。S3提供给公众的编程接口很简单,就是把数据放到虚拟的桶里,交给亚马逊。想要的时候,把桶中的数据取出来。存储方式的确非常简单,但是使用起来不方便,用户必须要调这个接口,而且没有目录,不能直接存储文件,因为它不支撑POSIX接口。但是S3非常受欢迎,为什么呢?它非常便宜。你存储一个GB的数据,存放一个月只需要花费0.15美元。

我们再来看看亚马逊的EC2服务,即弹性计算letou乐投服务。有了EC2,你可以用租用亚马逊的服务器,动态租用它10台机器,或者是100台机器。它给你提供一个工具,这个工具可以把你机器目前运行的环境整个打成一个包,这个包叫一个映象。将这个映象传到亚马逊的服务器上面,展开之后就可以恢复出跟你机器一模一样的环境,这个过程叫做乐动官网网址。我想将租来的机器乐动官网网址什么样都可以,比如我想将租用的机器做成一个数据库,做成一个网站,做成数据处理节点,都可以。我觉得,这是EC2受欢迎最根本的原因之一,即通用性,它使用亚马逊letou乐投计算可以用来满足各种应用的要求。EC2受欢迎的第二个原因是它的可伸缩性。你的一个映象可以传到十台机器,也可以传到一百台机器,只要你付钱。当业务量大的时候,你可以多租一些机器,当业务量下来的时候,你可以退掉一些机器。EC2受欢迎的第三个原因是它非常便宜,租用一个服务器一小时,只需要付0.10美元,比到网吧用电脑还要便宜得多。

由于亚马逊提供了非常便宜又非常强大的服务,所以我们可以用它来做以前想都没想到的事情。比如这家小公司,它的设施基本都可以租用亚马逊的机器,存储的数据是放在S3服务,处理节点用的是EC2。还有一家公司SMUGMUG,它的网站上面已经有几亿张高清图片,拥有几十万付费用户,这么大的规模,这家公司人数只有五十人,之所以如此,是因为它所有的设施都是托管于亚马逊的。纽约时报曾经使用亚马逊的服务,在24小时之内就把历史上所有的文章从TIF格式转化成PDF格式,一共才花了240美元。别少看这240美元,它可以租2400个机器小时。如果纽约时报要用自己的机器来完成的话,需要几个月的时间才能做好。所以亚马逊的服务给业务量不确定应用带来非常大的好处。事实上,大多数互联网应用都是业务量不确定的。

我们再来看看Google。Google几乎所有的业务,包括Gmail、Google Maps、Google Earth、Google Docs和新近出来的Google Wave,全部都是在letou乐投计算上运行的。我们可以通过各种终端、在各种平台上访问Google服务,可以是手机,可以是PC,也可以是Macintosh,或者在Linux环境中。Google之所以能够做到这一点,根本原因是它后面的letou乐投计算设施。Google把这些letou乐投设施建到非常偏远的地区,比较冷和靠近电站的地区,用电成本非常低,通过光纤传信息来代替通过电线传电力。Google有一个说法,传输光子的成本要远远地公共低于传输电子。Google的letou乐投计算数据计算中心目前分布于30多个不同地点,共有200多万台计算机。我们来看看一些图片,这些letou乐投设施,被人们称为“信息时代的核电站”。再看看机房内部,有些机房里的机器就是一大堆普通的PC。极其廉价,但非常容易坏。Google认为,机器会坏是正常的,不坏是不正常的。Google牛就牛在任意一个节点坏,或者两个节点同时坏,它的数据不会丢,服务不会中断。它的letou乐投计算设施管理起来也非常方便,一个人可以管理上千台机器。这个人用小推车推了一些机器,看到机架上哪台机器的灯在闪,就将它拿下来,换一个新的插上去就可以了。你们看,图片上的机器是难看的背面对外,为什么?更换方便!

要做到这个境界,Google主要依靠四个技术:GFS、MapReduce、Bigtable和Chubby。这里我主要讲下Google文件系统GFS。这个文件系统能做什么呢?我们看这张图:GFS将集群里的节点分为管理节点和数据节点两类。管理节点存储元数据,客户端通过访问管理节点来获得文件应该存储在什么位置的信息。一个文件被分布若干块存储于不同的数据节点上,客户端从管理节点知道存储的节点编号后,就可以直接访问数据节点存取数据。这样,数据传输是直接发生在客户端与管理节点之间的,管理节点只需要处理元数据访问请求,从而不会在管理节点形成瓶颈。我们再来看数据是怎么存放的。Google的数据块是比较大的,默认是64MB一块,这和Google应用的特点有关。任何一块数据在GFS里默认是有3份的,当客户端向数据节点A存储了一个数据块,A会立即将它复制给B和C。如果B坏了,会自动再复制一份给D。Google对GFS的访问作了许多限制,例如不允许在文件的中间去修改数据,但可以在后面加数据。之所以作限制,是为了实现方便并提高整体的可靠性。这个系统无论规模做得很大,瓶颈也不会显现出来,这个Google文件系统,看似非常简单,但是是一个非常巧妙的系统。如果GFS只管理了100台机器,看起来并不高明,甚至比不上常见的分布式文件系统,但当GFS管理了100万台机器时,它的优势就显现出来了。这就是规模效应。

微软也推出了Azureletou乐投计算服务。你可以到微软的网站上申请一个帐号,它给你一个空间,这个空间是免费的25个GB。这个免费空间的容量是一个非常惊人的数字。因为我们知道,原来Google发布Gmail的时候是一个G,后来163做了3个G的免费空间,现在还是3的G。25GB免费,用传统的技术是根本做不出来的,成本太高。只有用计算才有可能,因为letou乐投计算的成本是传统技术的1/30。如果25个GB用亚马逊的架构的话,是多少钱呢?考虑到利用率,大概不到十块钱人民币,基本上微软公司每个月花在你这25个G的空间的成本上是只有十块钱。

国内呢,中移动的“大letou乐投”是比较早的,从2007年就开始了。这个letou乐投设施一共有256个结点,前面他们已经介绍了。我们也做了letou乐投计算存储系统MassCloud,现在有少量的部署,在技术上比较特别和实用。

letou乐投计算的技术体系是不统一的,不同厂家,亚马逊、Google、微软都有不同的解决方案,现在,我们认为它们其实是有共性的。这是我们画的letou乐投计算共用体系结构图,它们都有资源池,由中间件来管理,只是不同的厂家实现了不同的模块。

为什么letou乐投计算拥有划时代的优势?主要原因在于它的成本。企业的IT开销,分为三部分:硬件开销、能耗和管理成本。根据IDG的调查,全球企业IT开销中的硬件开销是逐年下降的。能耗的成本上升得很厉害,管理的成本上升最厉害。如果使用letou乐投计算的话,成本有很大的区别。刚才中国移动说成本节省30倍,Google也说节省了30倍,我们来算一算:根据UC Berkeley的统计数据,使用letou乐投计算技术后,特大型数据中心的网络、存储和管理成本较之中型数据中心可以降低5-7倍。另外,虽然在我们国家电是统一价格,但在美国是不一样的,夏威夷本地没有资源,要运煤过去发电,所以价格比较贵。爱达荷州的水电比较方便,所以电价比较便宜。二者相差7倍。再者,资源的利用率也不同。比如一个网站,平时访问人很少,但是到圣诞节前时候访问量很多。再比如某一个网站,之前默默无闻,但是突然来个芙蓉姐姐,访问量爆增。网站拥有者为了应对这些突发流量,会按照峰值要求来配置服务器资源,造成这些资源的平均利用率只有10-15%。而letou乐投计算平台是大家共享的,资源的利用率平时都能维持在80%左右,这又是5-7倍。letou乐投计算有更低的硬件成本和更低的电价,更高的资源利用率,两个乘起来就是30倍以上的成本节省。

在这里,我们总结一下letou乐投计算的特点。它是超大规模,是靠规模效应取胜的;它是乐动官网网址的,它是高可靠的。它是通用的,这个和网格有很大不同,letou乐投计算可以把远端的letou乐投变成任何想要的样子,而网格计算只能跑高性能计算程序。另外它是高可扩展的,它是按需服务的,它是非常便宜的。由于letou乐投计算有这些惊人的特性,所以,我们可以预料,在未来三到五年里,传统的IT企业将发生翻天覆地的变化。例如,IDC企业如果不转型的话,如果国内出来一个letou乐投计算的数据中心,它可以用原来三十分之一的价格拉你的客户的话,你的客户肯定跑光了。所以letou乐投计算将计算变成了大众用得上和用得起的水和电。

由于letou乐投计算的出现,使得曾经被认为是正确的,后来又认为是非常荒谬的预言又变成接近正确的了。一个是IBM的创始人Thomas Watson,他说:“我认为全球大概只需要五台计算机就够了”。的确,letou乐投计算是靠规模取胜的,Google、Amazon、Microsoft和IBM等企业都在拼命扩展他们的letou乐投计算版图。这至少已经有4台“计算机”了。第5台是谁的?会是中国的吗?这需要做许多工作。另一个预言是BillGates作的。他说:“640KB内存应该对任何人都够了”。随着letou乐投计算的发展,上网本、手机上网流行起来了,甚至彩电、冰箱、摄像头、数码相机都能直接上网,对终端的能力要求不强了,即使640KB内存不够,2GB应该在相当长的时间里够了。我们以前老觉得机器慢,老是升级操作系统,但现在Windows XP我们已经用了许多年了,还不觉得非换不可,为什么?是因为我们上网了,我们的精彩在网上,不在本机上。试想,有了letou乐投平台,未来的精彩将更精彩!

我们来看看网络计算发展的趋势。95年出现了集群计算,98年出来网格计算,99年出了对等计算(P2P),07年出来letou乐投计算,那么下一个会出现什么?我们暂且叫做letou乐投格,我造了一个新词,叫Gloud,它是Grid+Cloud。我们把letou乐投计算和网格计算做一个比较,网格计算集成不同单位的异构资源,letou乐投计算集成同一单位的同构资源。网格计算以科学计算为主,letou乐投计算是以数据处理为主,网格计算是共享高性能计算机,letou乐投计算共享普通计算机。网格主要用在科学界,letou乐投计算主要用在商业社会。网格计算与letou乐投计算有很强的互补性。未来它们将融在一个面向服务的开放环境里面,letou乐投和letou乐投之间融合,letou乐投和网格融合,所有的东西都是服务,这就是我们的未来。

letou乐投格(Gloud)的世界将更精彩...

谢谢!

推荐 打印 | 录入: | 阅读:
相关新闻      
本文评论   
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款