网格计算是什么意思?

什么是网格?

网格是继传统互联网和Web之后的第三次互联网浪潮,可以称为第三次互联网应用。传统互联网实现了计算机硬件的连接,Web实现了网页的连接,网格试图实现互联网上所有资源的全面连接,包括计算资源、存储资源、通信资源、软件资源、信息资源和知识资源。

简单来说,网格就是将整个互联网整合成一台巨大的超级计算机,实现各种资源的综合享用。当然,网格不一定要那么大,也可以构建区域网格,比如中关村科技园网格、企业内部网格、局域网网格,甚至家庭网格、个人网格。网格的根本特征不是它的规模,而是资源的享用和资源孤岛的消除。

最“正统”的网格研究起源于过去十年美国政府资助的高性能计算机研究项目。这类研究的目标是集成许多高性能计算机、大型数据库、有价值的科研设备(电子显微镜、雷达阵列、粒子加速器、天文望远镜等。)、通讯设备、可视化设备和各种传感器跨区域整合成一个庞大的超级计算机系统,支持科学计算和研究。该领域的代表性研究工作包括NPACI、国家技术网络(NTG)、分布式万亿次计算设施(DTF)、美国能源部ASCI网格和欧盟数据网格等。

作为一项新技术,目前研究者对网格研究的重点和内容有不同的理解。有人将网格视为未来的互联网技术,称之为“下一代互联网”、“互联网2”、“下一代Web”。另一类研究侧重于智能信息处理,主要研究如何消除信息孤岛和知识孤岛,实现信息资源和知识资源的智能共享。常见的名词有语义网、知识管理、知识本体、代理、信息网格、知识网格、集成智能信息平台等。企业界的研究大多集中在利用现有的Internet/Web技术,将互联网上的资源整合到一个超级服务器上。有效提供内容服务、计算服务、存储服务、交易服务、内容交付、电子服务(e-service)、实时企业计算(RTEC)、分布式计算、对等计算、Web服务等术语都属于这一范畴。

在企业的网格相关研发工作中,最重要的是Web服务。目前,一些行业巨头已经就几个底层标准协议达成共识,包括XML、SOAP、WSDL、UDDI等。与“正统”的网格研究不同,Web services侧重于产品开发,其相关产品有望在今明两年在市场上普及。

作者:(中国科学院计算机研究所所长李国杰院士)

分析:什么是网格?会产生20万亿的产业吗?

计算机世界记者高荣荣

当业界和学术界都在为网格疯狂的时候,中国的大部分计算机用户“真的不知道”网格是什么,很多人甚至连听都没听过。中国IT行业面临的一个现实是,具有“突破性创新”和巨大商业前景的网格技术在国际上还处于起步阶段,大家的水平都差不多。因此,无论是用户还是厂商都不应该满足于熟悉的“网络”,还应该重视“网络”

网络前面的“网格”。

165438+10月8日,在中国人民大学信息学院主办、微软亚洲研究院协办的“网格主题日”研讨会上,一位用户代表说的第一句话是“会前有人问我网格是关于什么的,我说我不知道,我真的不知道”。观众突然大笑起来。

这不是一个孤立的现象。记者在网格计算上采访时发现,相当一部分用户“真的不知道”网格是什么。即使是听说过这个概念的人,也常常想当然地将其归为“高科技”设备和精英业务,与自己无关。一些媒体对网格的解读也很“模糊”,含糊不清,甚至有出入。

与之形成鲜明对比的是,IT专家和厂商谈网格却激情澎湃,如数家珍。他们称网格是继互联网和Web之后的第三次信息技术浪潮,它的兴起将再次改写计算机应用的历史。有人还信誓旦旦地说,这种变化近在咫尺,网格计算将在2004 ~ 2005年形成气候。

如果情况真如专家所说,那么是时候让上述两个团队——用户团队和专家制造商团队——进行沟通和碰撞了,因为“电网最终是用户的,是由用户决定的,而不是制造商”(中科院李国杰院士)。这种交流对于用户团队来说,会是一种“启蒙”和“启发”;对于专家厂商团队来说,是实现电网产业化的必由之路。只有两者携手,才能迎来中国电网发展的真正商机。

什么是网格?

有意思的是,即使是那些热衷于谈论“上网”的专家,在谈论“网格”时也会被“上网”所取代,缺乏统一的“话语”。

在受访的专家中,有人说网格是一种技术,有人说网格是一种标准,有人说网格是一种方法(实现资源享受的方法),有人说网格是一种中间件,有人说网格是一种高级计算...诸如此类。专家尚且如此,用户对此“不清楚”,自然更能理解。

推动中国国家电网的“863计划高性能计算机及其核心软件专项”成员钱德培教授认为,这种“乱”不是坏事,也没什么好奇怪的。一方面,网格还是一个成长中的东西,理解它还需要时间;另一方面,复杂的事情可以从不同的角度去看,很难说哪种观点是绝对正确或错误的。

问题可能反过来:不是说“网格是什么”,而是说网格是“不是什么”或者“不仅仅是什么”。

Chandpei认为,将网格归结为一种标准或一种方法至少是不完整的。网格和网络一样,作为享受资源的工具,离不开标准,但网格本身也不应该被定义为标准。相比较而言,把电网看成像水厂、电网一样的基础设施更为恰当——只有电网才是“无形”的信息基础设施。

具体来说,网格计算就是利用互联网,将分散在不同地理位置的多种计算资源,通过逻辑关系,组成一台“虚拟超级计算机”。这台机器把包括个人电脑在内的每一台参与其中的电脑都视为自己的“节点”,成千上万个这样的“节点”并联在一起,形成“一个拥有超强计算能力的网格”。而每一个将自己的计算机接入网格的用户都将“拥有”这台超级计算机,并可以随时随地调用其中的计算和信息资源,同时获得一体化的信息服务,最大限度地实现资源共享。

如果你同意以上观点,那么剩下的问题就是“网格”和“网络”有什么区别。因为“网络”已经成功实现了计算机的连接和信息资源的* * *享受,为什么还要再去“网格”呢?

对此,中科院计算所副所长、“863计划高性能计算机及其核心软件专项”成员许智伟研究员解释说,“网格”和传统的“网络”不是一个层次的。‘网络’实现计算机硬件的连接,‘Web’实现网页的连接,‘网格’将实现应用层面所有资源的全面连接,包括计算、存储、软件、数据、信息、知识,甚至仪器设备和人才。而且,“Web只能一致地访问HTML文件,而网格可以灵活地、高性能地访问所有资源,瞬间创建一个强大的虚拟计算环境”。这是传统互联网无法比拟的。

比如在传统的互联网环境下,你要访问一个服务器或者网站,你必须知道路径。网格访问不关心计算机在哪里,也不关心它是谁的计算机。只要你遵守协议,网格会把你需要的资源全部转给你。“这就像用电一样,只要你的保险丝足够粗,你就可以用电为所欲为。”如果你的计算机不够快或者存储空间不够大,网格会自动调整资源,这意味着你可以通过网格上的一台个人电脑终端处理一批来自太空探索的海量数据。当然,“如果你的笔记本电脑相关资源闲置,可能会被别人调用。”

这种情况或许可以借用某保险公司的广告词来描述:“平日里注入一滴水,及时拥有太平洋”。

在谈到“网格”和“网络”的区别时,中科院计算所研究员、国家智能计算机研发中心主任孙宁辉也做了一个形象的比喻,称“网络”环境下的计算机就像一个小发电站,家家户户都有,无序浪费,很难集中用电。“电网”就像每个人都在使用一个发电站。这个电站可以建在世界各地,一个国家,一个地区,一个企业甚至一个个人。与传统的小电站网络相比,网格最大的优势是集中、有序、全面的流通,可以最大限度地节约资源,提供多样化的信息服务。

当然,从这个意义上来说,网格也可以说是一种全新的互联网,或者说是“下一代互联网”(用IBM网格项目负责人Wladawsky-Berger的话说)。

后技术时代的民用

曾担任美国总统信息技术顾问委员会主席的Wladawsky-Berger将即将到来的“网格时代”称为计算机技术的“广泛使用期”。相比之下,“网络时代”只被视为计算机技术的“公众意识期”。

无论准确与否,这种观点至少可以给我们一个启示,即被很多用户视为“尖端”设备和“专业”应用的网格技术,其实是最大众化的信息技术,不可能是“顶上”的应用。当我们说网格可以连接每一台个人电脑时,这意味着“高科技”技术必须生活在后台,用户的“后技术时代”将会到来。

IBM中国研发部总经理王玮博士说:“网格最终应该是一个公共企业”——网格应用服务提供商提供的服务,与电话、电、水、气并称“第五公共设施”。

这种“效用”的第一个好处是节省资源。

中科院高能所研究员许举例说,当今世界上大约有4亿台个人电脑,大部分时间处于闲置状态。如果能发明一种技术,自动搜索这些计算机,并把它们并联起来,由此产生的计算能力将超过许多超级计算机。“网格计算”就是这样一种技术。目前已有数百万台个人电脑加入网格计算的行列,每天形成的计算能力相当于数千台个人电脑满负荷工作一年。

另一个数据显示,目前我们的宽带利用率只有5%,软件也是5%,服务器是20%。一方面强调降低成本,另一方面又是巨大的资源浪费。网格正好可以解决这个矛盾。

Sun(中国)公司的客户经理蔡勇介绍了一个网格应用的案例:福特公司要求其IT部门在保证高标准计算能力的同时,还要全面削减成本。但是,对于汽车设计中的有限元分析、流体动力分析和实验设计模拟等需要极高计算能力的应用环境,降低成本是极其困难的。采用Sun ONE Grid Engine软件,解决了这个问题:白天,工作站中的CPU一部分用于交互工作,一部分用于计算工作,而晚上和周末,所有的CPU都用于计算工作。福特工程师可以通过熟悉的网络接口将自己的计算任务提交给网格计算引擎软件,然后网格计算引擎软件自动将计算任务分配给闲置的计算机。只要整个网格中存在闲置的计算资源,系统性能就不会显著降低。

VeryE.com首席执行官张向宁描述了节约资源的好处,他说,在原始社会,每个人都必须出去打猎,尽可能多地吃东西。社会发展以后,有人种粮食了,就没必要大家都去打猎了。你可以用钱买食物。现在超市和便利店就在你家门口,你甚至不用储存食物。你可以随时在超市买,想吃多少就吃多少。室内装修也是如此。安装几套房子不需要成立装修队。临时雇几个人就够了。所以,对于企业it应用来说,有了网格,真的没必要再另建一套“自己的”IT系统。要做到这一点,不仅要养一批人,还要兼顾系统的升级。"最经济的方法是出租,也就是雇人."张说,他将来不会成为网格服务的提供者,但一定会成为网格服务的使用者。

第二个好处是分布式计算。

网格是一种分布式计算模型,可以实现负载均衡,避免网络拥塞和宕机,数据分开存储,容错容灾,就近服务。

据IBM大中华区网格计算总监朱明介绍,美国的医疗网格位于宾夕法尼亚大学,可以将x光照片和其他医疗文档放在网格上,供超过1000家医院享用。因为涉及到海量数据,这些数据是分布式存储的,调用起来也很方便。通常在几秒钟内就可以获得患者当前和历史的所有诊断记录,这样就可以将电网的电力应用到每个患者身上。Butterfly.net的网络游戏也依靠网格技术来增强其可靠性。在游戏用户数量剧增的情况下,可以通过网格自动配置计算能力和存储能力,游戏永不停歇。

第三个好处是打破信息孤岛,实现信息的多元化、集成化服务。

例如,王玮博士说,如果我对一只股票感兴趣,那么我可以告诉计算机系统并给出相应操作的条件,当条件满足时让我知道。如果一只股票的价格达到某个值,传统的计算系统只会告诉你这只股票的市值,而网格系统可以告诉你你现在持有多少股,买入价是多少,是推荐买入还是卖出等等。简而言之,这样的网格应用“可以知道你所有的相关历史信息,并给出建议”。这是为了打破信息孤岛,实现多个信息共享的好处。

这一功能尤其受到跨国公司的重视,因为它所创造的信息环境可以很容易地组织跨国公司在世界各地的分支机构。

孙宁辉在接受采访时也表示,网格很可能成为解决信息安全的突破口:因为目前的网络安全措施基本上是一种被动防御,你无法知道黑客在哪里,用的是哪台电脑。网格是一种“主动按需服务”,用户必须先确定自己的身份,才能得到服务。就像我们现在用的手机和有线电视一样,用户的身份和位置都是可以查到的。这种模式在防范黑客方面当然是有效的。

许智伟认为,网格计算的普及将把我们带入信息技术的“后技术阶段”。目前,我们正处于从互联网(Internet和Web)时代向网格按需计算时代演进的过程中,每个人都可以把自己投入到网格中,享受网格带来的好处。

20万亿美元的产业?

在谈到网格技术的前景时,人们最津津乐道的无疑是美国《福布斯》杂志的如下预测:网格技术将在2004-2005年达到一个高峰,将推动信息产业市场持续快速发展,并在2020年产生一个年产值20万亿美元的大产业。

但至少现在,“网格还不是一种成熟的、结论性的技术”(许智伟)。虽然处于起步阶段的新技术能给人最大的希望,但是很难预测十几年后会发生什么。事实上,虎头蛇尾的技术并不是唯一的。

但是,在很多人心中,电网应该是个例外。首先,电网有10多年的历史。12年前的分布式计算可以说是网格的雏形(最初的分布式计算只是把一个任务分配给不同的CPU),网格的概念在相关厂商和专家的圈子里热了两三年。

其次,一些发达国家和跨国公司在这方面投入巨大。2001年,IBM宣布投资40亿美元大规模进入网格计算领域,开发每秒13.6万亿次超级计算机。最近宣布投资6543.8+00亿美元启动“按需计算”计划。2002年5月,日本文部科学省决定投资700亿日元开发超大规模网格计算机。相关设备和软件技术也接受了一定范围的市场考验。

第三,人们对信息技术的变革有信心。个人电脑和网络出人意料的迅速崛起和普及,奠定了这种信心的基础。尼葛洛庞帝的名言“信息技术的发展将超过我们最大胆的想象”,可以看作是对这种信心的热情总结。

的确,计算机技术的几项重大变革几乎是传奇的,甚至是神奇的。在最早的时候,如果你想使用电脑,你必须坐在大机房的终端前。有了互联网,你可以在家里使用;有了Java这样的跨平台工具,您不再需要特定的机器和系统来支持它...在这一演变中,应用模式发生了巨大的变化。IBM最早的大型机没有通讯问题,而且只有一个用户使用。今天,它需要通过TCP/IP协议供数百人使用。数据库也是如此。早期的数据库无法被* * * *共享。只有在互联网出现之后* * *才出现了享受数据库。网格计算伴随着这些变化而出现和发展。王玮博士在采访中说,自从IBM的创始人托马斯·沃森预言“世界只需要大约五台电脑”,Digital的总裁肯·奥尔森预言“人们没有理由在家里需要电脑”,微软的创始人比尔·盖茨预言“640K应该足够任何人使用”,网格的未来发展“超出我们最大胆的想象”当然是可以预见的。

第四,人们需要一个新的引擎来推动世界经济的发展。在一个信息技术普及的时代,为什么这个引擎不能是一个正在崛起的网格技术?

网格最早是在高性能计算机领域形成的,因为高性能计算机资源是最稀缺的,普通企业用户才刚刚发现。Platform亚太区副总裁郑智表示,今天不仅有计算网格,还有数据网格、信息网格、GIS网格和基因网格...随着应用潜力的开发,将会出现更多的网格。

平台公司亚太区技术总监张博士、国家智能计算机研发中心主任孙宁辉告诉记者,网格技术并不具有排他性,不一定要从零开始涉足网格应用,只要将网格标准与现有应用资源相结合即可。比如网格标准和高性能计算机的结合,会产生高性能计算机的核心技术,中间件和应用软件,等等。“与网格结合的东西越多,* * *可用的资源就越多。”

随着电网走近每一个人,人们越来越关注它作为推动世界经济发展的引擎可能发挥的作用,这是最自然的事情。

然而,作为一种不成熟的技术,网格的发展仍然存在障碍。钱德培认为,主要问题是标准——虽然有国际公认的OGSA网格标准,但只是一个大框架,相关产品还不够丰富,用户和厂商的理解和观念也有很多差异。对此,钱认为网格的大规模应用至少要三年以后,说2004-2005年气候形成还过于乐观。

“中国电网是活的”

这是IDG一篇文章的标题。这篇发表于10 10月14的文章介绍了中国将建成世界上最大的教育网格。

我国对网格的研究始于2000年,比国外落后几年。但总的来说,网格的研究和发展在世界范围内还处于起步阶段。美国的医疗网格,英国的国家网格,性质和中国的教育网格,国家863网格差不多,都是科研网格。“应该说大家水平差不多,这对中国来说是个机会”。王玮博士说。

而且中国虽然起步晚,但由于政府高度重视,“自上而下”的进度并不慢。有国内专家评价,一年前网格计算还有点遥远,现在感觉离我们越来越近了。“我们已经可以用它做点什么了。”

2002年6月,中国政府在“863”计划中设立了电网项目:发展中国国家电网。总体目标是发展面向网格的高性能计算机,每秒运算4万亿次;构建具有5万亿到7万亿聚合计算能力的高性能计算环境;开发一套具有自主知识产权的网格软件;建设两到三个关系国计民生的应用网格;形成一批网格技术国家标准,参与国际标准制定;培养一批高素质的网格研究和应用人才。

同时,联想与中科院计算所分别推出沈腾6800高性能计算机和曙光4000A超级服务器;地质、气象、航空、遗传、森林资源、林业生态等7个行业应用网格项目建设相继启动;已建成中科院、上海、清华等7个网格节点。中国科学院计算技术研究所围绕网格路由器、网格操作系统、工具包、信息网格平台、知识网格、安全系统等开展了一系列研发,形成了织女星网格品牌。联想推出了“关联应用”的网格发展战略,并已发布了部分产品。

最高潮的是中国教育网。这个“迄今为止全球最大的教育网格”由12所高校联合推出,可以实现全国100所重点高校的资源共享。项目建成后,将大大简化和方便国家教育系统的资源配置,其应用将涵盖生命科学、图像处理、远程教育等多个领域。

钱和张认为从教育入手发展网格产业是非常明智的一步,因为网格发展的基础是人才。“不能说现在的教育网格完全是实验性的,因为这个网格让师生享受到了全国校园网的资源,也让师生在网格的使用中熟悉了网格,实现了培养网格人才的目的。”IBM朱明公司也认为教育网格已经“部分进入实用阶段”,如清华大学的生命计算应用和北京大学的教育课件。“虽然是科研项目,但实际上很多人都受益了”。

在政府推动网格应用方面,上海是领先的城市。165438+10月5日,在上海市政府主办的“数字城市与城市网格”论坛上,上海宣布启动“城市网格”建设,整合全市信息资源,消除信息孤岛,实现资源共享和协同工作,推动全市信息化更上一层楼。朱明表示,“上海是世界上第一个在政府报告中将网格计算纳入城市发展规划的有远见的政府”。

中国目前的问题是,厂商和企业用户的动作相对较慢。据报道,网格计算最积极的推动者IBM渴望与中国制造商合作,但回应者不多。国内网格软件开发薄弱,服务器厂商还没有把网格作为一个主攻方向。相比较而言,应用的研发更好。

Sun公司的蔡勇告诉记者,国内很少有企业用户使用网格产品。目前Sun的网格引擎软件的大部分用户都是外企,而国内的用户都是外企。“其实国内企业也应该有这个需求,只是观念滞后,还停留在‘什么都自己有’的阶段”。

据许智伟研究员分析,国内科技界也存在对网格的误解,最严重的是“我们只习惯于跟踪”,缺乏“我们也是网格技术创造者”的强烈使命感,会错过最佳创新期。他呼吁“电网的关键创新阶段将出现在2003 ~ 2005年,因此我们必须有危机感和紧迫感”。

新一轮洗牌

作为继网络之后计算机技术领域的又一项“最重要的突破性创新”,网格计算必将给IT应用带来“突破性变化”,从而引发相关行业的新一轮洗牌——中国国家电网“863”计划专家组成员钱德培说。

他认为,从用户的角度来看,grid的资源* * *共享模式的新发展将把IT应用推向一个大台阶。在“共享、协作、服务”的网格应用模式中,应用与服务的边界甚至会模糊:你在网格中得到别人的服务,你自己的应用也会加入网格,成为服务的一部分。你叫别人的东西,别人也可以叫你的。这使得应用程序能够在应用程序和服务的交互中动态复制自己,成为“服务模块”,从而将应用程序和服务都推向更高的层次。

从厂商的角度来看,“电和水”的网格服务机制也与传统的IT服务机制有很大不同,需要尽快主动调整和适应。毋庸讳言,任何重大的市场调整过程,都意味着厂商之间新一轮的竞争,新一轮的洗牌。幸运的是,业界普遍认同网格服务行业的兴起会给厂商带来更多的机会。平台郑智认为“洗牌”过程中机遇大于挑战,因为网格作为公共设施是分层次的:资源层、系统层、中间件层、应用层等。没有一家厂商能够覆盖所有的网格技术,市场空间和合作机会增加了很多。

目前,IBM是这一轮竞争中最活跃的一家,也是为数不多的能够真正为网格计算提供解决方案的商家。Sun、惠普、甲骨文、戴尔、SGI、Cray等厂商也加入了推广网格计算的行列。IBM的合作伙伴Platform将自己定位为基于网格的软件和系统开发者,声称“我们希望别人踩着我们的肩膀往前走”(Platform张说)。

联想等国产厂商的态度也相当积极。联想认为,在网格计算的世界标准成熟之前,网格是中国的重要机遇,中国厂商在应用层面可以做的事情很多。

在众多势力中,微软的态度耐人寻味。尽管微软也是OGSA的成员,但微软认为其产品可以实现网格的功能——所有基于Windows的平台都可以实现资源共享。

但是IBM不这么看。IBM认为网格的价值是“实现不同平台和不同专有系统的互联互通”,而不仅仅是Windows。

这无疑是一种新的声音,一种反对封闭系统的声音。围绕网格计算似乎出现了两个阵营。这是否意味着网格的出现会在开放和封闭阵营的对抗中产生新的位置?