我国高性能计算机产业化的前期探索 | CCCF精选

文摘   2024-10-23 19:08   浙江  


编者按:作为我国高性能计算事业的亲历者、开拓者,作者介绍了我国高性能计算机产业化的前期探索,意在为我国新时期信息技术领域产业化提供宝贵的历史经验借鉴和参考。






引言

实现国内高性能计算机产业化是我国高性能计算领域长久以来的梦想。早期,国家根据特定的需求,将一台计算机的研制任务下达给某个研发单位,一旦这台计算机研制完成并交付给使用单位,即视为完成任务。如果还有需要,就会再生产几台。这些计算机仅仅是研制品,并非批量生产和销售的系列化产品。
20世纪70年代,第四机械工业部1曾组织一些研究所、大学和企业共同研发200系列计算机,这项工作后来没有取得实质性进展。我国高性能计算机产业化的真正起步是在20世纪90年代中期,近十几年才逐渐形成产业规模。本文将回顾曙光系列高性能计算机和联想深腾系列高性能计算机产业化的前期探索情况。

曙光系列高性能计算机产业化的前期(1995—2001)探索

在2002年之前,我国高性能计算机产业化的主力军是曙光高性能计算机(如图1所示)。1993年10月,曙光一号共享存储多处理机系统(以下简称“曙光一号”)研制成功,该系统采用国际标准,配套软件齐全,并于1994年开始小批量销售。不久之后,曙光公司成立,专门从事高性能计算机业务。该公司经营两大高性能计算机产品线——曙光天演系列和曙光天潮系列。
图1 曙光系列高性能计算机早期产业化发展轨迹
曙光天演系列的主打产品是曙光一号,而曙光天潮系列则包括曙光1000、曙光1000A、曙光2000、曙光3000以及曙光天潮1500等多个型号。随着市场的演变,曙光天潮1500逐步取代了曙光一号的地位。下文将介绍曙光天潮系列高性能计算机产业化的历程。
关于黑盒子的故事
1995年5月,曙光1000大规模并行计算机系统(以下简称“曙光1000”)研制成功,在业界产生了巨大影响。不久之后,国家智能计算机研究开发中心(以下简称“智能中心”)开始了曙光1000的推广应用工作。推广应用的关键在于研制并行软件开发工具和配置行业应用软件。
智能中心选择了量子化学应用作为突破口,着手研制一个广义本征值求解器。有了这个求解器,就可以在曙光1000上开展量子化学计算、原子分子物理计算、材料科学计算、药物设计计算等多种应用。为此,智能中心邀请了中国科学院软件研究所的孙家昶研究员、物理研究所的王鼎盛研究员和生物物理研究所的陈润生研究员共同领导一个研究组来研制这个求解器。
研究组成员包括迟学斌、叶永杰、陈小武、张文清和沈建华等几位博士。智能中心的孙凝晖和祝明发等人提供了技术支持并参与了讨论。这个求解器就像一个黑盒子,只需要输入向量即可输出广义本征值。这项工作不仅促进了曙光1000的应用推广,还锻炼出了一批高性能计算人才,其中包括顶尖级别的专家,所积累的经验极其宝贵。
组建国家高性能计算中心
曙光1000大规模并行计算机系统研制成功后不久,中国科学技术大学的陈国良教授找到了智能中心的祝明发研究员,表达了购买一台曙光1000的意愿。1995年9月8日,时任科技部高新技术司司长冀复生、智能中心主任李国杰以及祝明发等人在气温高达39度的夏天,赶往合肥召开发布会。在发布会上,冀司长宣布成立国家高性能计算中心(合肥),智能中心与中国科学技术大学签订了曙光1000的销售合同。这是曙光天潮系列计算机的第一张销售订单。
1996年7月,曙光1000在合肥完成了安装和调试,国家高性能计算中心(合肥)正式开始提供服务。
从1997年到2001年,又有五个国家高性能计算中心相继成立,分别是:国家高性能计算中心(北京),依托在中国科学院计算技术研究所;国家高性能计算中心(上海),依托在复旦大学;国家高性能计算中心(武汉),依托在华中科技大学;国家高性能计算中心(成都),依托在西南交通大学;国家高性能计算中心(西安),依托在西安交通大学。
合肥中心使用了曙光1000和曙光2000各一套;北京中心使用了曙光1000、曙光1000A和曙光2000各一套;上海中心使用了曙光1000A和曙光2000各一套;成都中心使用了曙光1000、曙光1000A和曙光2000各一套;武汉中心使用了曙光1000A和曙光3000各一套;西安中心使用了曙光1000A和曙光3000各一套。
这些高性能计算中心在曙光高性能计算机的推广应用和市场销售方面发挥了重要作用。陈国良教授、陈良尧教授、李庆华教授、何大可教授等,在国家高性能计算中心的建设中表现出了极大的勇气和远见卓识,以及对国产高性能计算机的高度信任,令人钦佩。
为了支持广大用户在曙光高性能计算机上进行计算以及国家高性能计算中心的运营,由科技部、教育部、自然科学基金委员会和中国科学院共同出资,联合设立了国家高性能计算基金。从1997年到2001年,每年的基金总额度为200万元人民币。
资助办法如下:课题组须提交申请,明确指定使用哪个国家高性能计算中心的设备。申请书经过专家组评审后,决定是否予以资助以及资助额度。获批的资金中,一部分留在课题组自行支配,其余部分直接拨付给相应的国家高性能计算中心。
五年间,各个中心共完成了四百多个课题的计算工作,取得了许多重要的研究成果。这些课题多数属于国家自然科学基金项目、攀登计划项目、973计划项目、863计划项目以及部委省市的重点项目。例如,在合肥中心完成的淮河流域水情预报计算,对减灾防灾起到了重要作用。
“曙光机能卖钱了!”
在我国高性能计算机产业化进程中,曙光1000A和联想深腾1800扮演了开路先锋的角色,成为标志性和里程碑式的产品。曙光1000研制成功后,在澳门联合国大学国际软件技术研究所的一次理事会上,喀麦隆雅温得第二大学的校长向冀复生提出了请求,希望该校能够获得一台曙光1000。
不久之后,李国杰和祝明发被科技部召见。科技部国际合作司和高新技术司的负责人向他们交代了任务:援助喀麦隆一台曙光1000,所需经费由科技部提供。经过李国杰和祝明发的研究评估,他们认为曙光1000尚未达到充分的产品化水平,喀麦隆用户可能难以使用。因此,他们决定使用商品化服务器作为节点,研制一台超级服务器(后来被称为服务器机群)赠送给喀麦隆。
为此,智能中心组建了一支专门的研制队伍执行这项任务。除了采用商品化服务器作为节点外,研制组还使用了标准的UNIX操作系统,并采用了标准以太网作为节点之间的连接网络。研制组开发了一套服务器集群软件管理这台超级服务器。为了确保喀麦隆用户有能力维护和使用这台机器,智能中心邀请雅温得第二大学派出三名技术人员参与研制工作。
半年后,这台包含24个节点的超级服务器研制完成,命名为“曙光1000+”(后续产品称为“曙光1000A”)。曙光1000+是国内第一台超级服务器。1997年夏季,这台机器被送往非洲。不久之后,在智能中心的小楼会议室举行了一个小型新闻发布会。尽管会场没有特别布置,也只提前通知了《科技日报》等少数几家媒体,但仍然有很多记者自发赶来,会议室里挤满了人。
时任科技部国际合作司副司长李小夫在发布会上宣布:一台援外超级服务器曙光1000+已由国家智能中心成功研制并运送给用户。未曾料到的是,这一事件成为了广为传播的重要新闻。
1997年秋天,曙光1000超级服务器运抵喀麦隆的雅温得第二大学。智能中心派遣了一支技术实力雄厚的团队前往该大学进行机器的安装调试,并对当地的维护服务人员及用户进行了培训。在外派期间,团队成员克服了高温高湿的恶劣气候条件和蚊虫叮咬的困扰,圆满完成了任务。
在曙光1000+发往国外之前,不少国内用户闻讯前来参观,并对该机器赞誉有加,认为它不仅性能强大,而且十分实用。一些用户表达了购买意向。1998年9月,智能中心收到了一份用圆珠笔填写的三联订单,订购的货物是一台包含12个节点的曙光1000+超级服务器,订货单位是辽河油田信息中心。
看到这份订单,智能中心和曙光公司的员工都非常高兴。工作人员立即将这份三联单通过传真机发送给了科技部,时任科技部部长朱丽兰得知后高兴地说:“曙光机开始赚钱了!”这句话体现了曙光1000+在国内市场首销的意义。
辽河油田的这份订单标志着我国高性能计算机产业真正步入市场,它是我国高性能计算机的第一个纯市场销售订单。后来,随着订单数量的增多,考虑到“曙光1000+”这个名字在称呼和书写上不够方便,于是将其更名为“曙光1000A”。这一产品交由曙光公司销售,正式名称为“曙光天潮1000A”。
完成援外任务的同时,智能中心还开发出了一系列产品,这一过程没有花费国家一分研发经费,也没有申报任何奖项,却成功走向市场,创造了真正的奇迹!
曙光高性能计算机产业初具规模
1995年至2001年间,曙光天潮高性能计算机系列包括曙光1000、曙光1000A、曙光天潮1500、曙光2000和曙光3000等多个子系列。其中,曙光1000系列属于大规模并行计算机系列,曙光天潮1500属于服务器机群系列,其余的子系列则属于超级服务器系列。
1995年至2001年期间,智能中心和曙光公司共签约销售并安装了121套曙光天潮系列高性能计算机,其中包括曙光1000共3套、曙光1000A共12套、曙光2000共29套、曙光3000共9套、曙光天潮1500共68套。
这些高性能计算机广泛应用于不同领域。其中大学和科研单位共使用了24套,主要用于大规模科学计算,包括基因测序计算等;石油部门使用了5套;气象部门使用了2套;使用数量最多的是网络和信息安全管理领域,共71套;其余19套则服务于不同的企业。
统计数据表明,用于科学工程计算的高性能计算机的数量不到总数的三分之一,这一比例与国际上的情况基本相符。这是我国高性能计算机产业初具规模时所呈现的统计规律。值得一提的是,曙光天潮1500并非出自国家项目,没有经过正式的成果鉴定,也没有申报奖项,但它却是销售数量最多的机型,带来了丰厚的利润,为曙光高性能计算机的产业化作出了特殊贡献。
曙光天潮系列机的部分用户单位包括中国科学技术大学、复旦大学、西南交通大学、华中理工大学(现名华中科技大学)、大连理工大学、山东科技大学、北京大学、喀麦隆雅温得第二大学、西安交通大学、国家高性能计算中心(北京)、辽河油田、中国气象局、广东省气象局、石油部物探局、地球物理软件公司、中国科学院计算机网络信息中心、中国科学院兰州分院、深圳智林科技公司、北京高国科公司、四川英特耐特公司、科学租赁公司、重庆乐捷网络服务公司、北京华大基因研究中心、杭州华大基因研发中心、葛洲坝教委、国家计算机网络与信息安全管理中心。

联想高性能计算机产业化的前期探索

2001年10月,联想集团成立了高性能服务器事业部,正式开启了高性能计算机产业化的探索。联想集团的高性能计算机产品系列被称为联想深腾系列,在高性能产业化前期(2002—2010),这一系列包括深腾1800、深腾2600、深腾6800和深腾7000四个子系列,如图2所示。
 图2 联想系列高性能计算机产业化发展轨迹
在此期间,联想深腾系列高性能计算机产品共销售了500多台,其中一台出口到英国。联想深腾系列机在我国的经济建设和科技发展中发挥了重要作用,并在国际上产生了广泛的影响。2004年,4台联想深腾系列机进入了世界超级计算机500强排行榜(TOP500),这是首批进入世界TOP500的国产高性能计算机。截至2009年,共有10台国产高性能计算机进入世界TOP500榜单,其中联想深腾系列占据了5台。
联想高性能计算机产品化开发
联想高性能计算机产业化的进程涵盖了产品研发、产品化和市场化等多个阶段。作为一家企业,联想的研发工作的主要目标是创造出满足市场需求的产品。无论是企业自主的研发项目还是承接的国家项目,这一目标始终不变。
联想深腾1800项目是通过竞标获得的,该项目要求向客户提供高端机群产品。当时,国内外市场上尚无此类产品,因此需要联想自行研发。联想的目标不仅仅是研发一款单一的产品以完成项目要求,而是要研发一个完整的机群产品系列。
在深腾1800的研发过程中,研发团队重点开展了以下工作:在系统软件方面,研发了当时急需的机群管理系统和系统监控软件,并整合了当时现有的其他系统软件;在硬件方面,重点研发了当时市场上尚无但作为产品必需的机群基础架构,包括机械结构、布线、通风散热和硬件监控等;在整机系统方面,研发团队坚持系统必须具备可扩展性,所有的软硬件部件必须遵循标准化原则,这样的系统才能成为一个系列产品。通过这些努力,联想深腾1800不仅满足了客户需求,也为后续的产品系列奠定了坚实的基础。
深腾6800被定位为高端通用计算机产品,或高端机群产品,在科学工程计算、事务处理和网络信息服务等领域均表现出很高的效率。在深腾1800研发的基础上,深腾6800的研发重点集中在整机系统的均衡设计与优化,以及I/O系统的优化设计上。整机系统的均衡设计包括主机内部的均衡和主机与外部I/O系统的均衡,这是提升Linpack效率和数据查询能力的关键所在。
在深腾7000的研发中,产品化开发包含更加丰富的内容。研发团队重点研发了几项关键技术,包括大规模异构机群体系结构、大规模机群无局部盘技术、整机系统软件异构支持技术、多类文件系统以及三级存储结构等。
基于以此项目为基础开发的异构体系结构技术,联想研发团队进一步研发出了联想深腾7000G系列产品,该系列产品的节点采用了CPU+GPU的结构。深腾7000G系列产品非常适合市场需求,在2009年一次性中标了7套系统。
深腾1800主要面向科学计算市场,而深腾6800则侧重于高端市场。网络信息服务领域需要的是性价比高的中小规模系统。为了满足这一市场需求,联想于2003年开发出了深腾2600商用机群产品系列。这一系列产品深受中小企业和初等教育机构的欢迎。
联想深腾系列高性能计算机市场销售情况
联想高性能计算机业务采取了高举高打的市场策略,即研发具有标志性意义的高端机型树立技术标杆,并通过获取大型订单树立市场标杆。通过这些标杆项目撬动市场,以高质量的产品赢得更多订单。对于高端产品的销售,联想不依赖广告宣传,而是依靠树立的标杆效应。
在与客户的沟通方面,联想采用市场销售人员引导的方式,同时由高性能计算技术专家出面,与客户进行坦诚深入的技术交流。联想还将售后服务与产品质量放在同等重要的位置,以此获得用户的信赖并扩大销售。
2002年8月,联想公司发布了深腾1800高性能计算机,这一发布在业界引起了轰动。同年10月,联想公司获得了中国科学院大气物理研究所的订单,订购的系统规模与第一台深腾1800相同,这在科研院所和高等院校中产生了重大影响,但在企业用户中的影响力有限。
2002年12月29日,大庆油田举行了一次大型机群采购招标会,采购的机器规模与前两次相同。联想、曙光、IBM、惠普等8家国内外知名高性能计算机厂商参加了投标。当时,在所有参与投标的厂商中,只有联想公司发布过万亿次级别的高端机群产品。
评标委员会共有21名成员,其中包括两名来自大庆油田纪委的干部。在现场答辩中,一名既是评委又是用户单位负责人的代表提出了一个关键问题——在石油地震资料处理应用中,机群系统的I/O存储问题至关重要。现场只有联想的专家给出了满意的答案。原本用户倾向于选择某国外公司的产品,但最终评标组现场宣布联想公司中标。
这是中国高性能计算机在与国外产品同台竞争中取得的重大胜利。此次中标极大地推动了联想深腾系列产品的市场销售。
联想深腾系列机在我国的经济建设和科技发展中发挥了重要作用。下文将列举联想深腾1800、深腾6800和深腾7000的销售统计数据。需要注意的是,深腾2600商用机群服务器的销售数量虽然不少,但由于单台规模较小且安装地点分散,因此未进行详细统计。
石油系统共购买了25套深腾1800和深腾6800高性能计算机,安装在以下用户单位:大庆油田研究院(其中一套深腾1800曾在世界TOP500排行榜上位列第299名)、大庆油田有限责任公司第五采油厂及第九采油厂、中国海洋石油集团有限公司、胜利油田、东方地球物理勘探有限责任公司、中石化石油物探技术研究院。
各高等院校共购买了180多套深腾1800和深腾6800高性能计算机,安装在以下院校:北京大学、清华大学、北京师范大学、北京航空航天大学、北京化工大学、中国石油大学、空军工程大学、吉林大学、大连理工大学、哈尔滨工业大学、东北师范大学、辽宁师范大学、大连大学、南开大学、河北工业大学、山西大学、山西师范大学、山东大学、山东理工大学、曲阜师范大学、复旦大学、上海交通大学、同济大学、上海科技大学、东南大学、南京航空航天大学、河海大学、华东理工大学、扬州大学、浙江大学、浙江工业大学、杭州电子科技大学、温州大学、厦门大学、福建师范大学、华中理工大学(现名华中科技大学)、中南大学、湖北大学、湖南师范大学、湖南文理学院、中山大学、华南师范大学、广东技术师范大学、郑州大学、西安交通大学、西北工业大学、西北大学、兰州交通大学、四川师范大学、电子科技大学、西藏大学等80多所院校。
中国科学院系统共购买了60多套深腾1800和深腾6800高性能计算机,安装在以下单位:计算机网络信息中心(深腾6800,位列世界TOP500第14名)、数学与系统科学研究院(深腾1800,位列世界TOP500第43名)、大气物理研究所(一套深腾1800,位列世界TOP500第98名)、地球物理研究所、地球环境研究所、生物物理研究所、山西煤炭化学研究所、大连化学物理研究所、半导体研究所、力学研究所、地理研究所、化学研究所、国家天文台、遗传与发育生物学研究所、中国遥感卫星地面站、国家空间科学中心、上海有机化学研究所、沈阳材料科学国家研究中心等。
国内其他科研与业务单位共购买了50多套深腾1800和深腾6800高性能计算机,安装在以下用户单位:中国电力科学研究院、中国工程物理研究院、国家计算机网络与信息安全管理中心、上海生物信息技术研究中心、中国水利水电科学研究院、北京电信、北京市地震局、中国航天空气动力技术研究院(原航天701所)、厦门市气象局、自然资源部第三海洋研究所、上海柴油机股份有限公司,以及一批军工单位,等等。
2008年至2010年期间,联想集团共销售了十几套深腾7000及其延伸产品深腾7000G,这些高性能计算机被安装在以下单位:中国科学院计算机网络信息中心、中国科学院高能物理研究所、中国科学院水生生物研究所、中国科学院国家空间科学中心、中国科学院国家天文台等。
经过八年的不懈努力,联想在深腾高性能计算机产业化方面取得了显著进展。2014年,联想集团收购了IBM公司旗下的英特尔x86架构服务器业务之后,联想的高性能计算机业务迎来了快速成长。自2018年6月起,联想深腾系列机的安装数量一直稳居世界超级计算机TOP500排行榜的第一位。
与此同时,曙光公司和浪潮公司也成为了世界上领先的高性能计算机产品供应商。然而,我国高性能计算机产业的基础仍需加强,通用CPU芯片依然依赖进口,高性能计算应用与发达国家相比仍有较大差距,这需要我们持续努力,迎头赶上。

脚注:  
1 1982年,第四机械工业部改称电子工业部。1998年,电子工业部和邮电部合并组建信息产业部。2008年,以信息产业部为主,将国家发展和改革委员会的工业行业管理有关职能,国防科学技术工业委员会核电管理以外的职责,以及国务院信息化工作办公室划入,组建工业和信息化部。




祝明发


个人简介:

CCF王选奖获得者。联想集团首席科学家,北京航空航天大学计算机学院教授、博士生导师。曾任国家智能计算机 研究开发中心总工程师、副主任,国家高性能计算中心( 北京)主任,中国科学院计算技术研究所研究员。获国家科技进步一等奖一项和二等奖四项。




肖利民


个人简介:

CCF杰出会员。北京航空航天大学计算机学院教授。曾任中国科学院计算技术研究所副研究员,联想集团HPC技术总监、首席研究员。xiaolm@buaa.edu.cn


关于CCF BC


CCF业务总部&学术交流中心(以下简称:CCF BC)坐落于苏州环秀湖畔,交通便利,环境优美。自2022年正式对外运营以来,CCF BC致力于打造成为CCF会员之家和计算领域会议首选地,深入开展特色的会员服务、会议服务、技术成果转化、青少年科普、“计算+行业”创新服务等,为专业人士搭建获取计算领域前沿资讯、技术咨询、文化传播与沟通的桥梁,提供更多的发展契机和机遇。
拎包办会 ——“一站式”会议服务
CCF BC总建筑面积3.3万平方米,设有可容纳600人的大型会议室、600平米的青少年科普展览馆、容纳300人的放映厅等大规模活动场所,还拥有20余个面向不同规模的中小型会议室及活动场所,具备会议、展示、科普、休闲、餐饮等多个功能区域,可同时为2000余人提供舒适的活动配套服务。优美的周边环境,全面的配套设施,专业的运作团队,从功能服务、空间意境到文化内涵,营造舒适的会议体验,是举办各类会议、庆典、会见、座谈、展览、竞赛的理想之选。
大咖云集——“会展赛”精彩纷呈
截至目前,CCF BC已开展了300余场会议活动,包含“千人大会”——第38届中国计算机应用大会(CCF NCCA 2023)、中国版“达堡研讨会”——秀湖会议等各类计算机领域前沿活动,数十位院士出席近百场活动,参会人数累计超过3万人次,累计在线直播流量超400万,在全国计算领域专业人士范围内形成了良好的口碑。
诚挚地欢迎计算领域的相关机构和专业人士常来分享交流,举办各类会议和活动,我们将提供优质的场地环境和专业的会议服务,助力提升活动质量和会议品质,给予你全新的体验。

点击“阅读原文”,加入CCF。

CCF业务总部
你终于来CCF业务总部&学术交流中心了
 最新文章