腾讯云夺冠计算奥运冠军,创下史上最好大数据成绩,凭的是什么?

中国白银网(http://www.zhongguobaiyin.com/)11月17日讯,2016年11月10日,具有计算奥运会之称的SortBenchmark全球排序竞赛公布结果,其中,腾讯云用98.8秒完成100TB的数据排序,打破阿里

具体来说,本次腾讯云的参赛系统配备了512个节点,每个节点配置两颗OpenPOWER处理器、512GB内存、4块华为NVMe SSD盘、100GbMellanox网卡。而去年阿里云配备3377个节点,每节点两颗至强E5-2630芯片、96G内存、12块SATA硬盘、10G网卡。由于技术的飞速进行,两个参赛系统的成本相差不大,腾讯云的系统总体成本甚至还要略低一些。

众所周知,基于RISC架构的IBM Power芯片可同时执行多条指令,可将一条指令分割成若干个进程或线程,交由多个处理器同时执行,因此并行计算性能方面远优于基于CISC架构的英特尔x86芯片。同时,Power架构还可以很好地结合GPU的优势,形成IBM+NVIDIA的强强组合。IBM在2013年对Power芯片技术进行了开放,随后出现了大批定制的OpenPOWER服务器。值得一提的是,OpenPOWER服务器芯片不仅性能更优,而价格甚至要低于英特尔的同等性能芯片。

而基于OpenPOWER服务器的腾讯云大数据实时计算平台,能提供单集群上千台规模实时流式计算;在数据存储方面则支持多重数据备份、万亿数据的存储能力;在任务调度方面,支持百万级任务的毫秒级调用;而且可以自动发现故障节点并自动剔除,通过业务的自动迁移、关键节点的主从热备,实现故障的秒级切换。

当然,此次参赛也还是经历了不少困难。蒋杰回忆说,在调优的过程中发现网络IO和磁盘IO都达不到理想的极限能力,虽然当时已经跑出了不错的成绩,但整个团队没有放过任何一个可以提高性能的机会。从架构到代码细节再到硬件的驱动层,团队成员加班加点、不停地提出优化方案和尝试,最终达到理想成绩。

编辑:私念
免责声明本站发布此文目的在于促进信息交流,不存在盈利性目的,此文观点与本站立场无关,不承担任何责任。部分内容文章及图片来自互联网或自媒体,我们尊重作者版权,版权归属于原作者,不保证该信息(包括但不限于文字、图片、图表及数据)的准确性、真实性、完整性、有效性、及时性、原创性等。未经证实的信息仅供参考,不做任何投资和交易根据,据此操作风险自担。
  • 最新报价
  • 最新资讯
  • 热门报价