您的位置: 网界网 > 服务器 > 正文

强计算才能撑起大数据

2014年09月28日 15:46:57 | 作者:周源 | 来源:cnw.com.cn

摘要:为大数据而设计是IBM POWER8 系统重要特征之一,它能够帮助客户管理日益复杂和数据密集的工作负载,快速将数据转化为洞察。同时,POWER8的彻底开放将有助于不断扩大POWER生态系统,从而加速POWER8生态圈在大数据领域的创新。

标签
IBM
大数据
Power8

【《网络世界》】专稿

“有Power8就放肆,没有就克制。”——这是IBM近日所推出的一幅POWER8服务器漫画的配图文字,大意是,POWER8服务器能够比x86服务器对大数据[注]云计算[注]等新兴应用提供更好的支持。

IBM敢于如此宣传自有其理由。IBM大中华区副总裁、系统与科技部服务器解决方案总经理侯淼表示:“为大数据而设计是IBM POWER8 系统重要特征之一,它能够帮助客户管理日益复杂和数据密集的工作负载,快速将数据转化为洞察。同时,POWER8的彻底开放将有助于不断扩大POWER生态系统,从而加速POWER8生态圈在大数据领域的创新。”

IBM大中华区副总裁、系统与科技部服务器解决方案总经理 侯淼

IBM系统与科技部大中华区Power Systems产品总监李红进一步解析了POWER8 系统适用于大数据应用的独特技术,具体如以下所示。

1. Transactional Memory内存技术。Transactional Memory减少编程开发工作量,降低客户成本,增强传统软件顺序执行组件的性能。

“大家是否听说过锁技术?在应用当中如果有共享内存,都要用加锁和解锁的技术去管理共享内存,这在什么样的应用里很普遍呢?JAVA应用。大家知道JAVA是编大数据的基础工具和平台,类似的应用都要面对共享内存解锁和加锁这样的保持数据一致性的技术。以前我们是用软件方式去实现的。Transaction Memory是把这部分做了硬件化,硬件化有什么样的好处呢?第一是可以简化程序员编程的方式,程序员把这一块直接交由硬件来实施;第二是加速加锁、解锁的速度,大大增加了性能和简化程序员开发的难度,这是为用JAVA开发大数据的应用提供了很大的便利。”李红说。

2. PCIE-3:增加带宽,减少I/0时延,比固态硬盘设备及Gen2代技术提升了两倍的性能。

3. CAPI虚拟寻址。该技术使得加速器可以与处理器一样直接对内存进行寻址,与处理器运行程序一样使用指针,消除操作系统和设备驱动额外开销。

“在正常的CPU到访问数据的过程当中,通常需要经过很多的层次如文件系统、逻辑卷,才能真正访问到物理的存储,CAPI技术是把物理的I/O卡跟内存统一寻址,所以它叫虚拟寻址,可以让处理器像直接访问内存一样访问的I/O设备(+微信关注网络世界),缩短了中间所有的路径,消除操作系统和设备的额外开销,快速地去访问。”李红解释说。

4. 动态ST&并行多线程SMT2/4/8技术。该技术为大数据分析提供了强大并行处理能力,特别适合计算密集型应用。如果开发者能够充分利用到POWER8中的这项技术,同一个应用大概有3.5倍的性能提升。

5. 硬件管理的缓存一致性:使得加速器能作为正常线程参与“Locks”,降低IO通信中的延迟。

为了让更多的开发者与ISV切身体会到IBM Power8 服务器的与众不同。IBM与CSDN[注]社区联合举办2014 POWER8极限性能挑战赛。该大赛以云计算的方式为开发者提供了POWER8开发环境,开发者将充分利用POWER8的特性,基于不同场景进行应用开发。大赛将不仅展现POWER8为大数据而生的卓越能力,更将进一步促进Power平台开发者社区的发展。

特别要说明的是,本次大赛的计算环境基于IBM系统中心提供的云计算服务Center Express。开发者、ISV和合作伙伴可以通过申请获得免费的Center Express服务,从而利用最新的POWER8系统进行应用开发、测试和迁移。Center Express使开发者在任何时间、任何地点都可以远程接入POWER8计算资源,这将为有志于Power平台开发的开发者,特别是创业型公司、中国偏远城市的客户和合作伙伴提供便利。Center Express扩展了去年5月IBM在北京成立的Power Systems Linux Center对外提供的服务。

点击http://reg.powerlinux.csdn.net/ 参加POWER8极限性能挑战赛,访问Center Express,体验POWER8。

参考资料

1.大数据:(Big Data),研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 ...详情>>

2.SDN:(Software Defined Network,软件定义网络)是一种新型的开放网络创新架构。最初是由美国斯坦福大学研究组提出,OpenFlow通过将网络设备控制面与数据面分离开来,从而实现...详情>>

3.云计算:(Cloud Computing)描述了一种基于互联网的新的IT服务增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源。云计算是继1980年代大型计算机到...详情>>

[责任编辑:周源 zhou_yuan@cnw.com.cn]

我也说几句

热点排行