企业级Hadoop需与现有流程紧密结合

日期: 2013-07-25 作者:Jack Vaughan翻译:陈洪钰 来源:TechTarget中国 英文

从Hadoop分布式文件系统到企业级Hadoop,还有很长的路要走。

上个月在美国举行的Hadoop 2013峰会上,很多行业的IT领导者都表示使用开源的Hadoop群集之处是很容易的,但接下来就变得困难了。对那些打算将Hadoop应用从试验转向企业级应用的用户,他们给出了指导意见。

在研讨会上,与会者表示,刚部署Hadoop的用户应该小范围使用,需要招募培训讲师,事先考虑好上PB级别的Hadoop输出如何融入到运营和常规分析工作流程中来。

一家大型零售商的IT经理表示,对Hadoop应用的蜂拥而上,带来了很多问题。

Ratnakar Lavu是科尔百货商店的高级副总裁,负责数据创新,同时也是这次研讨会的成员。他表示:“现在的情况很让人担忧。你听到的都是Hadoop能够解决的问题,你获得全部数据,然后就试图解决你能想到的所有问题。”

Lavu说他的团队很早就认识到小规模使用是很好的起点。

他说:“Hadoop是一个全新的处理问题的方式。所以要从自己能够掌控的小处着手。这是一个学习的过程。”

Lavu还告诫即将使用企业级Hadoop的用户,不要去解决“已经解决了的问题”。不需要只是为了改变平台就把现存的报表再用Hadoop做一遍。

Hadoop应用领袖企业,如Yahoo、Google、Facebook都做出了一流的系统,Hadoop分布式文件系统的应用离不开互联网巨头的推动。

然而,要将这项技术移植到企业级层面,却需要另外的技术。即使是Salesforce.com这样的网站都在移植Hadoop到支持公司业务线决策的时候吃了亏。

Salesforce的商务智能工程师Ramesh Koteshwar表示:“提起Hadoop,人们想到的往往只是存储数据。但用户越来越多的时候,你也不得不从计算(要求)的角度考虑。这不仅仅是存储”。

他预计,未来会有相当一部分人通过Hadoop获得的数据,Hadoop群集会有成百上千的用户。

他表示,安全性是把Hadoop扩展到企业应用的一个环节。Hadoop在Salesforce.com和其他地方的应用仍停留在探索的阶段,访问和身份认证仍是通向企业部署的道路上必须要翻越的障碍。

Koteshwar表示:“当你要把Hadoop产品化的时候,你需要事先考虑清楚。当你真的想要把它带进企业的时候,需要确保在Hadoop群集面前的,是业已形成的安全策略和流程”。

Ratnaka Lavu也持相同的意见,他认为让Hadoop系统适应全部的企业是很重要的。这涉及到构建正确的流程,正确的系统,数据供应和用户培训与采纳,这些细节是保证成功的关键。

一位与会者表示,Hadoop早期的发展,有很多值得借鉴的东西,至少一些边缘工作已经完成了。这表示在更多的数据基础架构就位后,部署Hadoop的回报率是明显的。他表示:“前期探索者的工作对我们有很大的帮助,在企业级应用上,我们需要构建更多的专用程序和解决方案,因为开源Hadoop的版本没有这些东西。”

Kumar是一家医疗机构的副总裁,负责企业体系结构,他也认为团队应该在初始阶段小规模使用Hadoop,发现新的用例后再推而广之。此外,你还需要掌握公司人才的知识储备,因为Hadoop需要很多新的技术知识,而这些知识是大多数传统IT从业者所不具备的。

他建议数据管理者尽早开始考虑Hadoop培训事宜,可以求助咨询顾问,但最好有自己的相关人才。未来Hadoop的操作者在做决策的时候,一定要有这个意识。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

作者

Jack Vaughan
Jack Vaughan

TechTarget新闻记者和网站编辑,主要关注数据管理领域的技术趋势和动态。