聚焦・海外传真 栏目编辑・胡素青Ｅ－ｍａｉｌ：ｈｕｓｕｑｉｎｇ０４＠ｌ６３ ｃｏｒｎ 大数据解决方案有助企业从海量信息中提炼出有用数据，基于分析的数据管理能为企业创造竞争优势，而 如何保障数据的安全和隐私，同时解决围绕知识产权附加项目的数据以及其他的法律责任也是大数据解决方案 需尽快解决的问题。 大数据解决方案概述 ■王雪玉编译 互联网的迅速扩张、社交媒体 过来形成了一个很好的决策基础。 活动的激增以及信息的数字化，向 捕获、管理、存储和快速分析的能 ＩＴ行业提出这样一个挑战：怎样应 力，以及拥有正确的传播渠道对数 对这一切？怎样对其加以利用？ 据的管理显得至关重要。 各类技术和这些问题的解决方 ＩＤｃ公司副总裁兼业务分析 案都成为时下的热门词。大数据解 师丹・本赛（Ｄａｎ Ｖｅｓｓｅｔ）说：“数 决方案能使企业挖掘海量信息，并 据管理这种变化早在５年前就已到 提炼出有用的价值，即使该方案目 来——虽然尖端企业知道这个情 前面临着各种挑战。 况，但很难以低廉的成本获得所有 专家认为，２０１２年很可能成为 工具。” 更多企业在数据管理上尝试用非关 大数据管理得到了诸如ＩＢＭ， 系模型的一年。这一趋势的一个关 Ｏｒａｃｌｅ，ＥＭＣ和微软等很多行业大亨 键指标是逐渐停止使用以应用程序 的关注，不少企业正是因为较早使用 为中心的方法，转而使用以数据为 大数据管理，才与同行其他企业拉 中心的方法。在过去，应用程序通 开了距离。话虽如此，对企业来说， 过分析数据，然后开始实施，但现在 目前大数据管理仍处于摸索阶段。 这个方法使工作越来越落后于技术 当企业参与到全球经济竞争中 的要求。 时，就面临着让分布在全球的员工 鉴于这一点，许多企业意识到 能够有效访问重要数据的新挑战。 不同来源的数据的价值，以及与应 分布全球的团队需要共享对大型文 用程序结合的重要性。Ｃｌｏｕｄｅｒａ公 件和数据集的读写访问，但这显然 司的软件工程师艾利・柯林斯（Ｅｌｉ 增加了数据管理的复杂性。另外，不 Ｃｏｌｌｉｎｓ）表示，Ｈａｄｏｏｐ作为一个基础 断采用数据同步和精确度的问题都 架构，数据是其重要的组成部分。” 影响了企业的工作效率。 ＭａｐＲ公司副总裁兼市场营销 管理利用大数据 杰克・诺里斯（Ｊａｃｋ Ｎｏｒｒｉｓ）表示，数 基于分析的数据管理对企业产 据在Ｈａｄｏｏｐ中以“作业”形式处 生了积极影响，可以在某些情况下 理，这些作业是使用一个名为ｍａｐ／ 创造竞争优势。因此，数据管理反 ｒｅｄｕｃｅ的范式，通过Ｊａｖａ编程语言编 ４４ Ｉ ２０１２年・第７期投稿邮箱ｈｎｆｃ＠２ｌｃｎ．ｎｅｔ 写的。尽管已采用其他措施加以辅 助，但如何正确理解分析业务问题， 并将其分解成可以作为ｍａｐ／ｒｅｄｕｃｅ 作业运行的解决方案，仍然不是一 个简单的过程。 合并大数据早期解决方案 无论在数据管理还是在开发 数据库方面，供应商为了将最新的 大数据解决方案与传统平台进行合 并，做出了不少努力。 以非结构化数据为例，随着网 络技术的发展，特别是ｌｎｔｅｒｎｅｔ技术 的飞快发展，使得非结构化数据的 数量日趋增多。这时，主要用于管理 结构化数据的关系数据库的局限性 越来越明显。因而，数据库技术相 应地进入了“后关系数据库时代”， 发展进入基于网络应用的非结构化 数据库时代。 Ｈａｄｏｏｐ在多用户环境中，批 量处理数据时出现并发性的可能 性很大。在这种情况下，Ｔｅｒａｄａｔａ 公司采用了Ａｓｔｅｒ Ｍａｐｒｅｄｕｃｅ设备， 结合了Ａｓｔｅｒ的关系数据库和ＳＱＬ Ｍａｐｒｅｄｕｃｅ框架，使用户能够通过一 个简单的ＳＱＬ接口存储复杂的非结 构化数据。Ｔｅｒａｄａｔａ公司工程师马 丁・威克斯（Ｍａｒｔｉｎ Ｗｉｌｌｃｏｘ）说：“如 海外传真・聚焦 栏目编辑：胡素青Ｅ—ｍａｉｌ：ｈｕｓｕｑｉｎｇ０４＠ｌ６３ ｃｏｍ 时随地对访问数据进行审计。 新的困惑 传统的关系数据库虽有扩展能 力，但可能不适合用于存储日益增长 的非结构化数据。甲骨文技术总监 大卫・瑞根（Ｄａｖｉｄ Ｒａｊａｎ）说：‘硷业 需要以不同方式扩张思维，以便找 到一个从低价值的非结构化数据中 提取成本效益的有效机制。”新技 术，ｌ：￣ｌ：ＩＨａｄｏｏｐ和ＮｏＳＱＬ不仅帮助 企业从一个非常低价值的数据集中 获得商业优势，而且能对现有技术 起到补充作用，如数据库的基础设 施和数据库平台。 Ｉｓｉｌｏｎ公司的产品主管尼克・克 果我们想从这些最新、最完整的数 据中提炼出真正有价值的信息数 据，制造更合适的ＭａｐＲｅｄｕｃｅ编程 的概念，比如数据政策、数据保护 杰查（Ｎｉｃｋ Ｋｉｒｓｃｈ）补充说：“摸索 过程中，企业可能还要承担启动成 本。尽管Ｈａｄｏｏｐ是一个很好的分析 和对数据的访问，其中根据麦肯 锡全球研究院高级研究员迈克・崔 （Ｍｉｃｈａｅｌ ＣＨＵＩ）的说法，企业还 需加大力度挖掘潜在大数据的处 理方法。 模型的话，需要将整个研究过程工 业化。” 扩展平台，但它也存在单点故障：从 存储角度来看效率低下，它需要一 套全新的工具、培训和流程。此外， 企业尚未看到，部署之后，一个开源 技术将成为其架构的主流。” Ｈａｄｏｏｐ现在尚未在更大范围 同样的例子，甲骨文也通过一个 全面的集成解决方案，利用其自身的 数据项目。甲骨文高级主管尼克・怀 例如，数据政策对于跨国公司 因为法规是因国而异的。再有就是 得不考虑如何保护敏感数据，同时 解决围绕知识产权附加项目的数据 以及其他的法律责任问题。迈克说： “解决这些问题将成为获取价值的 真正推动者。”。 大数据装置，帮助客户迅速启动大 来说，可能会被认为是一种挑战，特黑德（Ｎｉｃｋ Ｗｈｉｔｅｈｅａｄ）说：“这个 数据的安全和隐私问题，企业将不 内部署，而业内有人认为这事难以 解决方案很好地结合了我们的数据 装置，客户通过这种方式可轻松得 到我们公司的部署和支持。” 目前ＩＴ部门还需要了解一个单 实现。业内常有这样的设想：使用 更新更成熟的技术，以服务和支持 系统作为后盾，只须按一个按钮就 能让它工作。而这却是让ＣＩＯ感到 棘手的事。Ａｕｔｏｎｏｍｙ首席架构师菲 独的硬件模型，因为像传统直接连 接存储（ＤＡＳ）的Ｈａｄｏｏｐ部署，无论 供应商已经注意到了这点，并 且已经有大概的解决方案，这使得 南多・露悉尼（Ｆｅｒｎａｎｄｏ Ｌｕｃｉｎｉ）说： “这是企业所面临的挑战，但创新 并不局限于开源社区。” 现在已经有一个成熟的Ｈａｄｏｏｐ 是在备份上，还是在复制上，或者是 应了。因此，ＥＭＣ公司通过整合Ｉｓｉｌｏｎ 和Ｇｒｅｅｎｐｌｕｍ两个系统，为企业提供 在安全政策上，已与时代要求不相适 解决这些问题变得更容易。例如，ＩＢＭ提供全面的数据集成、数据质 后分析是可信的。ＩＢＭ扩展了这些 量和治理能力，确保信息交付的事 计划，而且今年研发人员也期待有 更多的预算可以支持这些项目的研 究。该指数的数据增长没有显示出 放缓的迹象，并且据Ｆｏｒｒｅｓｔｅｒ研究公 司的分析师研究分析，仍有５０％的 数据增长。公众的注意中心，也因此 解决方案，其中Ｉｓｉｌｏｎ存储系统是实 现复制、快照和安全集成的地方。 概念，他们的大数据解决方案是在 数据库级别和应用程序级别上实 施的。这些政策被绘制到他们的 Ｈａｄｏｏｐ—ｈａｓｅｄ平台上，使企业能随 大数据扩展 处理大规模数据集以及其他 ２０１２年・第７期投稿邮箱ｈｎｆｃ＠２ｌｃｎ．ｎｅｔ ｌ ４５ 聚焦・海外传真 栏目编辑：胡素青Ｅ－ｍａｉｌ：ｈｕｓｕｑｉｎｇ０４＠ｌ６３ ｃｏｍ 转移到当前的存储架构，因为存储 （Ｎｉｃｋ Ｓｔｅｖｅ）说：“但顾客不想将冷 “这个市场尚未成熟，而与此相 几乎占了ＩＴ预算的１７％。而这可能会 限制潜在的具有前瞻性的大数据解 决方案。 这里的两个主要问题是，存储 基础设备对数据不可控制的增长的 承受能力以及对这种增长的利用。 数据放置到ｓｓ吐，因为可能会造成 额外的负担。” 的最佳软件可能还未被写出来， 者它现在只被赋予了原型。所以歌 不能承诺一个会被捆绑到特定工舅 戴尔的执行董事卡特・乔治 （Ｃａｒｔｅｒ Ｇｅｏｒｇｅ）认为，在这种情况 下，客户需要选择一个存储的方式， 的存储战略。” 数据分析工作负载将成为另一 能与他们的软件工具兼容。一些软 关注点，企业会研究将它们搬离商 件工具带有自己的内置存储解决方 硬件的方法。重点是可靠性，无论 案，可能会将它们的用户锁定到特 在硬件层或文件层，它提供ＲＡＩＤ 镜像，能够在文件失败后恢复。皿 事实上，高端存储仍在利用， 并且越来越多地采用固态硬盘 （ＳＳＤ）。ＩＢＭ副总裁尼克・斯蒂夫 定存储架构。但同时，他也解释说： 纽交所创新移动应用程序 胡素青编译 所有银行都面临一个需求就是改进他们的移动银行战略。有些银行只愿意提供普通服务，而另外一些 则会有所创新。 美国纽约证券交易所（简称“纽交所”）就属于后者。移动银行专家透露，纽交所正在进行一项移动应 用测试，该应用是基于增强面向定位服务的现实以及与之匹配的数字水印。“采用多媒体内容来打印报告。” 明尼阿波利斯银行也“依靠各种研究方法，思考如客户如何使用现有技术以及境外银行如何接受新技术等 问题。现有系统已被察觉出有＿定缺陷，因此可以轻易地通过创新给用户造成最小的干扰。” 就数字水印来说，美国纽交所似乎是一个先驱。该应用使用ＴＱＲ码技术以增强报告打印技术。 “银行目前是与Ｄｉｇｉｍａｒｃ Ｄｉｓｃｏｖｅｒ；￣线服务门户网站合作来嵌入水印，或使用可被智能相机检测的代码 来开展相关应用。这些应用包括视频、在线研讨会、图表和照片等。数字内容可以像营销计划和其他措施那 样全面更新，以使企业的报告更加灵活。” 逐渐地，这将促使越来越多的银行沿着这条路线前进。然而，截至目前，除了银行核心功能，还没有真 正厉害的应用出现。 花旗银行和身份凭证 胡素青编译 自从金融危机和各项改革措施通过以来，大型银行对找到新的收入来源已经近乎绝望。 值得称道的是，花旗银行—直在寻求行业的多样化，众所周知的有身份凭证，或脱机验证，该银行—直 在致力于开发全新的金融服务市场。据《华尔街１３报》报道，“６月末，花旗银行将给国防部承包商的雇员发 放数字身份徽章，范围从高科技工程零件的制造商到清理洗手间的校工。花旗集团是唯一一家被许可出售 身份凭证的金融机构，凭此一项该银行就抢占了＿一块年销售额可达到数十亿美元的市场。” 真正的期望是，“承包商最终将使用发行的塑料徽章，这只不过是为了验证身份。如果企业采用该项技 术，他们的雇员将可以用银行卡领取薪水并支付业务费用，而花旗银行将会对所有这些交易收费。” 如果你问我本来哪家银行最有可能在这个行业引起轰动，我的答案是摩根大通。但从目前的情形来看， 花旗集团是唯一一家作出这种积极举措的银行。还有一些大的竞争对手，￣ＩＶｅｒｉｚｏｎ，ＶｅｒｉＳｉｇｎ和一些其他银 行。这次突袭似乎与花旗集团的支付业务出奇的配合。这样一项稳定的业务会产生修复盈利机会、创造良好 增长导向、出现如此难以捉摸的核心金融服务的非相关流的奇迹。而这一直是银行业与ＩＴ相关的科技部门 所希望看到的局面。 ４６ ｌ ２０１２年・第７期投稿邮箱ｈｎｆｃ＠２ｌｃｎ．ｎｅｔ