IBM分析大数据在现实世界中的应用

IBM全球企业咨询服务部 执行报告 IBM商业价值研究院 与牛津大学赛德商学院联合举行 分析：大数据在现实世界中的应用 创新型企业如何从不确定的数据中获取价值 IBM商业价值研究院 在IBM商业价值研究院的帮助下，IBM全球企业咨询服务部为政府机构和企业高 管就特定的关键行业问题和跨行业问题提供了具有真知灼见的战略洞察。本文是 一份面向决策层和管理层的简报，是根据该院课题小组的深入研究撰写的。它也是 IBM全球企业咨询服务部正在履行的部分承诺内容，即提供各种分析和见解，帮助 各个公司或机构实现价值。 有关更多信息，请联系本文作者或发送电子邮件到：ibvchina@cn.ibm.com 请访问我们的网站：http://www.ibm.com/cn/services/bcs/iibv/ 牛津大学赛德商学院 赛德商学院是英国最著名的商学院之一。学院通过深入地融合到世界一流的牛津 大学中，并且应对全球面临的一些挑战而建立了新的商业教育模式。欲了解更多信 息，您可以联系作者，或者访问：www.sbs.ox.ac.uk。 IBM全球企业咨询服务部　　1 – 对于许多人来说不可否认地意味着许多方面 – 它已经不再局 限于技术领域。如今，大数据已成为一项业务上优先考虑的工作 任务，因为它能够对全球整合经济时代的商务产生深远的影响。除了为应对长期存 在的业务挑战提供解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 之外，大数据还为流程、组织、整个行业、甚至社会本 身的转型激发了许多新的方式。然而，媒体的大肆渲染使得炒作与真实难以区分 – 到底在发生什么？我们最新的研究发现，企业正将大数据用于以客户为中心的收益 创造、内部数据的探索以及更优秀的信息生态系统的构建。 “大数据” “大数据”一词已经无处不在，然而，其概念仍然存 在混淆。大数据已被用于承载所有类型的概念，包 括：巨量的数据、社交媒体分析、下一代数据管理能 力、实时数据等。无论是任何种类，企业都已经开始 理解并且探索如何以新的方式处理并分析大量的信 息。这样，数量较少但不断增加的先驱者实现了突破 性的业务成果。 在全球的各行各业中，高管都认识到，他们需要更多 地了解如何利用大数据。但是，尽管它吸引了媒体的 广泛关注，但从企业正在做的事情中很难发现深层次 的信息。 因此，我们试图更好地了解企业如何看待大数据 – 以 及他们目前在多大程度上使用大数据而使其业务受 益。IBM商业价值研究院与牛津大学赛德商学院联 手进行了2012 Big Data @ Work研究，调查了95个 国家中的1144名业务和IT专业人员，并采访了20多 名学者、业务主题专家和企业高管。 我们发现，63% – 近三分之二 – 的受访者表示，信 息(包括大数据)和分析的使用为其组织创造了竞争优 势。在IBM的2010年新智慧企业全球高管联合调研 中，有此看法的受访者比例是37% – 在短短两年内增 加了70%。1 作者： Michael Schroeck，Rebecca Shockley，Janet Smart博士，Dolores Romero-Morales教授， Peter Tufano教授 2　　分析：大数据在现实世界中的应用 作为日益扩大的信息与分析市场中越来越重要的一个 领域，大数据具有重要的影响。对于在其组织内已经 实施大数据试验项目或者部署项目的受访者来说，通 过信息(包括大数据)和分析而获得巨大优势的比例要 比仅依赖传统分析方法的组织比例高15%。 一项令人感到意外的调研结果是，社交媒体对当前的 大数据市场的影响相对较小。由于媒体在社交媒体对 客户体验的影响方面的广泛报道，我们很容易相信， 大数据意味着社交媒体数据，但只有7%的受访者这 样定义大数据。不到一半的目前正在开展大数据举措 的受访者认为他们在收集和分析社交媒体数据；相 反，其他大部分受访者告诉我们，他们在当前的大数 据项目中使用现有的内部数据源。 那么，当前的大数据活动为何与以前不同？有些组 织使用大数据已有多年时间。例如，一家全球电信 公司每天从120个不同系统中收集数十亿条详细呼叫 记录 混凝土 养护记录下载土方回填监理旁站记录免费下载集备记录下载集备记录下载集备记录下载 ，并保存至少九个月时间。一家石油勘探公司 分析几万亿字节的地质数据，而证券交易所每分钟 处理数百万个交易。对于这些公司，大数据并非一 个新概念。 然而，两个重要趋势使得大数据时代与之前有显著的 区别： • 目前在广泛行业中几乎“所有方面”的数字化产生 了新型的大量的实时数据。其中，非 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 数据占据 很大一部分：例如，流数据、地理空间数据或传感 器产生的数据，这些数据并不能完美地适用于传 统的、结构化的、关系型数据仓库； • 当前先进的分析技术和工艺使得各组织能够以从 前无法达到的复杂度、速度和准确度从数据中获 得洞察力。 关于本调研 IBM商业价值研究院与牛津大学赛德商学院联手制订了 本报告。报告基于IBM在2012年中期对95个国家中26 个行业的1144名专业人员的进行的Big Data @ Work研 究。受访者来自多个学科，包括业务专业人员(占总样本 的54%)和IT专业人员(占总样本的46%)。受访者自己 选择参与网上调研。 调研结果基于对调研数据的分析，以及与牛津大学学 者、业务主题专家和业务高管的讨论。IBM是研究建议 的主要提供者。 IBM全球企业咨询服务部　　3 在各行业和各地区，我们的调研发现，组织对大数 据采用了一种务实的方法。最有效的大数据解决方 案首先识别业务要求，然后定制基础架构、数据源 和分析方法，以支持业务机会。这些组织从现有的 和新的内部信息来源中获取新的洞察力，制订大数 据技术战略，然后随着时间的推移逐步地升级相应 的基础架构。 我们的调研结果为各组织逐步开展大数据举措以及从 大数据中获取最大的商业价值提供了五项关键建议： • 以客户为中心推动初始举措； • 制订整个企业的大数据蓝图； • 从现有数据开始，实现近期目标； • 根据业务优先级逐步建立分析能力； • 基于可衡量的指标制定业务投资回报分析。 定义大数据 在对大数据的混淆中，很大一部分从大数据的定义开 始。为了了解我们的调研受访者对该术语的定义，我 们让每个受访者选出大数据的两个特征。没有任何一 个特征在选择中具有明确的主导优势，相反，受访者 对于当前更多的数据、数据和分析的新类型或者对更 实时的信息分析的新要求的看法各异(见图1)。 这些结果与确定大数据的三个维度的有用方式相一 致 – 即“3V”：数量(volume)、多样性(variety)和速 度(velocity)。尽管这些涵盖大数据本身的关键属性， 但我们认为，企业需要考虑一个重要的第四维度：精 确性(veracity)。将精确性作为大数据的第四个属性 凸显了应对与管理某些类型数据中固有的不确定性的 重要性(见图2)。 ߸࠽ڦ႑တݔྷݥدཥႚ๕ڦ௃༹ႎڦຕ਍ᇑݴဆૌ႙ٷຕ਍ଉํ้႑တፌႎୁႜَઠጲႎरຍڦຕ਍ม঍௃༹ຕ਍定义大数据 我们让受访者从以上选项中选出两种描述，说明他们的组织如何看待大数 据。这些选项经过缩写，各项选择经过标准化处理，使总和等于100%。受 访者总数=1144。 图1. 受访者对大数据有不同的看法。 4　　分析：大数据在现实世界中的应用 涵盖这四个维度有助于定义和区分大数据： 数量：数据量。数量也许是与大数据最相关的特征， 指企业为了改进企业中的决策而试图利用的大量数 据。数据量持续以前所未有的速度增加。然而，真正 造成数据量“巨大”的原因在不同和行业和地区各 有不同，而且没有达到通常引用的PB级(petabyte)和 ZB级(zetabyte)。超过一半的受访者认为数据量达到 Terabyte和Petabyte之间才称为大数据，而30%的受访 者不知道“大”对于其组织应该有多大。所有受访者都 同意，当前被认为“巨大的数量”在将来甚至会更大。 多样性：不同类型的数据和数据源。多样性是指管理 多种数据类型的复杂性，包括结构化、半结构化和非 结构化数据。企业需要整合并分析来自复杂的传统和 非传统信息源的数据，包括企业内部和外部的数据。 随着传感器、智能设备和社会协同技术的爆炸性增 长，数据的类型无以计数，包括：文本、微博、传感 器数据、音频、视频、点击流、日志文件等。 速度：数据在运动中。数据创建、处理和分析的速度持 续在加快。加速的原因是数据创建的实时性天性，以及 需要将流数据结合到业务流程和决策过程中的要求。 速度影响数据时延 – 从数据创建或获取到数据可以访 问的时间差。目前，数据以传统系统不可能达到的速度 在产生、获取、存储和分析。对于对时间敏感的流程， 例如实时欺诈监测或多渠道“即时”营销，某些类型的 数据必须实时地分析，以对业务产生价值。 图2. 大数据的四个维度。 ຕ਍ڦփඓۨႠ࠶૙ຕ਍ڦ੗੍Ⴀࢅ੗ᇨ֪ႠLj৑࠶ᇱิຕ਍ాิႠڦփ৛ඓ৛ඓႠ ໏܈ܠᄣႠຕଉຕ਍ࡀఇTB዁PBपຕ਍ ຕ਍ڦሏۯݴဆୁຕ਍Ljሞփڟᅃ௱ాፔ؜ਦ֧大数据的维度 IBM全球企业咨询服务部　　5 精确性：数据不确定性。精确性指与某些数据类型相 关的可靠性。追求高数据质量是一项重要的大数据 要求和挑战，但是，即使最优秀的数据清理方法也无 法消除某些数据固有的不可预测性，例如天气、经济 或者客户最终的购买决定。不确定性的确认和规划的 需求是大数据的一个维度，这是随着高管需要更好地 了解围绕他们身边的不确定性而引入的维度(参考右 栏：“精确性，第四个‘V’”)。2 最后，大数据是这些特征的组合，为企业在当前的数 字化市场中创造竞争优势提供了机会。它使企业能够 转变与客户交互并满足客户需求的方式，并且使企业 – 甚至整个行业 – 能够实现自身的转型。并非每家企 业都采用相同的方法培养其大数据能力。但是，利用 新的大数据技术和分析方法改进决策和绩效的机会 存在于每个行业中。 企业对大数据采取了实用的方法 尽管宣传铺天盖地，但整个市场都同意，我们处于 企业大数据采用的初级阶段。在本调研中，我们使用 “大数据采用”(big data adoption)这个术语表示数 据、数据源、技术和技能的自然演进，在全球整合市 场中创造竞争优势。 我们的Big Data @ Work调研证明，大多数企业目前 处于大数据开发的早期阶段，大多数企业目前主要 是理解概念(24%)或者定义与大数据相关的路线图 (47%)。然而，28%的受访者属于领先的企业，他们 正在进行概念验证测试(POC)，或者已经大规模实施 了大数据解决方案(见图3)。 精确性，第四个“V” 有些数据具有固有的不确定性，例如：人的感情 和诚实性；曼哈顿摩天大楼上安装的GPS传感 器；天气形势；经济因素；以及未来。在处理这 些类型的数据时，数据清理无法修正这种不确定 性。然而，尽管存在不确定性，数据仍然包含宝 贵的信息。确认并接受这种不确定性的需求是大 数据的特点。 不确定性在大数据中以多种形式体现。人类环境 中创建的数据存在怀疑论，例如社交网络；对于 未来如何呈现以及人、自然或不可见的市场推动 力量如何影响世界的多样性的不可知。 这种不确定性的一个例子是能源制造，但公用事 业公司仍然必须预测产量。在许多国家中，监管 机构要求一定比例的产量来自可再生资源，而风 或云都无法准确预测。那么，您如何做 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 ？ 要管理不确定性，分析人员需要创建围绕数据的 上下文。实现这一点的一种方式是通过数据融 合，即通过结合多个可靠性较低的来源而创建更 准确、更有用的数据点，例如与地理空间位置信 息相关的社会评论。管理不确定性的另一种方式 是通过先进的数学方法，例如鲁棒优化技术和模 糊逻辑方法。 从本质来讲，人类不喜欢不确定性，但简单地忽 略这一点可能产生比不确定性本身更多的问题。 在大数据时代，高管需要以不同的方式处理不确 定性的各个维度。他们需要承认、接受这一点， 并确定如何充分利用这一点；对于不确定性，有 一点是确定的，即它不会消失。 6　　分析：大数据在现实世界中的应用 对调查反馈进行分析后得出的五个关键结论表明，受 访者持有某些相同的、有趣的倾向和看法： • 在各个行业中，大数据业务案例强烈集中于满足以 客户为中心的目标； • 可伸缩、可扩展的信息管理基础是大数据进步的 前提； • 企业开始利用现有的和新的内部数据源进行试点 和实施； • 企业要从大数据中获得最高的价值，需要先进的 分析能力，然而，企业通常缺乏这些能力； • 随着企业对大数据的认识和参与度增加，我们看 到大数据采用可以分为四个阶段。 1. 客户分析推动大数据举措 我们让受访者列出大数据的三个首要目标，近一半的 受访者认为以客户为中心的目标是其企业的首要任务 (见图4)。企业致力于改善客户体验，并且更好地了解 业务驱动的成果 我们让受访者列出大数据在其企业内的首要功能目标。受访者经过加权和 汇总。受访者总数=1067 图4. 近一半受访者的大数据举措针对以客户为中心的成果。 我们要求受访者指出其企业内的大数据活动现状。由于四舍五入的原因， 比例不等于100%。总受访者=1061 图3. 大多数企业处于大数据开发过程的早期阶段。 大数据活动 IBM全球企业咨询服务部　　7 客户偏好和行为。在2011年IBM全球首席营销官调 研和2012年IBM全球首席执行官调研中，了解当前 的“智慧型消费者”(Empowered Consumer)也被认 为具有较高的优先级。3 企业明确地认为大数据有能力更好地了解和预测客 户行为，并因此改善客户体验。交易数据、多渠道交 互数据、社交媒体数据、外联数据(例如来源于忠诚 卡)以及其它与客户相关的数据全面提高了企业了解 客户偏好和需求的能力 – 这是营销、销售和客户服务 组织几十年来追求的目标。 通过更深入地了解，各种类型的企业不断寻找新的方 式与现有客户和潜在客户交流。这一原则明确适用于 零售业，但同样也适用于电信、医疗、政府、银行、 金融、涉及最终消费者与市民的消费品，以及合作伙 伴和供应商之间的企业对企业的交互。 事实上，大数据可以作为客户和企业之间的双向通 道。例如，福特福克斯电动车在驾驶和停车时产生大 量数据。在行驶中，司机持续地更新车辆的加速度、 刹车、电池充电和位置信息。4 这对于司机很有用， 但数据也传回福特工程师那里，以了解客户的驾驶习 惯，包括如何、何时以及何处充电。5 尽管车辆处于 静止状态，它持续将车辆胎压和电池系统的数据传送 给最近的智能电话。6 这种以客户为中心的场景具有多方面的好处，因为大 数据实现了宝贵的新型协作方式。司机获得有用的最 新信息，而位于底特律的工程师汇总关于驾驶行为的 信息，以了解客户，制订产品改进计划。此外，电力 公司和其它第三方供应商分析数百万英里的驾驶数 据，以决定在何处建立新的充电站，以及如何防止脆 弱的电网超负荷运转。7 全球各地的企业通过大数据更好地满足客户的需求， 并且改善运作能力。Mcleod Russel India Limited 等公司通过更准确地追踪每年高达1亿公斤茶叶的收 成、产量和营销而完全消除了系统停机带来的不良 影响。8 高级医疗联盟使用增强的数据共享和分析技 术改进患者的治疗，同时将支出降低28.5亿美元。9 Santam通过实施预测分析减少了欺诈，从而改善了 客户体验(见第8页左栏：“Santam：预测分析增强了 欺诈监测能力，并加快索赔处理”)。 除了实现以客户为中心的目标，其它功能目标也通过 大数据的尽早应用而实现。例如，18%的受访者认 为运营优化是其目标，但其中包括大量实点项目。受 访者经常提到的其它大数据应用包括：风险/财务管 理、员工协作和实现新的业务模式。 大数据可更全面地了解客户偏好和需 求；通过这种深入的了解，所有类型的 企业均可以找到新的方式与现有客户和 潜在客户交互。 8　　分析：大数据在现实世界中的应用 Santam：预测分析增强了欺诈监测能力，并加 快索赔处理10 欺诈是全球各地的保险公司面临的一个切实挑 战。无论是大规模欺诈，例如纵火，或者涉及到 较小金额的索赔，例如虚报价格的汽车修理账 单，欺诈索赔的支出每年可使企业支付数百万美 元的费用 – 而且成本会以更高保费的形式转嫁给 客户。保险公司不断应对欺诈，但法律诉讼和私 人调查等传统方法不仅费时，而且要支付高昂的 费用。 作为南非最大的短期保险提供商，Santam切实 感到保险欺诈的严重性。欺诈损失占Santam客 户每年保费的6%至10%。欺诈还有另外一个后 果 – 运行效率低下。由于代理必须处理并调查高 风险和低风险索赔，所有索赔至少需要三天才能 解决，而且Santam开始感觉到，公司在客户服 务方面的良好声誉在客户希望快速获得结果的时 代受到了损害。 通过采用先进的分析解决方案从收到的索赔中获 取数据，Santam有能力及早发现欺诈，根据已 经确定的风险因素评估每个索赔，并且将索赔划 分为五个风险类别 – 将可能的欺诈索赔和更高 风险与低风险案例区分开。借助新系统，公司不 仅节省了数百万元的保险欺诈损失，而且显著缩 短了低风险索赔的处理时间，最终使某些客户的 处理在不到一个小时内即可完成。在实施后的前 几个月内，Santam还发现了一个著名的汽车保 险欺诈团伙。大数据、预测分析和风险划分帮助 公司识别出了导致欺诈监测的模式。 2. 大数据依赖于可伸缩和可扩展的信息基础设施 从大数据中实现显著的、可衡量的业务价值的潜力只 有在企业拥有能够支持快速提高的数据量、多样性和 精确度的信息基础设施的前提下才能实现。我们让受 访者指出其大数据基础设施的现状。近三分之二的受 访者表示，他们已经采用整合、可伸缩、可扩展且安 全的信息基础开始大数据之旅。在受访者的大数据举 措中，他们提到最多的是四个信息管理组件(见图5)。 我们让目前正在开展大数据举措的受访者指出哪些平台组件目前试用或 者整合到架构中。每个数据点都独立收集。每个数据点的总受访者范围是 297至351。 图5. 受访者大数据基础设施的组件。 ႑တኝࢇ੗કቛڦ٪ئएإॐࠓߛඹଉຕ਍֞ੰҾඇᇑዎ૙গԨᇑਸ݀߾ਏଚ٪ئຕ਍ੰްሗ๚ॲت૙߾ፕ޶ሜᆫࣅݴဆे໏ഗ Hadoop/MapReduce NoSQLᆅ൤ୁऺ໙ 大数据基础设施 IBM全球企业咨询服务部　　9 信息整合是任何分析项目的关键组成要素，对大数据 来说，它甚至更加重要。正如在2011年IBM商业价值 研究院对高级分析所做的调研，企业的数据必须随时 可被需要数据的人员使用和获得。11 主数据管理和关键主题数据的整合 – 客户、产品、供 应商、员工等 – 需要跨企业的数据，这些数据必须根 据单一企业标准进行监管。多年来，商业智能面临的一 个挑战是不能跨组织和部门孤岛将数据联系起来。这 种整合对于大数据甚至更加重要，但也更加复杂。在 目前正在开展大数据举措的受访者的企业中，65%的 受访者认为他们的整合信息能力不足以支持大数据。 在大数据活动中，下一个最常见的信息管理基础组件 是可扩展的存储基础设施和高容量数据仓库。这些组 件分别支持目前和将来进入企业的数据的快速增长。 从表面上讲，结合增加存储和增加一个或多个更大服 务器的方法可以支持信息管理基础的增长。然而，预 测和设计基础设施是实现预期业务价值回报的关键， 了解这一点非常重要。企业需要考虑如何最好地支持 数据的增减，使用户能够在需要时访问数据，并考虑 如何在业务要求的时间内分析数据(无论是按天、小 时、秒还是毫秒)。服务器和存储的这种平衡配置和 部署实现了更加优化的基础设施。 随着越来越多的人要求访问更多不同类型的信息，这 些技术通过在整个企业内实现统一的自动化数据移 动，也管理着收到的 – 以及存储的 – 数据。数据分层 与压缩、水平扩展的文件系统以及内存数据库等新兴 技术实现了比传统数据仓库更的工作负载的管理。对 许多企业来说，在管理日益增多的数据方面提高能力 是大数据的第一要务，其次是应对日益提高的数据多 样性。(见右栏：“Vestas：更好的数据分析能力降低 了成本，并提高了效率”。) Vestas：更好的数据分析能力降低了成本，并提 高了效率12 风轮机投资涉及数百万美元，一般寿命为20-30 年。为了确定风轮机的最佳位置，大量与位置相 关的因素都必须考虑，包括温度、降水、风速、 湿度和气压。 对丹麦风轮机制造商Vestas Wind Systems A/ S (Vestas) 来说，用于创建客户风轮机位置模型 的数据分析流程越来越难以获得满意的结果；这 个流程需要几星期才能完成执行，而且无法支持 大量数据的分析，而客户认为这对于精确的风轮 机部署和电力预测非常必要。Vestas工程师希望 开始使用确切记录的现有客户风轮机数据开发自 己的预测结果，而不是使用行业模型；公司的挑 战是将数据容量增加到预计的6PB。 通过在世界上最大的超级计算机上使用大数据 解决方案以及为了从大量因素(包括结构化和非 结构化数据)中获得洞察力而设计的建模解决方 案，公司现在可以帮助其客户优化风轮机的布 局，并因此提高风轮机的性能。 这个新的信息环境使公司能够通过以前无法实现 的方式管理并分析天气和位置数据，从而获得洞 察力，以改进关于风轮机布局和运行的决策，并 且实现了更准确的发电预测。更详细的模型意味 着更高的业务案例确定性、更快获得结果，以及 更高的可预测性和可靠性，这降低了客户的每千 瓦时成本，并且提高了客户投资回报估计的准确 度。这些技术将业务用户请求的响应时间缩短了 大约97% – 从几星期缩短到几小时，并且显著提 高了风轮机布局的效率。 10　　分析：大数据在现实世界中的应用 58%的企业拥有强大的安全和治理流程，这些受访者 表示，他们目前正在实施大数据举措。尽管安全和治 理长期以来都是商业智能的固有组成部分，但就大数 据来讲，额外的法律、道德和法规考虑引入了新的风 险，并且增加了公众犯错的可能性，因为我们已经看 到，某些公司已经失去对数据的控制，或者以有问题 的方式使用数据。 因此，据多名受访的业务主题专家和业务高管表示， 数据安全 – 尤其是数据隐私 – 是信息管理的一个关 键部分。随着企业采用新的信息来源，尤其是社交媒 体数据，安全和治理将变得更加重要，而且任务更 加艰巨。由于这一挑战的存在，隐私法规仍在不断制 订，而且各国可能存在巨大的差异。 一位电信行业高管解释说：“业界认为隐私和安全很 容易，但受到严格的监管和关注。”并非只有政府机 构在关注，客户自身也在这样做。这位高管继续说： “在许多新的领域 – 例如网络浏览数据，法律和权利 之间存在灰色区域。我们已经采取了措施，使用客户 可能认定的标准来评估我们的应对举动，但凡我们使 用数据的方式出现在报纸头版。” 升级基础设施相关的成本逐渐提高，这是许多受访 的高管关注的问题。他们认为，高层领导需要可靠 且可量化的商业投资回报分析，定义所需增加的投 资以及证明并优化信息管理环境成本的机会。成本 更低的架构 – 包括云计算、战略外包和基于价值的 定价 – 被认为是正在部署的战术。然而，有些受访 者认为业务机会能够补偿增加的相关成本，并据此 向信息平台投资。 3. 最初的大数据举措注重从现有的和新的内部数 据源中获得洞察力 大多数早期的大数据举措注重获得并分析内部数据。 据我们的调研指出，超过一半的受访者将内部数据作 为企业内大数据的主要来源。这表明企业在采用大数 据战略时采用了实用的方法，同时也表明，有大量未 开发的价值仍然隐含在这些内部系统中(见图6)。 我们让目前开展大数据举措的受访者指出他们目前收集并分析哪些数据 源。每个数据点独立收集。每个数据点的总受访者为557至867人。 图6. 企业主要使用内部数据源开展大数据举措。 大数据来源঍ᅟනኾຕ਍๚ॲۉጱᆰॲᅼೕRFID෢௮ईPOSຕ਍ৢༀ཮ၟ /๫ೕม঍௃༹دߌഗྔևઠᇸጲᆯ߭๕࿔Ԩں૙੣क़ IBM全球企业咨询服务部　　11 正如意料的那样，内部数据是企业内最成熟并且被 熟知的数据。这些数据已经通过多年的企业资源计 划、主数据管理、商业智能和其它相关工作而收集、 整合、结构化和标准化处理。通过利用分析方法， 从客户交易、交互、事件和电子邮件中获得的内部 数据可以提供宝贵的洞察力(参考：“Automercados Plaza's：通过更强大的洞察力获得更高收入”)。 Automercados Plaza's：通过更强大的洞察 力获得更高收入13 Automercados Plaza’s是委内瑞拉的一个家 族式食品连锁店，拥有超过6TB产品和客户数 据，分布在不同系统和数据库中。因此，公司难 以轻松地评估每个商店的运行情况，而且高管知 道他们需要从数据中获得宝贵的洞察力。 Automercados Plaza's公司CIO Jesus Romero说：“在定价、库存、销售、配送和销售 方面，我们面临着严重的混乱。我们拥有近2000 万美元的库存，而且我们追踪不同系统中的相关 信息，并且手动进行编辑。我们需要一个整合的 视图，以确切地了解我们拥有什么。” 通过整合企业内的信息，这家食品连锁店的收 入增加了近30%，年利润提高了700万美元。 Romero先生将这些成绩归功于更好的库存管理 以及更快适应不断变化的市场形势的能力。例 如，公司避免了大约35%的产品的损失，因为公 司能够提前安排降价，在食物变质前将易变质的 食物销售出去。 然而，在许多企业中，某些内部数据的大小和范围 (例如详细的交易数据和运行日志数据)变得过于庞大 且过于多样化，难以在传统系统中管理。 对于目前开展大数据举措的企业，近四分之三的受访 者都在分析日志数据。这是“机器或传感器生成”的 数据，用于记录业务或信息系统内执行的自动功能的 详细信息 – 数据已经超出许多传统系统的存储和分 析能力。因此，许多数据在收集后并未被分析。 根据我们对高管的采访得知，目前指导企业开展大数 据举措的许多CIO已经开始利用这些未利用的内部 信息源，他们利用了更具扩展能力的基础架构提供的 更高的处理能力。 4. 大数据需要强大的分析能力 大数据只有在用于应对重要的业务挑战时才能创造 价值。这要求获取更多的不同种类的数据，以及强 大的分析能力，包括软件工具和使用这些工具的必 备技能。 通过对开展大数据活动的企业进行考察发现，这些企 业首先建立了强大的分析能力，目的是处理结构化数 据。然后，它们进一步增强能力，利用进入企业的大 量半结构化(可以转换为标准数据形式的数据)和非结 构化(非标准形式的数据)数据。 12　　分析：大数据在现实世界中的应用 在开展大数据举措的企业中，超过75%的受访者表 示，它们使用核心分析能力，例如查询和报表以及数 据挖掘，对大数据进行分析，而超过67%的受访者表 示它们使用预测建模。以这些基础性的分析能力为出 发点是开始解释和分析大数据的实用方法，尤其是当 大数据存储在关系型数据库中时。(见图7)。 对于更多高级数据可视化的能力需求随着大数据的 引入而增加。对业务或数据分析人员来说，数据集通 常过大，他们利用传统报告和数据挖掘工具难以查 看和分析这些数据。在我们的调研中，受访者表示， 71%的大数据举措依赖数据可视化技能。 开展大数据举措的企业需要越来越多的高级能力， 以发现大数据的固有复杂性中的模式。为了做到这一 点，受访者采用优化模型和高级分析技术，更好地了 解如何转变关键业务流程。他们使用模拟能力分析大 数据中大量变量。我们的调研发现，50%以上的大数 据举措使用了这些先进的建模能力。 当前，大多数企业将初始的大数据分析重心指向结构 化数据。但是，大数据也提出了分析多种数据类型的 需求，包括对许多企业可能全新的多种数据。在超过 一半的大数据举措中，受访者表示他们采用先进的能 力分析处于自然状态的文本，例如呼叫中心对话的记 录。这些分析能力包括解释和理解语言的细微差别， 例如感情、俚语和意图。 掌握分析非结构化数据(例如、地理空间位置数据、 语音和视频)或流数据的能力对大多数企业来说是一 个持续的挑战。在这些领域中，尽管硬件和软件已经 成熟，但技能仍然缺乏。在开展大数据举措的企业 中，不到25%的受访者表示他们拥有分析高度非结构 化数据所需的能力，例如语音和视频。 大数据的进步要求获取或者培养这些更先进的技术 和分析能力，这已经成为许多正在开展大数据举措的 企业的首要挑战。在这些企业中，缺乏先进的分析技 能是从大数据中获得最大价值的主要障碍。 我们要求正在开展大数据举措的受访者指出其企业内目前拥有哪些分析能 力。每个数据点独立收集。每个数据点的总受访者为508至870人。 图7. 受访者采用多种高级分析能力。 ֱკᇑԒ՗ຕ਍ྌਢຕ਍੗๫ࣅᇨ֪ॺఇᆫࣅᇕᅼݴဆఇెݠኈጲ඗ᇕჾ࿔Ԩں૙੣क़ݴဆୁݴဆ๫ೕݴဆ 大数据分析能力 IBM全球企业咨询服务部　　13 5. 新兴的大数据采用模式注重提供可衡量的业务 价值 为了更好地了解大数据形势，我们让受访者描述大数 据活动目前在企业中的应用程度。这些结果指出了大 数据采用和发展过程中的四个主要阶段，我们将其分 为：教育、探索、接触和执行(见图8)。 教育：建立知识库(24%的受访者) 在教育阶段，主要核心是意识和知识培养。近25%的受 访者指出，他们的企业尚未使用大数据。尽管有些企业 并不了解大数据的主题，但我们的采访指出，这个阶段 的大多数企业正在考察大数据技术和分析带来的潜在 收益，并且试图更好地了解大数据如何帮助在其行业 或市场中抓住重要的业务机遇。在这些企业中，主要是 由个人进行知识收集，而非正式的工作组，而且他们学 到的知识并没有在企业内使用。因此，大数据的潜力尚 未得到业务高管的全面了解和接受。 探索：定义业务投资回报分析和发展路线图(47%) 探索阶段的核心是制订企业的大数据发展路线图。近 一半的受访者表示，其企业内对如何利用大数据应对 重要的业务挑战进行了正式的持续讨论。这些企业的 主要目标包括制订和量化的业务投资回报分析，并创 建大数据蓝图。这一战略和路线图考虑了现有数据、 技术和技能，然后列出了从何处开始，以及如何制订 与企业的业务战略相符的计划。 接触：拥抱大数据(22%) 在接触阶段，企业开始证明大数据的业务价值，并对 其技术和技能进行评估。目前，超过五分之一的受访 者企业在进行概念验证测试(POC)，以确认与实施大 数据举措相关的要求，并且传达预期回报。这一组的 企业正在 – 在既定的受限范围内 – 努力了解并测试 利用新的数据源所需的技术和技能。 我们让受访者指出大数据活动在其企业中的现状。由于四舍五入的原因，比例不等于100%。总受访者 =1061 图8. 新的大数据采用模式的四个阶段。 ጀዘኪ๎ओેᇑ๨ׇ࠵ִጺ๴ݡኁڦԲ૩๟ 24% ঞᇣ ߵ਍ᄽခႴ൱ࢅ཈቟዆۩቟୼ࢅୟ၍཮༑໭ ๬ᄓٷຕ਍ਉٯLjᅜᄓኤॏኵࢅᄲ൱ጺ๴ݡኁڦԲ૩๟ 22% থة ևຈଇ߲ईܠ߲ٷຕ਍ਉٯLjժीჄ֑ᆩߛपݴဆጺ๴ݡኁڦԲ૩๟ 6% ኴႜ大数据采用阶段 14　　分析：大数据在现实世界中的应用 执行：大规模实施大数据(6%) 在执行阶段，大数据和分析能力更广泛地在企业内应 用并实施。然而，仅6%的受访者表示，他们的企业 已经实施了两个或多个大数据解决方案 – 这是演进 到这个阶段的门槛。这种处于执行阶段的企业数量较 少的情况与我们在市场中观察到的现象一致。重要的 是，这些领先企业利用大数据实现业务转型，并因此 从信息资产中获得最大的价值。随着企业采用大数据 的速度加快 – 在参与阶段有22%的受访者，正在进 行POC或试点 – 我们预计处于这个阶段的企业比例 将在明年翻一番以上。 6. 随着大数据能力的进展，各阶段将发生更多变化 除了五项主要的调研发现外，我们的分析还揭示了 与高管支持、数据可用性要求和主要障碍相关的各 发展阶段的不同模式。这些模式指出了企业发展大 数据基础设施和分析能力需要采取的一系列互相关 联的步骤。 大数据支持 对大数据采用行为的更深层考察指出了不断变化的 支持模式(见图9)。在我们的样本中，受访者表示，超 过三分之一的大数据举措由CIO推动。然而，绝大多 数CIO推动的举措处于早期阶段，企业向技术投资， 并开始识别业务机会和要求。 随着企业进入下一个阶段，对举措的支持由业务高管 提供 – 特定职能的高管，例如CMO或CFO，甚至是 CEO。尤其需要指出的是，这种业务高管注重单个 焦点的支持模式被认为是大数据成功的关键。 这种模式表明，企业最初可能注重技术，以及建立大 数据基础设施，但随着它们开始制订业务投资回报 分析和发展路线图，支持工作转向一名或多名业务高 管。即使如此，CIO和IT组织在执行商定的路线图 时必须继续扮演重要角色。 数据可用性 如图10所示，我们看到数据可用性要求如何随着企业 的大数据举措的成熟而发生显著改变。通过对受访者 的回答进行分析指出，无论处于大数据采用的哪个阶 段，企业都面临着缩短数据时延、提高数据时效性的 更高的需求。高管在制订战略性的日常业务决策时， 似乎越来越多地考虑到及时性数据的价值。数据不再 仅仅是辅助支持决策的东西；而是在制订该决策时的 一个业务关键要素。 我们让受访者指出谁与大数据和分析洞察力的使用要求最相关。文本框的 布局反映了高管在各个阶段占主导地位的程度。总受访者=1028 图9. 领导职能的转变随着企业内的大数据举措发展而变得 明显。 对大数据的支持 ኴႜথة༑໭ঞᇣ࿮ߛ࠶ ๯ဝ႑တ࠳ ޶ሴ༬ۨᄽခ၍ڦߛ࠶ ๯ဝኴႜ࠳ߛ࠶ၭፇ IBM全球企业咨询服务部　　15 我们预计，随着业务模式的发展，以及企业对流数 据、内存分析、机器对机器的处理和其它创新进步技 术的投资，对更实时访问的需求将继续提高。 大数据障碍 在企业从大数据采用的一个阶段进展到另一个阶段 的过程中，遇到的挑战也不同。但是，我们的调研 结果指出了一个普遍的挑战 – 无论在哪个阶段 – 这 就是制订有吸引力的业务投资回报分析报告的能力 (见图11)。在每个阶段，大数据举措都要经过财务审 查。当前的全球经济形势使那些基本没有进行新技术 投资的企业无法获得显著的收益 – 当然，这一要求不 仅仅针对大数据举措。在企业成功实施POC后，最 大的挑战变成了寻找大数据得以运行的技能，包括： 技术、分析和治理技能。 建议：推动大数据采用 IBM对Big Data @ Work研究结果的分析为了解每 个阶段的企业如何推动大数据举措提供了新的洞察 力。受应对业务挑战这一需求的推动，并且根据不断 进步的技术和数据不断变化的特点，企业已经开始更 深入地考察大数据的潜在收益。为了从大数据中获取 更多价值，我们为企业实施大数据举措提供了大量的 建议。 以客户为中心推动初始举措 最初的大数据举措必须注重能够为企业提供最大价 值的领域，这一点势在必行。对许多行业来说，这意 味着从客户分析开始，通过真正了解客户需求，并预 测未来行为，从而为客户提供更好的服务。 我们让受访者指出业务用户或流程需要多快获得数据。文本框的布局反映 了该要求在每个阶段的常见程度。总受访者=973 图10. 应对实时数据带来的挑战。 ኴႜথة༑໭ঞᇣᅃ႓೺ా 24ၭ้ా ཞᅃ߲߾ፕනాํ ้دໃ所需的数据可用性 我们让受访者指出其企业内的大数据面临的主要挑战。文本框的布局反映了 该挑战在各个阶段的常见程度。受访者经过加权和汇总。总受访者= 1062 图11. 了解大数据采用的主要障碍。 主要障碍 ኴႜথة༑໭ঞᇣ ዆۩ᆶဌᆅ૰ڦᄽခཨጨ࣮ԒݴဆԒߢକ঴සࢆ๑ᆩٷຕ਍࠶૙ঋۅᇑኧ׼ ຕ਍ዊଉݴဆरీरຍీ૰ 16　　分析：大数据在现实世界中的应用 全面数字化是有助于带来大数据迅猛发展的一个推 动力，已经改变了个人和组织之间的力量平衡。如果 企业希望了解并向有能力的客户和市民提供价值，他 们必须集中精力将客户作为个体进行了解。企业还需 要向新技术和高级分析能力投资，以更好地了解各个 客户的交互和偏好。 但是，当今的客户 – 包括最终消费者或者企业对企业 客户 – 需要的不仅仅是了解。要想有效地培养与客户 之间有意义的关系，企业必须以客户认为有价值的方 式与客户联系。 价值可能来自更及时、更明智或者更相关的交互； 也可能来自于企业通过改进底层运作而增强交互的 整体体验。无论来自何处，分析都有助于从大数据 中获得洞察力，这对于在这些关系中达到这一深度 日益重要。 制订整个企业的大数据蓝图 蓝图包含企业内的大数据愿景、战略和要求，对于在 业务用户的需求与IT实施路线图之间做到协调非常 关键。它实现了关于企业如何利用数据改进业务目标 的一致理解。 有效的蓝图通过确定大数据适用的关键业务挑战、规 定如何使用大数据的业务流程要求，以及包含实现该 蓝图所需数据、工具和硬件的架构，从而定义了企业 内大数据的范围。这是为指导企业以实用的方式，并 以创造可持续的商业价值为出发点，开发并实施大数 据解决方案而制订蓝图的基础。 从现有数据开始，实现近期目标 要实现近期目标，同时为持续开展大数据项目创造发 展动力和专业知识，企业必须采取实用的方法。我们 的调研表明，要开始寻求新的洞察力，最具逻辑性和 性价比的地点就是企业内部。 从内部着眼允许企业利用现有数据、软件和技能，提 供近期业务价值，并且在考虑扩展现有的能力而处理 更复杂的数据来源和类型之前积累重要的 经验 班主任工作经验交流宣传工作经验交流材料优秀班主任经验交流小学课改经验典型材料房地产总经理管理经验 。大多 数企业希望通过这样做而充分利用现有存储库中的 信息，同时扩展其数据仓库，以处理更大数量和更多 类型的数据。 根据业务优先级逐步建立分析能力 在世界范围内，越来越多的分析工具使企业目不暇 接，同时企业也面临着分析技能的严重缺乏。大数据 效率取决于消除这一巨大差距。简言之，企业必须获 取工具和技能。在这个过程中，随着分析、功能和IT 技能的完美平衡，预计新角色和事业模式将会出现。 关注内部分析人员的专业发展和事业进步 – 他们已 经熟悉企业独特的业务流程和挑战 – 这应是业务高 管的首要任务。同时，大学和个人自身(无论什么背 景或专业)都有义务培养强大的分析技能。 基于可衡量的指标制定投资回报分析 制订综合且可行的大数据战略以及后续的路线图需 要可靠且可量化的投资回报分析。因此，一位或多 位业务高管积极参与并支持这一流程非常重要。要 实现长期的成功，强大、持续的业务和IT的协作同 样重要。 许多企业的投资回报分析基于以下可从大数据获得 的益处： • 更聪明的决策 – 利用新的数据源提高决策质量； • 更快的决策 – 实现更实时的数据获取与分析，支 持在“影响点”做出决策，例如在客户访问您的网 站或者与客户服务代表通电话时； • 创造奇迹的决策 – 使大数据举措注重于那些能够 提供真正差异化的领域。 IBM全球企业咨询服务部　　17 这些建议中有一个基本原则：业务和IT专业人员必 须在整个大数据实施过程中通力合作。最有效的大数 据解决方案首先确定业务要求，然后定制基础设施、 数据源和量化分析，以支持该业务机会。 按阶段的更多建议：从当前阶段开始 在大数据采用的生命周期内，某些关键活动是每个阶 段的特征。以下各阶段建议为从一个阶段进入下一个 阶段提供了经过验证且实用的方法。 从教育到探索：为后续行动奠定基础 • 注重大数据为企业提供竞争优势的领域，包括行 业内部和外部，持续增加您的知识； • 与不同的业务部门和职能合作，确定可以通过更 好、更及时的信息访问而应对的最关键的业务机 遇和挑战。许多企业通过客户数据和分析开始，以 支持其前台转型举措； • 注重增强您的信息管理环境和基础架构，包括制 订大数据蓝图；这些蓝图通常基于行业标准、参考 架构和其它可用的技术框架和资源。 从探索到接触：将计划付诸实施 • 在制订大数据战略和路线图时，确认业务领导层 的积极支持； • 为您计划通过POC或试点项目而解决一个或两个 关键业务挑战制订投资回报分析； • 在开始为满足更长期的要求而做出计划时，定期 确认您的信息管理基础和IT基础架构能够支持 POC或试验项目需要的大数据技术和能力； • 评估您当前的信息治理流程及就绪程度，以应对 大数据的新方面； • 分析内部资源现有的技能集，并且开始进行差距 分析，以了解您需要在哪些方面增加和/或获得更 多技能。 从接触到执行：了解面临的机遇和挑战 • 积极推动试点项目的成功，以保持前进动力，同时 开始参与到业务的其它部分中； • 通过确认和验证预期的投资回报和收益而最终确 定业务案例，包括既定的成功标准和指标； • 确定由于能够获得更好、更及时的信息(例如营 销、销售、客户服务和社交媒体网站)而需要修改 和改进的业务流程； • 制订能力计划，以确认是否有实现短期和长期目标 所需的足够技术和定量技能； • 记录从试验到投产的详细项目计划。该计划应包括 预计业务价值、成本、资源和项目时间表的确认。 执行阶段：拥抱大数据的创新 • 记录早期成功的和量化的结果，以支持未来的举措； • 在企业中发起正式的大数据沟通，持续地提供支 持和前进动力； • 注重增加技术和技能，以应对各业务部门、职能领 域和地区的新的大数据挑战； • 注意信息治理(包括信息生命周期管理)、隐私和安全； • 持续评估快速发展的大数据工具和技术。平衡现 有基础架构与能够提高扩展性、优化度和弹性的 新技术。 18　　分析：大数据在现实世界中的应用 开始您的大数据演进 要在全球整合的经济环境中竞争，当前的企业需要全 面地了解市场、客户、产品、法规、竞争对手、供应 商、员工等，这一点日益明确。这种了解需要有效地 使用信息和分析技术。事实上，除了其员工之外，许 多企业还将信息视为最有价值的差异化资产。 现在，随着大数据的出现和广泛采用，全球各地的企业 都在寻找新的方式开展竞争并且获胜。它们不断地转 型，以充分利用大量的信息改进整个企业内的决策和绩 效。少量领先的企业已经通过为员工 – 从高管到营销 和车间工人 – 提供信息、技能和工具而使它们更好、更 及时地在“影响点”做出决策，从而实现这一目标。 并非每个企业都需要管理全部大数据能力。但是，利 用新数据、技术和分析技能的机会在每个行业中都不 同程度地存在。企业需要通过分析新的和现有数据的 数量、速度和多样性，并利用正确的技能和工具更好 地了解其业务、客户和市场而实现价值。 无论从何处开始，全球的企业在当前全球整合经济环 境中都将继续在更大范围内使用大数据获得业务价 值和竞争优势。 欲了解本次IBM商业价值研究院调研的更多信息， 请联系我们：iibv@us.ibm.com 欢迎订阅IBM商业价值研究院的电子月刊IdeaWatch： ibm.com/gbs/ideawatch/subscribe 在iPad或安卓平板电脑上下载免费的“IBM IBV” 应用可以访问IBM商业价值研究院的执行报告。 欲了解关于牛津大学赛德商学院的更多信息，请访 问：www.sbs.ox.ac.uk 相关文件 K iron、Da v id、Rebecca Shock le y、N ina Kruschwitz、Glenn Finch和Michael Haydock博 士，“分析：日益扩大的差距 — 企业如何通过分析 实现竞争优势” IBM商业价值研究院与MIT斯隆 管理评论联合发布。2011年10月。http:// www-935. ibm.com/services/us/gbs/thoughtleadership/ibv-analytics- widening-divide.html © 2011 Massachusetts Institute for Technology. LaValle、Steve、Michael Hopkins、Eric Lesser、 Rebecca Shockley和Nina Kruschwitz。“分析： 实现价值的新途径 - 智慧的企业如何利用分析技 术将洞察力转化为行动”IBM商业价值研究院与 MIT斯隆管理评论联合发布。2010年10月。http:// www-935.ibm.com/services/us/gbs/ thoughtleadership/ ibv-embedding-analytics.html © 2010 Massachusetts Institute for Technology. Teerlink、Marc博士和Michael Haycock博士。“客 户分析创造回报 — 将科学融入营销艺术，促进企业 收入增长” IBM商业价值研究院。2011年9月。 http://www-935.ibm.com/services/us/gbs/ thoughtleadership/ibv-customer-analytics.html IBM全球企业咨询服务部　　19 作者 Michael Schroeck，IBM全球企业咨询服务部的合 伙人和副总裁，IBM全球信息管理基金会的领导人。 Michael还是IBM杰出工程师。他的联系方式是： mike.schroeck@us.ibm.com Rebecca Shockley，IBM商业价值研究院业务分析 与优化全球研究领导人，她对业务分析的主题进行 了基于事实的研究，为高级主管提供了领先的思想。 Rebecca的联系方式是：rshock@us.ibm.com Janet Smart博士，赛德商学院基于复杂代理的动态 网络研究小组的成员和联合主管，他在复杂系统、系 统工程、大数据和项目管理领域拥有丰富的经验。 Smart博士还参与CERN的ATLAS项目的项目管理 和Big Science项目的系统工程。她在MSc的计划管理 系教授系统工程，并且在英国的大型项目领导学院课 程任教。Janet的联系方式是：Janet.Smart@sbs.ox.ac.uk Dolores Romero-Morales教授，赛德商学院的运作 研究教授。她负责为MBA和EMBA讲授决策与数据 分析核心课程，并且在知名期刊上发表多篇关于供应 链优化、数据挖掘和收入管理的研究文章。她还与多 个行业中的从业者共同研究这些主题。Dolores的联 系方式是：Dolores.Romero- Morales@sbs.ox.ac.uk Peter Tufano教授，赛德商学院的Peter Moores主 任。Tufano教授的研究领域主要包括创新，尤其是 创新如何更好地向家庭提供金融服务。在进入牛津大 学之前，Tufano教授在哈佛大学任教33年，并且创 立了D2DFund(www.d2dfund.org)。Peter的联系方 式是：claire.eggleton@sbs.ox.ac.uk 合作者 Fred Balboni，IBM全球企业咨询服务部