文章

大数据和位置——一个真实的还是想象中的新领域?

通过安德鲁·库特 • 2014年6月9日

在旧金山举行的Strata 14大数据会议上，安迪·库特发表了他在该领域顶级专家的演讲和聆听中获得的一些见解，并对大数据中的位置进行了思考。

那么，为什么要关注大数据和地理位置呢?麦肯锡在最近的一份关于大数据的报告中指出，大数据正在成为竞争优势的关键战场，支撑着新一轮的生产率增长、创新和消费者行为。他们强调的一个关键应用领域是以地球为中心的个人导航数据。他们估计，在当前10年里，此类数据在全球的应用价值为8000亿美元。即使麦肯锡的预测过高了一个数量级，但对于地理定位行业来说，它仍然是一个巨大得令人吃惊的潜在市场。

那么大数据有什么不同呢?

几十年来，定位行业不是一直在有效地处理海量信息吗?

这一挑战的线索在于商业组织和政府现在可以获得的大量数据。移动设备、对地观测卫星和物联网只是为创建大数据世界做出贡献的几个来源。但这不仅仅关乎交易量。大数据还描述了变化速度快的数据集(如实时数据流)，以及统称为三个V(2)的各种数据类型。

这种组合使得使用传统工具进行加工和分析变得困难。特别是，结构化和非结构化数据的数量和混合，对对象关系数据库管理系统(如Oracle和SQL*server)是一个挑战，目前大多数组织都使用这些系统来支持他们的数据管理。在这方面，主要的颠覆性技术是Hadoop，它被搜索引擎用来产生几乎是即时的查询响应，我们都期待谷歌等人。

根据埃森哲(Accenture)的说法，大数据带来的巨大附加商业价值来自于发现新的洞见。这些可能包括识别财务欺诈、增加零售销售或政府效率低下的来源。这些都不是什么新事物，但大数据圈中通常被称为预测分析的科学正在引入新的工具和技术，这些新工具和技术严重依赖于我们之前所说的空间分析和4D可视化。

大数据带来了大量的新术语，需要掌握这些术语才能与专家交流。下面的标签云是一些关键术语的有用总结，强调存储和分析是位置至关重要的领域。框中的文本提供了一些定义。

应用程序

约翰•莫顿(John Morton)表示，由于其能够揭示新的信息模式，并将信息可视化地呈现给高管，位置数字在各种应用程序中都能发挥作用。最近在旧金山举行的Strata 14大数据会议展示了一些真实的例子，包括:

运输- Ian Huston, Pivotal的数据科学家，认为大数据分析是将其他学科的技术引入的一种方式，例如风力涡轮机行业中的变化点检测，以及从生物学到交通管理复杂问题的细胞种群分析(4)。

零售- Susan Ethlinger, Altimeter Group，描述了一个使用位置识别牛排餐厅供应链问题的例子，以说明如何从现有的社会和企业信息来源获得可操作的情报(5)。

安全- Ari Gescher, Palantir，提出了“适应性对手:阻止欺诈和网络入侵者的系统”，他描述了通过IP地址和各种其他“位置资产”对服务器进行地理编码，为银行提供情报。

健康基因组学是基因测序的科学，涉及到对非常大的数据集进行非常复杂的计算，在该领域处于中心地位。然而，医疗保险公司，如美国的Kaiser Permanente，也在大量使用ArcGIS等工具作为其大数据战略的一部分。

的见解

大数据的问题在于，它接近技术趋势“炒作周期”的顶端——那么我们如何辨别现实呢?来自大师们的一些珍宝可能会有所帮助:

《跨越鸿沟》(Crossing the Chasm)一书的作者杰弗里•摩尔(Geoffrey Moore)认为，2015年将是大数据之年。对于供应商来说，关键是建立“最小可行产品”，并在一个重要的目标市场细分中建立滩头阵地。

谷歌的伊利亚•萨茨克弗(Ilya Sutskever)表示，自上世纪80年代人工智能发展初期以来，数据分析领域几乎没有什么变化。有更多的数据用于训练，更快的计算机，更大的存储空间，而且名称已经改变(为机器学习)。幸运的是，大脑比我们想象中的任何神经网络都要复杂得多。

Salesforce.com的Max Gasner认为，目前还没有真正的通用预测分析平台。他概述了大数据行业和学术界面临的挑战，包括对BigML(大数据XML的一种变体)的需求;一个新的用户界面范例;以及概率编程语言。简而言之，大数据缺乏特德·科德(Ted Codd)上一代为关系数据库模型提供的坚实科学基础。换句话说，大数据正在等待Codd!

Neo Technology的首席执行官Emil Eifrem是Neo4j的开发者，Neo4j号称是使用最广泛的图形数据库，并被吹捧为对象关系模型的自然继任者，他引用了Forrester的研究预测，到2017年25%的组织将部署这样的数据库。

大数据平台中的定位

对于位置分析在大数据解决方案中的潜力，不同的供应商似乎有不同的看法。

SAP已经决定将Esri技术嵌入其产品的核心，他们相信这将使他们的用户能够利用更简单的地理空间工具作为HANA内存计算平台的一部分。

与此相反，Cap Gemini(大数据领域的Pivotal合作伙伴)的史蒂夫•琼斯(Steve Jones)认为，主流方法将让设计师在发现有用的情况下，为自己的平台构建位置分析。Jones表示，大数据分析将通过优秀的开发人员借用GIS的算法，但不会试图将现有产品“硬塞进”他们的架构中。

Oracle的Steve Hagen概述了大数据争论的另一个方面。在最近的一次联合国全球战略规划会议上，他表示，位置数据的实时反馈实在是太庞大了，原始形式的数据是无法管理的，在载入数据库之前进行源过滤是唯一可行的解决方案。然而，在我看来，尽管决定保留什么需要地理空间从业者独有的技能，但它确实预先假设你知道你可能会发现什么见解。