进入信息时代，作为事实或观察结果的数据呈现爆炸式增长。面对多样化海量数据，如何从中多快好省地获取有价值的信息？

数据中蕴含着巨大的宝藏

随着数据源的飞速增长，数据获取的速度也越来越快。移动设备智能化加快了数字世界与物理世界之间的融合，远程传感器随时生成海量数据。

这些海量数据广泛涉及人们每天接触的视频、音频、电子邮件、文本、搜索引擎、图片、社交媒体和移动通信中，囊括了生活的方方面面，从餐饮美食、购物、游戏、疾病预防、气候到交通模式，悄无声息地改变着人们的工作和生活方式，正以有创意的有趣方式塑造着大千世界的方方面面。

当然，仅仅拥有数据是不够的，而数据的“分析”及数据的“准确性”至关重要。数据只有经过分析，才能变成有用的信息。如，网红销售额评估模型、网红品类推荐模型、网红报价建议模型、网红流失预警模型、网红欺诈行为预警模型、客户ROI评估模型等，都与数据处理密切相连。

数据无疑是宝贵资源，而没有经过科学筛选的数据可能像假新闻一样会误导社会，使人们误入歧途。因而，数据是未经处理的原始测量结果，只有对其科学分析，才能去其糟粕取其精华，获得有价值的信息。

数据的巨大价值留给慧眼

面对类型各异的海量数据，如何才能让它们充满灵性和智能？结合应用场景说得具体一些：零售商如何通过图片、传感器信息、销售网点数据预测市场需求？IT管理员怎样通过数百万计的系统事件预判黑客网络攻击？企业如何从消费者的日常微博和微信中了解其购买倾向，并快速向他们提供相关度高的商品信息？

企业只有适应信息爆炸，游刃有余地控制和使用信息，才能准确把握市场需求。如何让人们快速找到所需的个性化信息，从各种类型的信息中获得洞察、直觉和思想进而优化其价值？

数据挖掘技术是一个充满希望的新领域，每年都有新的方法和模型问世，有关的研究正日益广泛和深入。尽管如此，数据挖掘技术仍然面临着许多问题和挑战，如：数据挖掘方法的效率问题，尤其是超大规模数据集中挖掘的效率亟待提高；开发适应多数据类型、容噪的挖掘方法，以解决异质数据集的挖掘问题；动态数据的挖掘问题；网络与分布式环境下的数据挖掘等。另外，近年来短视频，图片等多媒体数据库发展很快，面向多媒体数据库的挖掘技术将成为研究开发的热点。

在物联网之前，分析传感器各式各样的海量数据非常困难。通过物联网技术，人们可以把机器得到的数据放入数据池自动分析，以决定下一步需要对数据和程序做些什么。物联网不仅收集、分析数据，它还会自我提升。把数据转化为有用的信息是所有物联网工作的核心。

当然，理想的情况是把数据挖掘任务交给可以胜任的机器，然后让它用人类的方式、用自然语言给出结果。这样，就能稳定、迅速地从中获取大量有用信息。然而，目前只能通过辅以机器的力量从数据中淘金，让冰冷的数字变成感性的认知。

从海量数据中淘金的路径

数据挖掘是利用各种分析工具在海量数据中发现模型和数据之间关系的过程，就是从大量数据（包括文本）中挖掘出隐含的、未知的、对决策有潜在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持的模型，提供预测性决策支持的方法、工具和过程。数据挖掘提供了从数据到价值的解决方案，数据挖掘的目的就是从中“淘金”。

数据+工具+方法+目标+行动=价值

一般来说，要将数据转变为有用信息，海量数据存储能力和超强计算能力的计算机是基础，还要建立合适的模型，设计完善的执行程序，选择正确的分析算法。数据挖掘涉及的技术和工具各不相同，而可以依据统一的方法来实行，还可以协同作战，解决许多有价值的问题。

首先，数据选择。选择数据的标准要重点考虑相关性、可靠性、最新性，而不是动用全部数据。通过数据样本的精选，不仅能减少数据处理量，节省系统资源，而且能通过数据的筛选，使想要反映的规律性更清晰。

其次，模式发现。样本抽取完成并经预处理后，接下来要考虑的问题是数据挖掘类型（例如，分类、聚类、关联、偏差、回归、时序），选用哪种算法进行模型构建？在目标明确化的基础上，就不难发现采集的数据是否符合要求。

再次，模型构建。模型构建是对采样数据轨迹的概括，它反映的是采样数据内部结构的一般特征。先确定建模所属的数据挖掘应用，接着考虑具体应该采用什么算法，实施什么步骤？这一步是数据挖掘工作的关键环节。

最后，模型评价。评价高的模型，说明确实从这批数据样本中挖掘出了符合实际的规律性。

数据挖掘应用举例

数据挖掘不是盲目进行，通常需要先弄清楚想从数据中得到什么，需要分析什么东西、寻找什么相关性、怎么比较等问题。目前，数据挖掘已形成一系列应用：

分类分析：有监督学习，将数据映射到事先定义的群组或类。如，用在将信用卡客户分为低中高风险群等。

聚类分析：无指导学习，在没有给定划分类的情况下，根据信息相似度进行信息聚类。如，用在对客户行为分析，对客户分层进行精准营销。

关联分析：发现事物间的关联规则或称相关程度，常用在交叉销售，交叉分析。如，手机与充电器的关联性。

偏差分析：发现与正常情况不同的异常和变化，并进一步分析这种变化是有意的诈骗行为，还是正常的变化。如，用在防欺诈，以及保险领域。

回归分析：用历史数据预测未来趋势，应用预测用户稳定性，哪些用户在今后半年会流失等。

时序模式：用已知的数据预测未来的值，回归不强调数据间的先后顺序。

这些模型和关系可以用来分析市场、预测前景、规避风险，等等。

总之，科技进步日新月异，转眼间已是沧海桑田。得数据者得天下，关键是得数据中的灵魂，这就需要有从海量数据中淘金的本领。

（作者：全国机关事务管理研究会副秘书长）