大数据和人工智能论文（2）.pdfVIP

大数据和人工智能论文（2）--第1页

大数据和人工智能论文(2)

大数据和人工智能论文篇二

用人工智能读懂大数据

关于大数据，现在有两个概念，一个是数据大，另一个就是容量

大。“大”确实是一个问题，随之而来的大数据处理问题也是一个老

问题。之所以说这是个老问题就在于，之前在气象数据的处理里，有

各种不同的图象、文本，动态情况带来的变化也很多，导致我们也遇

到很大的数据量。因此数据大并不是网络时代才有的问题，只是现在

更加严重。

网络数据面临的根本困难

网络数据跟以往数据的不同在于网络时代的数据虽然量很多，但

是有用的不到30%、40%，好用的更不多，只有7%，经过“清洗”

的不到1%。这和我们以往的数据大不一样，气象数据尽管有噪声问

题，但是从来没有数据虚假、无用、造谣的，但是在网络里就不一样

了。

此外，网络数据跟用户和社会关联，也就是说这种数据是在社会

间产生，在人与人之间不断传播，因此它所造成的影响和效果是跟以

往的数据不一样的。

以往，我们比较多的是从形式、规模这些维度来考虑大数据，在

形式上它很复杂，规模上它数量很大，但网络数据还将涉及更多我们

之前没有涉及的维度，如语义的维度、内容的维度。

首先是人机交互的变化。通常我们在用计算机的时候只是把程序

输入进去，计算机根据程序来完成计算，然后把结果输出给用户，这

中间计算机不需要了解用户的意图或数据的来源。因为所有的数据有

在计算机存在的语音和语义，但计算机并没有理解这些内容。到了网

络时代，人机界面起到非常大的变化。也就是说人们把自己的需求用

文本、图象、语音输入到计算机里，计算机必须得通过这些了解用户

意图，然后根据用户意图输出用户需要的信息，在此信息的内容已经

需要计算机考虑了。

大数据和人工智能论文（2）--第1页

大数据和人工智能论文（2）--第2页

在网络时代计算机必须要涉及到信息的内容，这意味着计算机不

仅需要了解用户意图，同时要了解用户的兴趣等，这是语义的维度。

如果要了解网络计算机新的需求以及了解用户意图、兴趣和体验

等，我们要做到两点。首先就是把没用上的或者“不好”的数据转变

成知识，或者我们通过理解这些数据的内容、信息的内容，把它们变

成网络时代信息处理的新需求。其次，如果计算机要从文本、图象、

语音去理解用户的意图，那这个理解必须涉及三个层面的问题。第一

个方面，计算机得了解某句话的字面意思，即自然语义;第二个方面，

用户输入这句话的用意何在，潜意识里想要做什么;第三个方面，这句

话的真实含义是什么，判断用户是否赞同此说法等。因此我们提供一

条网络信息，计算机至少需要了解这三层意思。但过去计算机信息处

理里没有此要求，这就是我们现在传统信息面临的最根本的挑战。

用人工智能处理网络数据

传统的信息处理方法显然是能不能解决上述问题的，原因在于我

们所有的信息处理方法是建立在与语义无关的假设上，不管是通信理

论、控制理论或者信息处理理论都是跟语义无关的，也就是说在传统

理论里必须把信息内容抽掉，这就是所有信息理论建立的依据，因为

不采取这样的方法就不能建立一般的内容。

到了网络时代传统的方法遇到困难了，当我们输入信息X送到机

器上，阅读者或者接收者者接受信息X，中间都没有误差，但我们接

下来从机器那里我们能不能了解到X背后的含义呢?显然传统的剥离信

息内容的处理方法解决不了这个问题。

但我们现在还是在采用传统方法进行网络上的信息处理。具体是