数据挖掘中数据量有多大才算够.docVIP

数据量有多少才算够？ ? ?? ???阿基米德曾说过，给我一个支点，我就可以撬动地球。也就是说，只要具备方法和技术，我就可以解决各种各样的问题。但是就数据挖掘来讲，不仅仅是一种工具，还需要具备数据量。大家经常会谈到股票走势预测，从非常机械的理论层面看，如果掌握行业发展的情况，全球经济的走势，某只股票企业的运营和交易状况，内部信息，专家观点等这些全部的信息，那么就可以成功预测它的未来发展。关键是没有人能够完全掌握这些信息。因此有些数据挖掘可以做，有些不行。这取决于我们手里掌握的数据量有多少。如果信息量不够，本身存在一部分数据缺失，这个对结果有很大影响，单纯依靠调节数据建模型，永远不可能真正有效地解决问题，在电信行业，客户流失会分为主动流失和被动流失。前者是指主动告诉电信公司自己的号不用，要销号。但是更多的人会直接将卡扔掉，我们称之为拆机。如果电信公司要建立模型，预测客户流失情况，那么面临的最大困难是主动流失的人群太少，如果流失率是5%，那么主动流失可能也就1%，甚至千分之一。而数据挖掘是基于一定的数据量找流失特征，若果主动流失人群太少，那么根本找不到他们与普通用户的差别，或者找到的差别没有那么明显。因为样本量太少。 ? ?? ???因此大家经常会担心数据量是否足够。其实有许多手段能帮助我们验证信息是否足够、有效。比如我们可以根据手头掌握的信息构建模型，做一些初步的预测和分析，检验这些得出的规律是否正确和稳定。如果是，那么证明我们目前拿到的信息满足挖掘要求。但是如果有些数据真的非常重要，而我们又得不到，这种情况其实对于做科研的人比较常见，而对于商业应用并不是很多。如果做电信运营商或者银行的项目，客户都会给我们需要的全部内部数据。通过大量成功的案例，证明这些数据对于企业内的数据挖掘模型已经足够了。当然这些企业也会希望用到外部的信息，有可能我们拿不到，这对模型的影响并不大。其实数据挖掘本身就不是非常严谨，它不像数学，有成体系的公式、定理、推理过程。我们做的预测，检验，实际上都没有很精确的证明方法，包括统计检验最后得出的结果也是类似说找不到证据证明这两者存在差异。为什么不能用通俗的方法说两者一样呢，而是采用这么拗口的方式？因为统计本身不能通过精密的，无懈可击的推理过程找出两者一样的证据。它只能通过大量的数据，得出一些规律，找到一些可能有用的特征或者模式。