数据挖掘过程中要避免的11大错误.pdfVIP

数据挖掘过程中要避免的 11 大错误 1. 缺乏数据（ Lack Data ） 对于分类问题或预估问题来说，常常缺乏准确标注的案例。 例如： ___________________________________________________________________________________ 2. 太关注训练（ Focus on Training ） IDMer ：就象体育训练中越来越注重实战训练，因为单纯的封闭式训练常常会训练时状态神勇，比 赛时一塌糊涂。 实际上，只有样本外数据上的模型评分结果才真正有用！（否则的话，直接用参照表好了！） 例如： 解决方法： 解决这个问题的典型方法是重抽样（ Re-Sampling ）。重抽样技术包括： bootstrap 、cross- validation 、jackknife 、leave-one-out …等等。 ___________________________________________________________________________________ 3. 只依赖一项技术（ Rely on One Technique ） IDMer ：这个错误和第 10种错误有相通之处，请同时参照其解决方法。没有对比也就没有所谓的 好坏，辩证法的思想在此体现无遗。 当小孩子手拿一把锤子时，整个世界看起来就是一枚钉子。“ ”要想让工作尽善尽美，就需要一套完 整的工具箱。 不要简单地信赖你用单个方法分析的结果，至少要和传统方法（比如线性回归或线性判别分析）做 个比较。 研究结果：按照《神经网络》期刊的统计，在过去 3年来，只有 1/6 的文章中做到了上述两点。也就 是说，在独立于训练样本之外的测试集上进行了开集测试，并与其它广泛采用的方法进行了对比。 解决方法： 使用一系列好的工具和方法。（每种工具或方法可能最多带来 5%~10% 的改进）。 ___________________________________________________________________________________ 4. 提错了问题（ Ask the Wrong Question ） IDMer ：一般在分类算法中都会给出分类精度作为衡量模型好坏的标准，但在实际项目中我们却几 乎不看这个指标。为什么？因为那不是我们关注的目标。 例如： 欺诈侦测（关注的是正例！）（ Shannon 实验室在国际长途电话上的分析）：不要试图在一般的通 话中把欺诈和非欺诈行为分类出来，重点应放在如何描述正常通话的特征，然后据此发现异常通话 行为。 大多数研究人员会沉迷于模型的收敛性来尽量降低误差，这样让他们可以获得数学上的美感。但更 应该让计算机做的事情应该是如何改善业务，而不是仅仅侧重模型计算上的精度。 ___________________________________________________________________________________ 5. 只靠数据来说话（ Listen (only) to the Data ） IDMer ： 让数据说话“ ”没有错，关键是还要记得另一句话：兼听则明，偏听则暗！如果数据＋工具就 可以解决问题的话，还要人做什么呢？ ___________________________________________________________________________________ 6. 使用了未来的信息（ Accept Leaks from the Future ） IDMer ：看似不可能，却是实际中很容易犯的错误，特别是你面对成千上万个变量的时候。认真、 仔细、有条理是数据挖掘人员的基本要求。 解决方法： 要仔细查看那些让结果表现得异常好的变量，这些变量有可能是不应该使用，或者不应该直接使 用的。 给数据加上时间戳，避免被误用。 ___________________________________________________________________________________ 7. 抛弃了不该忽略的案例（ Discount Pesky Cases ） IDMer ：到底是 宁为鸡头，不为凤尾“ ”，还是 大隐隐于市，小