KXEN数据分析理念.docVIP

KXEN数据分析理念 ????? KXEN的用户群是商业决策者和集成商。对于前者，要求数据挖掘过程的自动化和结果的可解释性（商业语言）；对于后者，要求可嵌入性。而本文就是详细来阐述这两点的(译者注)。 关于此文 ??? 一些人可能会问（也曾经问过）KXEN在一般的数据分析尤其是数据挖掘方面的特别之处。此文的目的不是深入到数学和架构之中来解释KXEN和另外的数据挖掘工具的不同，而是解释我们创造KXEN的理念。 ??? 此文的首要对象是在寻找预测性分析工具和技术的决策者，您们已经知晓了几个数据挖掘工具。此文帮助您了解KXEN同其它传统的数据挖掘解决方案的不同之处，理解KXEN怎样帮助您变革您的数据挖掘方法，同时，从最先进的数学和机器学习中进行企业利润的最大化。 KXEN是面向结果的 ??? 理解KXEN的定位，最重要的一点是记住：KXEN是面向结果，而不是面向方法的，在实际当中，这意味着什么呢？ ??? 这意味着：在一些情况下，多快好省的结果比慢的、难以得到和过分完美结果更为有用。为了使数据分析过程自动化，KXEN已经发展了一些独特的技术。在开始KXEN旅程之前，你需要知道的仅仅是您的数据和您想分析的问题（不需要专业的统计学背景和机器学习的理论）：你的问题是一个预测性还是一个描述性的分析问题（更技术化的术语：您的问题是一个分类，回归还是一个聚类的问题）？对于每种问题，KXEN都提供一种简单的解决方案，不需要您的特殊的分析技能。 为什么KXEN没有决策树，神经网络和另外的技术？ ??? 有一些人跟本文的观点完全相反。他们喜欢用涵盖尽可能多的算法的工具。他们会说：“既然没有一个方法能够解决所有问题，那么我们必须使用所有的方法（才能找到做好）。你们（KXEN）懂啥呀？” ??? 在一定程度上，KXEN团队赞成这个观点。KXEN的设计者也曾经年轻，在创造KXEN之前和这个领域的其它人都一样，都在寻找数据挖掘领域的圣杯：即在所有的数据集中打败所有其它算法的“东方不败”。而如今，我们不再是小孩子了，我们也改变了这个观点。随着近来在数学（不是统计学）上的进步，我们有了重要的收获： 完全自动化的建模，几乎所有的（不是所有的）情况下都能得到好的（不是最佳的）结果。 当设计KXEN时，我们不是寻找完美的算法，我们是寻找一种自动化处理所有的数据，得到好的结果的算法：两者是非常不同的，在我们的方向上我们认为已经得到了很好的成绩。 把一个数据集尝试所有的方法的倡导者不能解释为何有的算法失效。可能是因为一个建模技术和另一种技术不犯同样的错误，或者因为这个算法只是对于一个特殊的问题的优化，或者因为它能够处理一类问题而不是另一类。因此，如果你烧了高香，或者是你的数据集瞎猫碰了死耗子，你将得到好的结果，如果不是，你纯粹是浪费青春。天呀，你还受得了这些吗（还不如去泡吧，译者注）？ 是的，对于精通所有算法（即使如此，其中一些算法也难于设置参数，譬如神经网络）的GG们，对于有银子能够买许多CPU和内存的大款们，他们可以叫嚣：大爷我试遍了所有的算法，我找到了最牛逼的！（顺便泼一瓢冷水：找到最好的总不容易呀，你发现过最漂亮的MM了吗？译者注） 近来，在数学和机器学习领域取得了长足的进步。Vladimir Vapnik是其中的大牛，他有其独门武器：统计学习理论。他打开了一扇门，独辟幽径，通过分析机器学习带来的误差（搞过最优化的DD们都知道的，译者注），来解析误差的结构，提出了非常有趣的概念，这可以用来构造建模技术。这个特殊的概念普照天下，它不是试遍所有算法，它指明了一个方向，然后在这个方向上搜寻和比较算法的优劣。说到这里，DD们沉不住气了：“这他妈的不是一回事吗，我仍然需要尝试和比较算法呀。” 不，作为KXEN的设计者，我们有是数学功底的，我们知道自己吃几碗干饭。我们能够驱动“源算法”（meta-algorithms）来自动搜索（指参数优化，译者注），KXEN分析框架的所有过程都用了这种技术。事实上，我们用这种技术10多年了，证实KXEN的算法是可靠的，虽然并不完美（因为要考虑速度问题，可解释性，所以必须在性能上加以妥协）。 建立一些模型，进行性能比较，这些模型可不是随便搞的，它用Vapnik的结构风险最小化来扫描不同的模型集。我们使用了稳健的方式，在最好的拟合性和稳健性（准确性和泛化性）间进行平衡，选取最好的模型（说成商业语言咋就这么玄乎呢，译者注）。 KXEN的算法是独此一家吗 专家们都知道，在预测性分析中，算法是重要的，但是，问题的关键是让数据和算法相容。一些算法仅仅对字符型适用，另外一些仅对数值型适用。有经验的人都会告诉你：必须花费一些时间进行数据准备和数据编码。 实际中，这意味着一些烦杂的事情，像处理缺失值，奇异值，对数据进行