根据网贷行业新闻文本数据挖掘.pdfVIP

基于网贷行业新闻的文本数据挖掘 文/盈灿咨询 袁鑫强 文本挖掘，是数据挖掘领域重要的组成部分。简单地说，文本挖掘就是通过 NLP 、机器学习等方法从大量的文本资料中发掘出有价值的信息。无论是微信聊 天记录，还是新闻文章，亦或是古诗词等，文本挖掘的应用领域非常广泛。 在网贷行业，舆情分析相对较少。究其原因，绝大多数网贷相关词汇均属于 未登录词。通过手动录入的方式可以在一定程度上解决这一问题。但是其工作量 巨大，而且对于纷繁复杂的人名、机构名、专业名词无法全面地录入。本文以统 计方法生成行业内未登录词，并在此基础上挖掘行业及平台热点。 一、新词生成 为了便于说明，选取网贷之家网站上 2017 年 4 月 10 日发布的所有新闻，并 在剔除所有非中文字符之后将其拼接在一起，生成的文本用 T 表示。 1.建立备选词词库 我们假设一段文本中所有长度大于 1 且不超过 L 的词均可以独立成词。例 如 ， 取 L=5 ， 则 对 于 上 述 51550 字 的 文 本 材 料 T 就 能 生 成 51549+51548+51547+51546=206190 个备选词。 2.停用词过滤 停用词主要是指人类语言当中的一些功能词，例如 “的”， “了”等。这类 词本身并没有什么实质性信息，但是由于出现频率高，会影响计算效率。结合实 际内容，本文中将所有含有 “的”字的备选词过滤。 3.低频词过滤 如果某个文本片段出现频率过低，一方面其成词可能性较小，另一方面其文 本特征的偶然性较大，不适合做统计处理。从备选词的频数分布情况看，出现频 率为 1 的词占 86.50%，可以将其过滤。 4.自由度判断 自由度也可以理解为独立性。一个文本片段能够成词需要在上下文中保持独 立性，可以自由应用。以“诺诺镑”和 “诺诺镑客”为例， “诺诺镑”右邻字只 有 “客”一种情况。而 “诺诺镑客”的右邻字有 “名”、 “旗”、 “的”等 6 种情 况，且各种情况的发生频率较为平均。由此可见， “诺诺镑客”的独立性较强， 上下文的丰富程度较高，有更大的成词概率。 为了衡量备选词的自由度，我们在这里引入信息熵的概念。简单的说，信息 熵就是信息量。信息熵的大小与某一不确定性事件的可能结果数量及发生概率有 关。“诺诺镑客”右邻字集的信息熵为 1.7479，明显大于 “诺诺镑”的 0 ，说明 其成词可能性更高。这也与上文通过直接观察所得结论一致。为方便起见，我们 将所有左、右邻字信息熵较小值不大于 1 的备选词过滤。 图 1 信息熵计算方法 资料来源：盈灿咨询 5.凝合度分析 凝合度被用来形容单词的内部凝固程度。例如，对于语句 “大数据、人工智 能、区块链等引发的金融科技”而言， “区块链”的凝合度显然高于 “等引发”。 从条件概率的角度考虑，假设“区块”和 “链”在语料中独立随机出现，则在两 者都出现的条件下， “区块链”的出现概率约等于“区块链”出现频率除以 “区 块”与 “链”出现频率乘积。因为 “区块链”也可以拆分为 “区”和 “块链”， 所以定义凝合度=任意拆分下的最小条件概率*文本长度*100，则“区块链”、“等 引发”的凝合度分别为 1.8182、0.1515 。通过测试，将凝合度不大于 1 的备选词 筛去。 6.登录词过滤 将通过上述步骤筛选剩余的词与已有登录词匹配，删去重复词，最终得到了 53 个未登录词。图显示，挖掘出的新词可以分为三类：1）人名：王晓亮、刘旭、 陈一菲等；2 ）机构、公司名称：奥马电器、乐视、天津证监局等；3 ）互金及网 贷行业词：薅羊毛、羊毛党、整改通知等；4 ）互金平台名：蚂蚁金服、诺诺镑 客、鑫合汇等。 图 2 生成的未登录词 资料来源：盈灿咨询 二、行业及平台热点挖掘 1.行业热点词概览 图 3 网贷行业热点词分布图 资料来源：盈灿咨询 基于上述未登录词生成方法和网贷之家 4 月份新闻舆情数据，可以得到 4 月 份网贷行业热点词分布图。图中彩色点的大小与热点词词频正相关。总体来看， 行业型热词数量较多，分布广泛。研究、理财型