社会计算领域的知识发现可视化分析与创新的学习.docxVIP

本周四（10月18日）和本周五（10月19日），我校计算机与通信工程学院与塔林理工大学合作，成功举办了三个IT专题系列Workshop。届时，本人十分幸运参加了《社会计算领域的知识发现、可视化分析与创新》的课程学习。通过此课程，我们对知识发现、数据挖掘技术和可视化分析有了一定的了解，也理解了数据的基本概念，同时通过对Geiph软件详细的运用学习，学会了社交网络是怎样与数据挖掘和可视化分析学科紧密联系的。什么是社会网络信息分析？讲座第一天上午，来自爱沙尼亚塔林理工大学的主讲人Rain ?pik（以下简称R）以及他的助理Jaan übi（以下简称J）为我们简要介绍了塔林理工大学的概况，就马上进入了正题。社会网络分析与可视化是当前的热门研究领域，它是针对社会网络信息的高效理解与利用。譬如网络社区里为大家推荐好友、音乐软件里推荐给你听的歌，或是购物网站上猜测你可能喜欢的商品等等。之前我感到很诧异为什么这些网站所推荐的都恰恰符合我的喜好，难道总有那么多的机缘巧合？原来这一切都来自于社会网络信息分析。研究者采集已有的人们对某一事物的选择，我们称之为Social Data，通过一系列的领域本体模型和算法，将人们分成不同的群体。只要采集的信息量足够大，群体分的足够细，即可认为每一个群体的属性基本相似。这样的话我们可以认为解释行为主体如何采取行为的规则来自于社会关系而非动机。信息数据可视化利器——Gephi从第一天下午一直到workshop结束，R都在手把手教我们使用Gephi。Gephi是一款开源免费跨平台基于JVM的复杂网络分析软件, 其主要用于各种网络和复杂系统，动态和分层图的交互可视化与探测开源工具。R先让我们每个人在一个端口网络上注册了帐号，并随机选择自己的“好友”，作为初始的Social data，然后我们一步步跟着他使用Gephi软件，获得关系图。我们可以看到，这款软件能针对不同社会网络信息可视化应用进行扩展,克服了传统力导引布局算法在社会网络结构分析与可视化上的不足。其可视化结果能够清晰显示子群分布,表现行动者间的密切程度,显示行动者关键属性分布以及子群内部的角色分布等信息。图中的圆圈代表着不同的人，连线表明人与人之间的联系。圈最大，颜色为绿色的所代表的人（此图为zhangbowen）拥有着最大最复杂的关系网络，而颜色最浅、最小的圈圈意味着关系网络比较简单，这些人称之为outlier。我们可以大约看到，这些人形成了不同的群体，而连接这些群体的人则被称为connector。利用这种图我们可以轻易地划分出不同人群，从而验证了领域本体模型在社会网络信息分析与显示方面的优越性。是不是觉得群体与群体之间没有很明显的分割呢？我们可以采取铝箔方式，处理成另一种图：可以清晰地看到共有十三个群体。下图中点的密集疏远程度也表示了人群的划分：当然，图像只是一种形象的展示，如果我们想知道具体数值，可以看data directory ,一目了然：Data Mining(数据挖掘)R的主要研究方向就是Data Mining（简称DM），它是一种透过数理模式来分析企业内储存的大量资料，以找出不同的客户或市场划分，分析出消费者喜好和行为的方法。DM又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。数据挖掘可以用以分类、估计、预测、相关性分组或关联规则、聚类、描述和可视化以及复杂数据类型挖掘。在这两天的学习中，R主要给我们讲的是“描述和可视化”方面。Data Mining在各领域的应用非常广泛，只要该产业拥有具分析价值与需求的数据仓储或数据库，皆可利用Mining工具进行有目的的挖掘分析。一般较常见的应用案例多发生在零售业、直效行销界、制造业、财务金融保险、通讯业以及医疗服务等。学习小结两天的学习虽然短暂，但绝对是印象深刻、颇有收获的两天。刚开始听的时候觉得主讲老师R讲得确实很好很生动，讲的内容虽然以前没接触过，但不会太难，语速也很合适，但美中不足的是有一点点口音，听起来有些费解。不过约二十分钟后就能习惯他的发音，大致都能听懂，也能跟得上了。他的助理J也十分有耐心。有什么问题只要举手示意，R就立刻过来辅导，讲话的时候会刻意把语速放慢，十分有耐心。两位老师都非常和颜悦色，平易近人。他们十分注重课堂上同学们的反馈，不时地征询我们的意见，有时课堂反馈不是很热烈的时候，他们会放慢语速，强调一遍又一遍，直到我们点头表示懂了为止。力求每一个人都能听懂，每一