大数据与网络舆情分析.pptxVIP

大数据与网络舆情分析;大数据;所有真实用户都不独立存在，紧密的社交圈在帮助用户产生数据。 社交大数据的内部爆炸 可以为任意分析提供充足的数据支撑;超过6亿互联网真实用户档案数据。;第5页/共58页;第6页/共58页;第7页/共58页;第8页/共58页;影响力评估;用户作息时间;群体/个体习惯对比分析（作息，上网）;自然状态下的用户言论;自然状态下的用户言论;移动设备更替;社交关系网结构;社交关系结构;群体/个体兴趣对比分析;网络舆情分析;微博 新浪微博用户 6.5亿，日活跃 4600万，腾讯微博用户 6.2亿，日活跃约 1亿。 全国政务微博总数 17万，2012年增长 2.5倍（其中在新浪微博6万）。 在新浪微博开通的企业微博总数 27万，2012年增长 1.2倍。 微信 微信用户 3亿，日活跃约 2亿，公众号约200万，认证公众号与服务号约20万。 新一轮的信息爆炸 传统门户，论坛有价值信息量大约在一年1亿条左右 微博每天产生近2亿条各类内容 社交媒体特点 海量数据 大量长尾和碎片和噪音;互联网舆情现状;当前互联网舆情监测的思路;方案;案例 – 上海法官招嫖事件;大数据采集 社交媒体数据量较传统门户论坛增长了数百倍，传统舆情平台技术无力实现全数据采集。 微博数据源都是高技术能力的互联网公司，反采集技术成熟，难以攻破。（短信验证，图片识别等） 大数据处理 利用传统的数据处理与存储方式，要实时处理数以亿计的数据需要投入庞大的硬件，一般公司无法承担。例如邓亚萍的即刻搜索，就投入了近700台高性能服务器提供微博内容的搜索服务，但仍然数据缺失严重。 舆情的发现 任意舆情系统最终都需要将数据呈现在用户面前，在大量相关数据面前，人一天满负荷浏览最多不会超过2000条微博，但在大数据的基础上，往往相关数据都会超过这个极限。因此如何实时将最重要的舆情信息优先放到用户面前成为重要问题。 舆论噪音的辨别与去除 社交平台中存在大量受控制的机器账号，总量惊人，这些机器账号可以被利用快速增长某些内容的转发量。需要有技术识别舆情的真假，防止被错误引导。;内容传播分析;真实传播评估;大数据采集 从09年开始研发搭建的高效分布式采??平台，将近百个采集点毫无规律地放置在全球各地，使采集能力大增并且不易被平台防抓取技术拦截，已稳定采集4年相关数据。 大数据处理 自主研发了国际上最先进的非关系型数据库并利用分布式文件系统（hadoop）实现了低成本的高速数据读写。经测试同等硬件环境下，读取速度比SQL Server或Oracle快20倍，写入快5倍。 舆情的发现 基于国际上一些权威的传播研究论文，设计出能够实时评价舆情重要性的“热度指数”，获得国家相关奖项认可。 舆论噪音的辨别与去除 探查整个社交网络数亿用户情况，通过真实度算法识别网络机器人，确保去除虚假互联网声音。;微博实时搜索;微信实时搜索;案例 – 平度事件;实时意见领袖的监测;传播地域评估;新媒体下的内容引导;什么是传统媒体？;什么是新媒体？;新媒体的优势;新媒体的特点;自媒体;@作业本;第40页/共58页;牛鬼蛇神屌丝聚会;@王左中右;第43页/共58页;第44页/共58页;@小丑出品;第46页/共58页;第47页/共58页;新媒体平台上的内容包装与品牌塑造;我买了这么多货不对版的植物;太长!;第51页/共58页;第52页/共58页;第53页/共58页;第54页/共58页;发布微博时其他考量;最终结果;Thank You ! abit.io http://abit.io/;感谢观看!