理解大数据-实践大数据精选课件.ppt

xxx大数据产品布局 TRS机器数据挖掘引擎 TRS SMAS 舆情云服务 坚持 TRS 大数据管理系统发展历程 TRS 全文数据库 TRS 非结构化数据库 TRS 大数据 管理系统 坚持 TRS 大数据管理系统V7.0 TRS 大数据管理系统V7.0 分布式并行计算、多副本机制、没有单点的高可靠体系架构，兼容Hadoop标准 支持结构化、半结构化、非结构化数据的管理和搜索 支持实时及用户行为数据的高效管理和分析 支持PB级的海量数据管理 支持海量用户的高并发访问（千万级用户、万级并发） 充分释放硬件的潜力（多核、大内存等） 大规模部署的自动化和运行状态监控 创新的多检索引擎机制，提供开放的二次开发接口 数据备份 数据存储 开发接口 CKM文本挖掘与数据挖掘 关联规则与序列模式挖掘 推荐引擎的离线分析 MapReduce 数据库监控 机器数据搜索引擎 用户行为挖掘与推荐引擎 日志采集监控 Angent 1 Angent 2 Angent 3 …… Angent n Collector 1 Collector 2 Collector 3 …… Collector n Master 1 Master 2 Master n TRS 机器数据挖掘引擎 坚持 TRS 机器数据挖掘引擎特点 支持主流格式机器数据的实时采集、解析、管理和搜索。 基于时间分段和负载均衡的大数据索引与检索机制。 基于Web的机器数据搜索与分析界面。 兼容Hadoop平台的日志挖掘和用户行为分析。 基于多种推荐模型的在线推荐引擎 大规模部署的自动化和运行状态监控 TRS SMAS功能框架图 舆情管理 服务共享 信息挖掘 信息来源 新闻 论坛 博客 搜索引擎 微博 wiki 自动排重、自动分类、自动摘要、自动分析 舆情分类 热点跟踪 热点统计 微博分析 人物分析 微博运营 趋势分析 整合统计 关联图谱 动态走势 兴趣图谱 未知探索 热点变化 意见领袖 传播图谱 关系分类 个性展示 敏感预警 自由分布 数图导出 图表切换 多维检索 探针追踪 元搜索 外网 微博 论坛 SNS 网媒 官网 提高 销量 用户 满意度 用户设计 趋势分析 竞争分析 质量缺陷 设计缺陷 使用缺陷 KOL维护 声誉管理 危机预警 事件评估 行为分析 产品 公关 营销 SMAS 用户感知 研发 情绪感知 及时服务 口碑监测 媒介监测 S- CRM 广义 服务 TRS SMAS 作用于企业2.0 TRS 在大数据领域的应用实践 新华社多媒体数据库 国家知识产权局专利检索系统 某部信息监控系统 TRS SMAS 云服务（大数据服务） 国家质监局 国家药监局 北京市环保局 国家气象局 每日微博热点分析 新华社多媒体数据库系统 是新华社的核心业务支撑，典型的非结构化数据管理应用场景，持续IT投资已经超过6亿人民币 以新华社遍布全球的新闻信息及采集网络为依托，全面整合新华社的文字、图片、图表、音视频、报刊等全部资源和社会上有价值的新闻信息资源，拥有包括中、英、法、俄、西、阿及中文繁体在内的 6个文种，数据量超PB 最早采用文件系统，后来改为Oracle，效率很低，再改为Oracle+TRS ，持续服务至今 从大型机改为PC服务器集群 1.5亿条 原创新闻资讯 26000小时 权威原创视频 700万张图片 27000家 注册用户 8000多种 资源分类 PB级数据量 多语种数据 坚持 新华社多媒体数据库数据流转图 新华社多媒体库的技术特点 非结构化数据和结构化数据统一管理 TRS多语言检索引擎 全面采用TRS文本挖掘技术 良好的集群扩展能力 索引服务器读写分离 国家知识产权局专利检索服务系统 1998年专利局引进了欧洲EPOQUE系统，基于大型机的专利检索系统，每年的系统维护费用就达数千万元 2005年开始建设自主可控可持续发展的专利检索和服务系统，采用大量的PC服务器 典型的非结构化/半结构化数据应用场景 目前公共检索和审查员检索系统全部使用TRS检索引擎 专利检索系统的需求特点 数据多样性 结构化、半结构化和非结构化数据的结合 申请人、申请号、名称等著录项很多; 权利要求书、说明书等全文数据规模大 各库数据结构差异大 查询要求高 严格的查全和查准要求 基于领域知识的智能检索 结构化和非结构化信息联合查询 相关专利推荐 专利检索与服务系统的数据种类与规模 6亿多条 专利记录 多渠道异构 资源整合 100%查全率 1秒 响应时间 700-1000并发 7×24 稳定可靠 1万注册用户 专利检索引擎数据流转图 专利检索与服务系统-外观图像检索 专利图像外观检索 局部检索 形状检索 纹理检索 不变性特征检索 草图检索 数据分类 数据聚类 基于相关反馈的检索 跨语言检索 某部网监智能搜索和挖掘系统