2019年DTCC：非结构化大数据管理系统的设计及其应用案例-李银松_IT文库.pdfVIP

非结构化大数据管理系统的 设计及其应用案例 北京拓尔思信息技术股份有限公司 李银松 2014.04.10 ABOUT TRS • 北京拓尔思信息技术股份有限公司是国家规划布局内重点软件企 业，公司注册资本2.04亿元，2011年6月在创业板上市，股票代码 300229。 • 公司秉承“搜索信息、整合内容、发现知识”的技术理念，专注 于海量非结构化信息处理为核心的软件研发、销售和技术服务，目标 是成为大数据时代中国软件和专业互联网服务领域的领导厂商。 • 公司现有员工650名，总部在北京，并已在全国主要中心城市设 立了分公司或办事处。公司自主研发的TRS系列产品和服务已被国内 外4000多家企业级机构客户广泛使用，在中国非结构化中文信息智能 应用软件市场占有率位居第一。 新华社多媒体数据库  多语种数据  27000家注册用户  1.5亿条原创新闻资讯  8000多种资源分类  PB级数据量  26000小时权威原创视频  700万张图片 全球最大的新闻多媒体数据库 新华社多媒体数据库 存在的问题 • 并发量有限 • 磁盘IO瓶颈 • CPU、内存利用率不高 • 集群扩容工作量大 Hadoop的到来 HDFS HBase 化整为零，分而治之 Memstore+WAL 硬件异常当软件异常处理 TRS 数据中心建设 Hadoop之痛 WEB Radar 文件服务器 Gateway TRSCluster TRSServer Gateway HBase TRSSmas 用户 HDFS Hive？ 流程太长 系统复杂 系统可复制性差 运维成本高 问题排查困难 学习成本高 Pig？ TRS 海贝（Hybase ）大数据管理系统 设计思路：让用户像管理数据库一样管理大数据 设计目标： – 以存储、检索、统计为中心 – 支持PB级别的 – 简单易用，架构清晰 – 伸缩性 – 高可靠 – 充分释放现代计算机硬件的潜力（多核、大内存等） – 柔性多引擎机制 – Hadoop无缝集成