互联网峰会-参考资料.pptVIP

2014.4.18 http:// 永洪BI 一把好铲子，掘金大数据 关于永洪科技 . 公司驻扎于北京中关村留创园(Experience) . 自主研发的数项软件产品，涵盖大数据分析和BI前端 . 专注于数据治理和数据价值发掘的产品和服务工作 . 已获得两轮投资机构主导的Pre-A投资 一些客户场景 . 广西移动流量监控平台这是我们给电信级用户打造的大数据监控平台，五分钟延迟，对全省各条电信链路的互联网数据进行准实时监控和准实时分析。每天采集的机器数据（Log），内含互联网流量数据小十亿条（Similar Product）。 . 上海电信大数据交换平台. 湖北移动数据报告平台在电信行业，类似的实时大数据分析需求持续冒出来。这些需求共同的特点是：预算不太高，但大数据分析能力要足够。(Analysis vs Transaction) . AdMaster调查平台AdMaster做互联网和移动的广告、调查、监测，做得很好很成功（Hong）。随着客户量的累积，AdMaster的数据越来越多，我记得有一个大表让人印象深刻，字段数已经上万，分析组合的字段一多，前端发出的分析请求，后端响应速度可能要几分钟。 一些客户场景 . 艾瑞咨询集团大数据平台这次互联网峰会，艾瑞主动邀请我们来做关于大数据的分析，对永洪是一个惊喜。（Thought）以前，艾瑞交付给客户的分析报告是线下交付，比如Excel文件、Word文件。如今，艾瑞不这么做了：给用户一个服务账号，自己登陆进来看，不仅仅能看，还能动手分析，省事又强大。（Comment）艾瑞移动、艾瑞电信研究院。（Similar Requirement）(Visit) 大数据是什么 Gartner是这样定义大数据的：“大数据”是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。（4V） . 信息资产：大数据首先是信息资产，是生产资料。以前大家买原料做产品，现在海量数据就是原料之一。 . 新处理模式：这意味着之前的处理办法搞不定，或者代价太昂贵。所以我们需要找新办法，新模式。（Storage: MPP Weak Consistency）(Computing: 3 Types ) . 取得优势：我们有了大数据，有了新处理模式，这还不够，必须获取优势。比如优化流程、强化决策力、提升洞察力等等。如果没有得到实实在在的好处，那就不要搞大数据。 大数据，我们能干什么？ 从商业价值上考虑，应该围绕自己的核心业务，结合线上线下多源数据，收集、存储并消化自有大数据，分步打造有价值的数据应用。(Landing) . 每天产生的机器数据，比如日志文件，没法很好地管理起来，导致企业的运维能力较低。结合大数据和BI技术，我们可以把运维搞起来，让业务能更好地运行。 . 每天的线上交易数据，由于数据量大，只能预先设定并计算几个静态的KPI去看业务，导致企业的洞察力较低。结合大数据和BI技术，我们能够提升洞察力。 商业决策需要什么分析报告，一般会让IT部门出，这也许要经过N多工序，需要一两周才搞出来，导致决策层无法通畅决策。结合大数据和BI技术，我们可以提升决策能力。解决这一问题。 大数据，应用的困惑 . 用不用开源这是我们客户经常讨论的问题。永洪认为，最基本的要求是能解决问题。利用一些成熟的开源项目未尝不可，行之有效的办法是取长补短，融汇贯通，很多永洪的客户都这么干。 . 应用方向每个企业有自己的特点，有自己的需求。类似大数据应用的方向性选择这种问题，没有对错，永洪也说不好。 . 源数据质量如果企业的源数据管理水平不高，永洪可以做很强的数据分析产品，也没有办法在短期内提升企业的源数据归集能力等，这也是永洪未来的研究课题。 　　我们先看一个传统的企业数据仓库架构（图），看上去一层一层的，这个架构有一个形象的比喻，Layer-Cake，夹心蛋糕：底层是数据源，上层是数据分析和BI，中间是集中管控的EDW。这是一个经典的架构，曾经在很多企业发挥过重要作用。 大数据，传统架构难以胜任 .存储：数据只能存储在DW中。每种类型的数据，我们要么把它存储在DW中，要么丢弃。这像一架豪华飞机，没有经济舱。数据要么坐头等舱，要么没座位。 .结构化：EDW只能存储结构化数据，不是结构化数据的存不了，也用不了。 .刚性：传统架构的刚性已经不能满足今天的需求。Forester的调查报告显示：迄今为止，打造了传统的企业数据仓库的机构，有83%的用户没有用数