数据湖概述09课件讲解.pptxVIP

数据湖概述

1.了解数据湖的基本定义

2.掌握数据湖的特征

3.了解数据湖的应用场景

数据湖产生背景数据湖(DataLake):由技术先驱JamesDixon于2010年提出核心思想:“以自然格式存储全量数据，通过统一平台支持多样化分析需求”。无论是结构化的数据库表、半结构化的日志文件，还是非结构化的图片、音视频，都能以其原始格式(如CSV、JSON、Parquet、ORC)存储于湖内，

数据湖的定义数据湖是一种集中式存储系统，用于保存海量、多类型的原始数据，具备全类型兼容、原始状态保留和超大规模存储能力。

数据湖支持结构化、半结构化和非结构化数据的统一存储全类型数据数据保持原始形态，确保后续分析可追溯真实数据来源。原始态保留数据湖可存储TB级、PB级乃至EB级数据海量存储通过集中化架构实现对多源异构数据的高效归集与管理集中式管理数据湖特点

用户下单的结构化订单数据用户浏览网页的半结构化行为日志用户上传的非结构化商品评价视频数据湖特点不限制数据类型不提前绑定分析需求

数据湖在多行业的典型应用场景分析互联网案例某短视频平台利用数据湖存储用户观看日志、评论文本和上传视频文件，通过深度分析实现个性化推荐，精准推送用户感兴趣的内容。制造业案例某汽车工厂数据湖接入1000+台设备的传感器数据，实时监控温度、转速等参数，可提前3天预测设备故障，有效降低停机损失。金融行业案例某银行通过数据湖整合交易记录、信贷资料与客服录音，构建风控模型，能够快速识别异常异地转账等欺诈交易行为，提升安全防护能力。政务领域案例某城市数据湖融合交通监控、人口登记与医疗就诊数据，实现红绿灯智能调控缓解拥堵，并分析区域医疗需求以优化资源配置。数据湖应用实例

数据湖概述

1.数据湖的基本定义

2.数据湖的特征

3.数据湖的应用场景