非结构数据存储-Oracle.pdf

泛大数据化时代的数据处理体系 贺辉群 David.He@ Industry Solution Manager for Big Data Big Data Solution of Center of Excellence 三驾马车 阿里巴巴小额贷款股份有限公司 • 2012年8月底，阿里信贷即将面向阿里巴巴 普通会员全面放开。不用提交任何担保、抵 阿里尝试互联网信贷创新 押，只需要凭借企业的信用资质即可。用户 •利用互联网进行信贷创新 24小时随用随借、随借随还 • 阿里信贷放贷额度为5万~100万元，期限为 •利用网络低成本广泛采集 12个月，贷款形式为循环贷+固定贷，日利 客户的各类数据信息 ， 率万分之六左右，单利计息。申请者可以是 •通过数据挖掘分析判断客 企业或个体工商户，但必须是阿里巴巴中国 站会员或中国供应商会员 户资质 ， • 今年7月20 日，阿里金融的日利息收入达到 •重视数据而不是担保、抵 100万元。照此粗略计算得出其年利息收益 押 ，降低了小微企业融资 可达3.65亿元。其信贷业务鼓励提早还款按 日计息，日利率订单贷款为0.05% ，信用贷 的门槛。。 款为0.06%。信贷不良率仅为0.72%。 金融银行保险行业十个大数据趋势 第一、对更大的历史数据集的需要。市场数据集变得越来越庞大，业务对数据的细分粒度要求 越来越高，以满足预测模型、业务预测和交易影响评估的需求。 第二、企业面临新的监管和合规要求。新的监管和合规要求更强调治理和风险汇报，推动了 全球性金融机构对更深入和透明的数据分析需求。 第三、对企业风险管理的关注。金融机构不断完善自身的企业风险管理框架，该基于主数据管 理策略开发的框架可协助企业提高风险透明度，加强风险的可审性和管理力度。 第四、希望利用各种交付渠道的更多的客户数据。金融服务公司都希望能充分利用各种 服务交付渠道(如分公司、网络、移动通信等)的海量客户数据，开发新的预测分析模型，实现对客户消费行为 模式进行分析，提高客户转化率。 第五、对后突发市场中数据基础设施的投资。在巴西、中国和印度等后发展中市场，经济 和业务增长机会正在超越欧洲和美国，大量投资被投放到本地和云数据处理基础设施中。 第六、推动利用运营部门的数据价值。 “大数据”在存储和处理框架两方面的优势将帮助金融服务企业充分掌握业务数据的价值，降低业 务成本并发掘新的套利机会。 第七、需要重新设计ETL以适应数据增长。面对“大数据”所带来的不断增加的数据量要求，需要对传统的数据传输工具ETL(提取、转换 和加载)流程进行重新设计。 第八、使用预测信用风险模型。大量历史客户支付行为数据的信用风险预测模型正在零售与公司贷款催收中得到大量应用，通过该技术，银行 可以通过对不同客户违约和还款资料进行分析，对催收次序进行优化。 第九、移动设备的普及。随着以平板电脑和和智能手机为代表的移动应用和互联网工具的迅速普及，技术基础设施和网络在对不同来源、不同标 准数据进行处理、编索和整合方面的压力不断增大。 第十、大数据推动数据算法发展。 “大数据”推动了对数据处理算法的需求，提出对数据安全和访问控制的重视，并可有效降低对现有系统 的影响。 来源： SunGard2012年金融服务业各部门“大数据”发展的十大趋势 /html/2012-6-26/20126262111444336_2.htm 大数据的定义和特征 大数据特性 • 巨大的数据量Volume • 集中储存/集中计算已经无法处理巨大的数据量 • 多结构化数据 Variety SOCIAL • 文本/图片/视频/文档等 VOLUME BLOG • 增长速度很快 Velocity SMART • 海量数据的及时有效分析 METER • 用户基数庞大/设备数量众多/实时海量/数据指数级别增长