基于大数据计算的客户上网信息精确匹配关键技术研究及应用.pdfVIP

暑技术专囊… ·…………………… 一 ●眷a t r ■ ●》S 2系统技术架构 道和精细匹配，采用流处理和云计算架构，满足海量 数据的线性流处理，保证实时陛、分析扩展性和数据 系统技术架构如图1所示共包括5个部分 ，分 的高精度。 别为采集层、存储层、数据处理层、应用层以及访问 3．1．1技术难点 层。 目前，运营商要求从传输层到应用层协议对业 采集层：数据获取层通过接 口文件采集、流量数 务的数据包进行检测和识别 ，力图以 100％的准确 据采集、网页信息采集、云ETL核心引擎等数据处 率检测出业务类型，从而根据全量采集分析，以不同 理方式，实现基础数据源的采集。 纬度对不同业务类型进行深度分析与运用，为企业 存储层 ：分别提供流计算 、云平台，完成结构化 发展提供有价值的决策依据。 数据的存储和非结构化数据的存储。