《大数据架构与设计》课程报告讲解-股票大数据分析平台.pptxVIP

股票大数据分析平台

1.项目设计2.功能实现3.预测算法CONTENT目录

项目框架1.项目设计数据集：Tushare接口股票大数据分析平台完全分布式的Hadoop+Spark数据处理展示VUE前端设计+EChats图表+Django后端

①按板块统计各板块股票的上市以来的每日涨跌幅度②统计各板块中涨跌幅top10的股票③统计各版块涨跌幅股票的占比④统计各板块中月成交量top10的股票⑤简单的预测股票走势具体功能设计：1.项目设计

文字添加此处文字添加此处文字添加此处文字添加此处2.功能实现

文字添加此处文字添加此处文字添加此处文字添加此处2.功能实现统计了五个板块股票的每日涨跌幅：这样可以大概看出哪个板块更有增长优势

2.功能实现统计各板块股票的每日涨跌幅功能设计过程：开始结束加载文件，形成RDD筛选2021年各版块所有公司数据（时间，（日涨幅，日涨幅率））RDD重映射为（key，（value，1））的RDD组内RDD合并，根据key对value进行相加合并Reduce端RDD，将所有数据根据key进行合并重映射并求平均值得到板块中每日涨幅平均值

文字添加此处2.功能实现统计各板块股票的每日涨跌幅功能代码实现：

文字添加此处文字添加此处文字添加此处文字添加此处2.功能实现统计各板块中涨跌幅top10的股票展示：更直观的看出每个板块中涨跌幅最显著的top10股票

文字添加此处2.功能实现统计各板块中涨跌幅top10的股票功能实现过程：开始结束加载文件，形成RDD按时间筛选数据进行RDD合并并创建临时表存储公司涨幅率信息，筛选初Top10公司得到一个公司的涨幅率按公司取出上市和截止日期的RDD

文字添加此处文字添加此处文字添加此处文字添加此处2.功能实现统计各板块中涨跌幅top10的股票功能代码实现：

文字添加此处文字添加此处文字添加此处文字添加此处2.功能实现统计各版块涨跌公司的分布：具体看出各版块的涨跌幅公司个数的分布

文字添加此处2.功能实现统计各版块股票涨跌幅度占公司分布能实现过程：开始结束加载文件，形成RDD按时间筛选数据进行RDD合并，得出涨跌幅度数据存入数据库得到该板块各股票的涨幅率占比统计数据按公司取出上市和截止日期的RDD按涨跌幅重映射为（等级，1）的RDD进行RDD合并

文字添加此处文字添加此处文字添加此处文字添加此处2.功能实现统计各版块股票涨跌幅度占比功能代码实现：

文字添加此处文字添加此处文字添加此处文字添加此处2.功能实现统计各板块中月成交量top10的股票：更直观的看出哪几支股票交易最为火爆

文字添加此处2.功能实现统计各板块中月成交量top10的股票功能实现过程：开始结束加载文件，形成RDD按照月份进行重映射按月份进行RDD合并，得出月成交总量数据将所有板块得到的数据重映射，创建临时表得到各月份Top10数据形成（月份，（公司名，v））RDD循环计算其他板块的股票创建临时表，筛选该板块月Top10

文字添加此处文字添加此处文字添加此处文字添加此处2.功能实现统计各板块中月成交量top10的股票代码实现：

文字添加此处文字添加此处文字添加此处文字添加此处3.预测算法

3.预测算法线性回归模型的优点：建模迅速，对简单的关系很有效，有利于决策分析在我们的项目中，我们需要预测的目标是：未来10天内股票的close(闭盘价）

3.预测算法构建特征向量矩阵：特征向量：[date,open,high,low,volume]

3.预测算法数据集划分为训练集和测试集：训练集进行的训练，得出如下的相关系数：

3.预测算法用训练好的模型来预测测试集中的数据：得出一些评价指标：均方误差为1.9，也是可以接受的。

3.预测算法预测走势图绿色：预测值红色：真实值预测的数据与10天后真实数据比较