《大数据架构与设计》课程报告讲解-歌词生成大数据系统.pptxVIP

网易云的歌词生成

目录CONTENTS02歌词清洗和特征提取0103算法设计可视化展示

设计思路爬取网易云歌词歌词清洗和特征提取歌词生成可视化展示

01歌词清洗和特征提取

爬取歌词0101歌词清洗和特征提取

清洗代码0201歌词清洗和特征提取获取爬取歌词去除时间标签，分行去除无效信息

清洗结果0301歌词清洗和特征提取

0401歌词清洗和特征提取词频统计数据集上传HDFS集群执行任务

0501歌词清洗和特征提取获取HDFS文件RDD词频统计统计代码

0601歌词清洗和特征提取词云图

02算法设计

02算法设计char-RNN原理01基本原理：以要让模型学习写出“hello”为例，Char-RNN的输入输出层都是以字符为单位。输入“h”，应该输出“e”；输入“e”，则应该输出后续的“l”。

02算法设计基于char-RNN的歌词生成02基本原理：每个字与每个字并不是统计上独立的，比如说：如果不爱就不要再伤害是长度为10的序列，如果我们知道如，下一个字就可能是果；如果知道前两个字是如果，第三个字就是不得可能性大一些；依此类推，如果知道前九个字是如果不爱就不要再伤，那么最后一个字就是害。如果果不不爱爱就就不不要要再再伤伤害

02算法设计char-RNN生成文本得过程03在预测的时候需要给网络一段初始得序列进行预热，预热的过程并不需要实际的输出结果，只是为了生成具有记忆的隐藏状态，然后将隐藏状态保留，传入之后的网络，不断的更新句子，直到达到输出的长度。生成文本的过程就是每个字不断输入网络，然后将输出作为下一次的输入，不断循环递归，因为会不断循环下去，所以可以设置一个长度让其停止。

02算法设计训练04

03可视化展示

生成歌词0103可视化展示

生成歌词0103可视化展示

生成周杰伦风格歌词0203可视化展示

生成陈奕迅风格歌词0203可视化展示

谢谢观看