基于Spark的sMRI影像分类诊断与电影推荐-电子与通信工程专业论文.docxVIP

山东大学硕士学位论文3．3．2 山东大学硕士学位论文 3．3．2 PCA算法实现 24 3．4 SVM算法原理与实现 。25 3．4．1 SVM算法原理 25 3．4．2 SVM算法实现 ． ． ．26 3．5本章小结 ．．28 第四章基于Spark的电影推荐系统设计与实现 29 4．1电影推荐系统设计 ．．29 4．1．1电影推荐系统数据集 29 4．1．2电影推荐系统目标 30 4．1．3电影推荐系统架构 30 4．2电影推荐系统实现 。32 4．2．1数据处理模块 32 4．2．2模型训练模块 32 4．2．3用户推荐模块 34 4．2．4模拟实时推荐模块 35 4．3基于ALS的协同过滤算法原理与实现 ．36 4．3．1算法原理 ．36 4．3．2算法实现 37 4．4本章小结 。39 第五章实验结果与分析 40 5．1实验环境 。40 5．1．1网络与硬件环境 40 5．1．2 Spark集群搭建 4l 5．2 sMRI影像分类诊断系统 ．44 5．2．1实验设计 ．．44 5．2．2实验结果与分析 44 5．3电影推荐系统 ．．47 5．3．1实验设计与最优参数确定 47 万方数据 山东大学硕士学位论文5．3．2系统推荐结果展示 山东大学硕士学位论文 5．3．2系统推荐结果展示 49 5．4本章小结 。5 1 第六章总结与展望 。52 6．1总结 52 6．2未解决的问题和以后工作展望 ．．53 {li}：；lj吱献 54 致t射 59 攻读硕士学位期间的研究成果 。60 万方数据 山东大学硕士学位论文CONTENTS 山东大学硕士学位论文 CONTENTS ABSTRACT(Chinese) ．．I ABSTRACTOEnglish) III Chapter 1 Introduction ．．1 1．1 Background and Significance of Research ． ． ．．I 1．2 Research Status ．2 1．3 Main 1《I-lork and Contributions ． ．3 1．4 Structure Arrangement ． ． ．．．4 Chapter2 Spark Big Data Processing Platform ．．6 2．1 The Overview of Spark ． ． ．．6 2．2 Resilient Distributed Datasets． ． ． ．．8 2．2．1 Definition． ． ． ． ． ．8 2．2．2 Operations and Cache． ． ． ． ． ． ．．9 2．2．3 Lineage and Dependencies．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10 2．3 Spark Programming Operation Architecture． ． ． ． ．．1 1 2．4 MLlib ．．1：； 2．5 Conclusion 14 Chapter 3 The Design and Realization of sMRI Classification Diagnosis System Based on Spark ．15 3．1 The Design of sMRI Classification Diagnosis System ．1 5 3．1．1 The System Target ． ． 15 3．1．2 The System Architecture ． 15 3．2 The Realizationof sMRI Classification Diagnosis System ． ．1 7 3．2．1 Preprocessing Module．．．．．．．．．．．．．．．．．．．．．．．．． ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．1 8 3．2．2 Model Training Module．．．．． ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． ．．．．．．．．．．．．．．． ．．．．． ．．．．．1 8 3．2．3 Predicting Diagnosis Module ． ．．22 3．3 PCAAlgorit