数字图书馆大数据分布式存储架构模式和策略研究.PDF

马晓亭：数字图书馆大数据分布式存储架构模式与策略研究1 月Q onthe DataDist曲utedArchitectureM0delaIldP0liciesofthe MaⅪaoting：studyBig storage Libmryl‘}、) Di矛tal 数字图书馆大数据分布式存储架构模式与策略研究 马晓亭 摘要数字图书馆传统的关系数据库数据存储方式已不能满足大数据存储与处理需求，为解决传统关系型数据库 在海量数据存储和访问效率中的瓶颈问题，论文提出了一种数字图书馆安全、有效的大数据公布式存储架构。该存储 架构具有良好的可扩展性、容错性和存储性能，尤其针对海量的非结构化、半结构化数据，其性能优势更加明显。 关键词数字图书馆大数据海量数据存储分布式存储架构非结构化数据半结构化数据 分类号G250．76 on me DataDistributedArcllitectureModelandP01iciesof Study Big Storage tlle DigitalLibra巧 Ma Xiaoting Abs臼act relationaldatabasee砌esaerosssome inthe ordin8ry Storing卸dpr．oeessingb培da穗byusing p1．oblems di舀tal s01vet；llebomeneck of山etraditional datab8sein andaccess librar)r．7ro problems relationship b唔datastorage emciency，this a secure肌demcient distributedarchiteetureforthe hasbener paperpresents b唔data 8torage digitallibrary，which tolemnceandenhanced forthemass semi—stnlctured scalability，fault storagepe而硼ance．E叩eciallyunstmctured粕d data， t}Ie i8moreobvious． perfo皿锄ceadvantage K薯0懈orIls data．Mass architecture．UnstrIlctureddata．Semi一曲mctured Di舀talhbrary．Big da诅storage．Distributedstomge data． 随着信息技术的发展与读者阅读需求转变，云 社会关系数据、系统运营与管理数据、视频监控数 计算、大数据、物联网和传感器网络等技术，已成为 据、物联网传感器数据、阅读终端日志、读者阅读行 数字图书馆构建与用户服务保障的关键技术。新技 为数据(主要由用户博客、微博、论坛和读者反馈信 术的应用与服务模式的变革，大幅提高了图书馆服 息)等组成，具有数据海量、多源、非结构化和数据总 务系统的结构科学性、保障力和用户满意度。但是， 量级数增长的特点。随着用户阅读模式和需求的转 图书馆在用户服务与系统管理、读者阅读活动保障、 变，传统的存储体系已不能满足海量激增的大数据 自动传感器数据采集和移动阅读终端阅读等过程 资源存储需求，要求大数据资源库具备PB级的数据 中，产生了海量和级数递增的大数据资源，图书馆数 存储规模，并可根据未来服务需求进行存储性能升 据环境呈现