非结构化数据库测试基准设计与系统实现.pptxVIP

会计学1非结构化数据库测试基准设计与系统实现 国内外研究现状分析面向半结构化数据库的测试基准功能型基准与应用型基准:功能型基准不与具体应用结合，目的在于评测数据库系统的某项特定功能Eg:密歇根基准应用型基准与某个应用具体相关Eg:Xbench\XMach-1等面向空间与移动数据的基准Eg：Sequoia 2000 Storage第1页/共21页 国内外研究现状分析面向对象数据的基准Eg：OO1标准面向流数据的基准：流数据是一组顺序、大量、快速、连续到达的数据序列,一般情况下,数据流可被视为一个随时间延续而无限增长的动态数据集合Eg：Linear Road基准第2页/共21页 研究方案主要研究内容仿照新浪微博的操作场景，提出对应的测试模型，并结合现实场景，提出对应的测试指标。用户操作：发消息（文字、图片、视频、长微博），评论，转发，点赞，站外转发，发起\参与话题，发起投票，分组发送，收藏，私信，消息搜索，@某人。用户关系：关注，特别关注，用户推荐，屏蔽消息，用户分组。客户关系：消息流广告，广告推荐，广告管理。第3页/共21页 研究方案主要研究内容设计思路与模型构建第4页/共21页 研究方案主要研究内容设计思路与模型构建第5页/共21页 研究方案主要研究内容查询模型设计：一、查询包含特定内容的微博，排序方式，按照互动数进行排序。二、查询二维好友（好友的好友）。三、互动（评论、转发、点赞等）最多的微博信息。四、查看包含某个关键字的话题。五、查看某个话题下的微博数量、互动数量、粉丝数量。第6页/共21页 研究方案主要研究内容查询模型设计：一、查询包含特定内容的微博，排序方式，按照互动数进行排序。构建查询模型的原因：由于数据在数据库中是非结构化存储的，测试查询特定字符串的能力，并比较SQL与NOSQL数据库在这方面的能力。实现方式首先，从数据库中统计微博，计算该微博的互动数，之后排序显示。第7页/共21页 研究方案主要研究内容查询模型设计：二、查询二维好友（好友的好友）。构建查询模型的原因：用户关系是微博中的一个核心关系，查询数据库在这方面的一个表现。实现方式：查询好友的好友，返回列表。第8页/共21页 研究方案主要研究内容查询模型设计：三、互动（评论、转发、点赞等）最多的微博信息。构建查询模型的原因：从所有微博中找出互动最多的微博信息。实现方式：构建微博的时候就需要统计其互动信息，按照互动信息排序，看数据库的并发性（同时读写）。第9页/共21页 研究方案主要研究内容查询模型设计：四、查看包含某个关键字的话题。构建查询模型的原因：用户关系是微博中的一个核心关系，查询数据库在这方面的一个表现。实现方式：查询好友的好友，返回列表。第10页/共21页 研究方案主要研究内容查询模型设计：五、查看某个话题下的微博数量、互动数量、粉丝数量。构建查询模型的原因：可做舆情监控等，分析话题的热度。实现方式：属于某个字段的微博数量，以及这些微博的互动数、参与者总量。第11页/共21页 研究方案主要研究内容测试指标：1、流量指标：包括:A、对操作数据的分析（发消息、转帖、回复等操作）B、对关系构建的分析（关注、互粉等）C、对企业用户操作的分析（投放消息流广告、图片广告等）2、性价比： 测试系统整体价格与流量指标的比值。第12页/共21页 研究方案系统设计与实现数据来源与展示：来源：新浪微博真实数据展示：第13页/共21页 研究方案系统设计与实现测试指标实现：性能测试采用压力测试的方法，模拟上万个客户端持续访问数据库，在此场景下判断系统的稳定性以及系统的最大负载。容量测试测试系统的数据存储容量，拥有海量的基准数据进行测试。功能测试按照各系统的使用说明书进行测试，判断其是否各个功能都满足。接口测试测试各个子课题开发完成的子系统在规定的接口上是否符合定义，测试对于PB级的海量数据环境下接口的各个方面指标是否达到设计要求，例如数据传输速率，质量等等。查询模型实现实现模型中的各个查询模型。第14页/共21页 研究方案系统设计与实现系统展示：第15页/共21页 研究需要突破的难题关于测试模型需突破的难题A、微博场景复杂，需要在该场景下兼顾各种操作，提出能够涵盖各种操作的测试基准，得到各方的认可；B、各个非结构化数据库针对的方向不同，提出的模型需要兼顾各个数据库，并获得各方的认可，这点是需要突破的最重要的难点；C、关于微博真实数据的获取，目前难以获取大量的真实数据，这也是目前的难点，正在与新浪微博相关人士沟通，数据的真实性以及来源，也是本模型设计的难点之一；关于测试系统需突破的难题A、需要与各个数据库做对接，对各个数据库的研究与学习需要花费一定的时间与精力；B、数据量与实际场景的差距可能会导致测试不准确性；第16页/共21页 特色与创新之处A、针对非结构