推荐系统and内存管理.pptxVIP

暴风客户端推荐系统设计BaoFeng ResSys Engineering毕重兴在线数据及媒资部2013.06Part .1 AbstractBaoFeng ResSys Engineering推荐系统的目的推荐系统如何做推荐提供的形式推荐现阶段问题推荐系统的目的BaoFeng ResSys EngineeringPart .1 AbstractBaoFeng ResSys Engineering推荐系统的目的推荐系统如何做推荐提供的形式推荐现阶段问题推荐系统如何做BaoFeng ResSys Engineering 被动方式采集用户的观影行为信息，观影记录，观影时长等 主动方式用户对影片的打分，用户填写自己的影片喜好类别等 基于内容用户为影片打的内容标签Part .1 AbstractBaoFeng ResSys Engineering推荐系统的目的推荐系统如何做推荐提供的形式推荐现阶段问题推荐提供的形式8:8080/RecQuerySys/index.jsp展示BaoFeng ResSys Engineering物品推荐利用余弦相似度，cos(α) = (a · b)／(｜a｜｜b｜)：Similarity(A,B) = parmaK / (pow(A, 0.5) · pow(B, 0.8))归一化：Similarity／Max(similarity)热片降级：log(N/n)个性推荐利用物品推荐的计算结果观影时间权重定制：Similarity / (1 + factor ·（Time1 – Time2) / (3600 · 1000 · 24))Part .1 AbstractBaoFeng ResSys Engineering推荐系统的目的推荐系统如何做推荐提供的形式推荐现阶段问题推荐现阶段问题BaoFeng ResSys Engineering推荐技术高性能与准确性的矛盾准确需要大量的时间计算不实时，适合变数不大的物品突破协同过滤，采用复合算法系统规模增长Part .2 AbstractBaoFeng ResSys Engineering推荐的数据结构与算法开发中内存使用的技术MongoDB基础与应用多线程服务器编程模型推荐的数据结构与算法BaoFeng ResSys Engineering推荐技术二叉树计算交集开发成本低，随手可写内存占用多，插入查找时间长，但目前可以忍受更好的选择：Uid_midlst：T-tree，树的高度矮，查找速度快log(n/m)，指针少节省内存，代码复杂Mid_uidlst：hash-table [/p/smhasher/murmur Hash]，查找速度快，从mongodb载入速度快常用数据结构和算法：B-tree、B+tree、Skiplist、red-black-tree、qsort、radix-sort、merge-sortPart .2 AbstractBaoFeng ResSys Engineering推荐的数据结构与算法开发中内存使用的技术MongoDB基础与应用多线程服务器编程模型开发中内存使用的技术BaoFeng ResSys Engineering内存管理效率成本用户体验开发中内存使用的技术BaoFeng ResSys Engineering虚拟内存管理进程空间打印出的地址全部是虚拟地址注意虚拟地址的覆盖范围匿名空间，swap分区，以及有名文件 的映射栈的虚拟地址堆的虚拟地址栈的虚拟地址堆的虚拟地址堆的申请栈的申请开发中内存使用的技术BaoFeng ResSys Engineering虚拟内存管理为什么使用虚拟内存机制？权限保护，保证系统稳定进程间安全，不会越界VA到PA映射保证PA不连续，VA连续，为内存分配释放带来方便，提高内存利用率保证系统可以提供超过物理内存的存储能力开发中内存使用的技术BaoFeng ResSys Engineering分箱式管理brkmmap开发中内存使用的技术BaoFeng ResSys Engineering小于256字节的内存管理32个双向链表链表内各空闲chunk块大小一致匹配容量最接近的chunkChunk之间的差值是8由系统调用brk分配，效率高，但分配的chunk必须按顺序释放大于256字节的内存管理32个dltree树形chunk字节段管理Chunk之间的差值是随着树高折半由系统调用mmap分配，效率没brk高，但是释放直接还给操作系统开发中内存使用的技术BaoFeng ResSys Engineeringmalloc内存管理，why?加速分配效率，不用每次都进行系统调用，效率高增加CPU取值效率，cache line对齐（why 对齐？）遏制内存碎片，把碎片提高到应用层，而不是埋藏在操作系统层开发中内存使用的技术BaoF