简洁商务汇报.docxVIP

AI for Storage 刘渝 华中科技大学 liu_yu@hust.edu.cn Learned Index Single Dimensional Indexes Models can outperform state-of-the-art B-Tree implementations by a factor of two while being orders of magnitude smaller. Tim Kraska, Alex Beutel, Ed H. Chi, Jeffrey Dean, Neoklis Polyzotis:The Case for Learned Index Structures. SIGMOD Conference 2018: 489-504 Multi-Dim. Indexes and Storage Layout Mapping each data record of dimension d to a sort key that determines its relative location in the ordering. TPC-H benchmark, with 60 million records. Initial results Query Type: The ith most significant digit is 1 if the query filters on the ith dimension in the sequence of dimensions used by the learned index. The learned index outperforms the clustered index on almost every type of query. Data Access 2019年1月15日，Google AI负责人Jeff Dean发表了博文，回顾总结了2018年Google的技术研究进展。 认为在计算机系统中使用机器学习方面，我们只是触及了皮毛。 1、存储究竟应该如何使用AI？ 2、AI究竟应该如何适应存储？ 3、存储中哪些议题适合使用AI进行解决？ 1、存储究竟应该如何使用AI？ 机械 自动化 计算机 算法 浅层学习 深度学习 强化学习 有监督学习 集成学习 迁移学习 半监督学习 无监督学习 对抗学习 机器学习 （模型化算法） 2、AI究竟应该如何适应存储？ 机器学习 训练开销 标签依赖 模型适应性 离线训练 GPU加速 无监督 半监督 泛化能力 输入分布控制 3、存储中哪些议题适合使用AI进行解决？ 机器学习 特征提取 分类（聚类） 预测 决策 功能 应用 内容语义存储 磁盘故障预测 系统调参 资源分配 1、内容语义存储 传统认知：数据的内容语义不是存储关心的事情 语义存储：基于数据属性分析的存储 近存储：数据属性相近进而物理相近存放 标签和内容不一致 属性并不代表用户需求 1、内容语义存储 存储对于智能应用的分析支持 以1PB数据量、磁盘持续I/O带宽200MB/s计算，仅读出数据时间就将近2个月！ 三个问题： 1、无效读取 2、相关精度 3、结构支持 1、内容语义存储 存储对于智能应用的分析支持 Yu Liu, Hong Jiang, Yangtao Wang, Ke Zhou*, Yifei Liu, Li Liu. Content Sifting Storage: Achieving Fast Read for Large-scale Image Dataset Analysis. in DAC, 2020. 1、内容语义存储 存储对于智能应用的分析支持 Yu Liu, Jingkuan Song*, Ke Zhou*, Lingyu Yan, Li Liu, Fuhao Zou and Ling Shao. Deep Self-Taught Hashing for Image Retrieval. IEEE Transaction on Cybernetics. 49(6):2229--2241 (2019). 初衷: 通过LE算法从经验模型得到的特征中获得hash伪标签，再次使用深度模型进行拟合。 贡献：对无标签的样本进行训练和学习，产生具有泛化能力，且能够保持数据语义相似性的 hash模型。 1、内容语义存储 存储对于智能应用的分析支持 Yu Liu, Hong Jiang, Yangtao Wang, Ke Zhou*, Yifei Liu, Li Liu. Content Sifting Storage: Achieving Fast Read for Large-scale Image Dataset Analys