极客大学算法训练营覃超第十七课 .docxVIP

极客大学算法训练营 第十七课 布隆过滤器、LRU Cache 覃超 Sophon Tech 创始?，前 Facebook ?程师 布隆过滤器 Bloom Filter HashTable + 拉链存储重复元素 John Smith 000 001 002 ×　 × Lisa Smith 521-8976 × Lisa Smith 151 × John Smith 521-1234 Sam Doe 152 153 × Sandra Dee 521-9655 Sandra Dee 154 × × Ted Baker 418-4165 Ted Baker 253 254 255 × × × Sam Doe 521-5030 Bloom Filter vs Hash Table 一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索 一个元素是否在一个集合中。 优点是空间效率和查询时间都远远超过一般的算法， 缺点是有一定的误识别率和删除困难。 布隆过滤器示意图 存储元素 Bloom Filter 测试元素 A A True positive C True negative E B True positive 案例 1. 比特币网络 2. 分布式系统（Map-Reduce） — Hadoop、search engine 3. Redis 缓存 4. 垃圾邮件、评论等的过滤 科普：/cpselvis/p/6265825.html /tianyaleixiaowu/article/details其他实现 1. Python: /bloom-?lters-introduction- and-python-implementation/ /jhgg/pybloof 2. Java： /lovasoa/bloom?lter/blob/master/src/main/ java/BloomFilter.java /Baqend/Orestes-Bloom?lter Cache 缓存 1. 记忆 2. 钱包 - 储物柜 3. 代码模块 CPU Socket Core 0 Core 1 Core 2 Core 3 L1 D-Cache L1 D-Cache L1 D-Cache L1 D-Cache L1 I-Cache L1 I-Cache L1 I-Cache L1 I-Cache L2 Cache L2 Cache L2 Cache L2 Cache L3 Cache https://www.sqlpassion.at/archive/2018/01/06/understanding- the-meltdown-exploit-in-my-own-simple-words/ LRU Cache ? 两个要素： 大小 、替换策略 ? Hash Table + Double LinkedList ? O(1) 查询 O(1) 修改、更新 LRU cache 工作示例 A B C D E F C G Retention Front A B C D E F C G A B C D E F C A B C D E F Rear A B A C B D B E D A B 被移除 被移除 替换策略 ? LFU - least frequently used ? LRU - least recently used 替换算法总览： s LRU Cache — J ava public class LRUCache { private MapInteger, Integer map; public LRUCache(int capacity) { map = new LinkedCappedHashMap(capacity); } public int get(int key) { if(!map.containsKey(key)) { return -1; } return map.get(key); } public void put(int key, int value) { map.put(key,value); } private static class LinkedCappedHashMapK,V extends LinkedHashMapK,V { int maximumCapacity; LinkedCappedHashMap(int maximumCapacity) { super(16, 0.75f, true); this.maximumCapacity = maximumCapacity; } protected boolean removeEldestEntry(Map.Entry eldest) {