十道海量数据处理面试题.docVIP

... ... 海量数据处理面试题 Table of Contents 海量数据处理面试题 ............................................................................................................................................................................................... 1 第一部分：十道海量数据处理面试题 .................................................................................................................................................................... 1 1、海量日志数据，提取出某日访问百度次数最多的那个 IP。................................................................................................................. 1 2、搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为 1-255 字节。 ...........................2 3、有一个 1G 大小的一个文件， 里面每一行是一个词， 词的大小不超过 16 字节，内存限制大小是 1M。返回频数最高的 100 个词。 .......................................................................................................................................................................................................................... 2 4、有 10 个文件，每个文件 1G，每个文件的每一行存放的都是用户的 query，每个文件的 query 都可能重复。要求你按照 query 的频度排序。 .................................................................................................................................................................................................. 3 5、 给定 a、b 两个文件，各存放 50 亿个 url，每个 url 各占 64 字节，内存限制是 4G，让你找出 a、b 文件共同的 url ？ .............3 6、在 2.5 亿个整数中找出不重复的整数，注，内存不足以容纳这 2.5 亿个整数。 ............................................................................... 4 7、腾讯面试题：给 40 亿个不重复的 unsigned int 的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那 40 亿个 数当中？ .......................................................................................................................................................................................................... 4 8、怎么在海量数据中找出重复次数最多的一个？ ..................................................................................................................................... 5 9、上千万或上亿数据（有重复） ，统计其中出现次数最多的钱 N 个数据。 ........................................................................................