29 ｜ 堆的应用：如何快速获取到Top 10最热门的搜索关键词？

为什么评价算法性能是根据时间和空间复杂度，而不是别的参数？是因为计算机结构是冯诺依曼体系，除了输入输出设备和控制器，就剩下运算器和存储器了

搜索引擎的热门搜索排行榜功能是如何实现的？搜索引擎每天会接收大量的用户搜索请求，把这些用户输入的搜索关键词记录下来，然后再离线地统计分析，得到最热门的 Top 10 搜索关键词。假设现在我们有一个包含 10 亿个搜索关键词的日志文件，如何能快速获取到热门榜 Top 10 的搜索关键词呢？

堆这种数据结构几个非常重要的应用：优先级队列、求 Top K 和求中位数。

假设我们有 100 个小文件，每个文件的大小是 100MB，每个文件中存储的都是有序的字符串。我们希望将这些 100 个小文件合并成一个有序的大文件。这里就会用到优先级队列。

假设有一个定时器，定时器中维护了很多定时任务，每个任务都设定了一个要触发执行的时间点。定时器每过一个很小的单位时间（比如 1 秒），就扫描一遍任务，看是否有任务到达设定的执行时间。如果到达了，就拿出来执行

这种方式的缺点：每过 1 秒就扫描一遍任务列表的做法比较低效，第一，任务的约定执行时间离当前时间可能还有很久，这样前面很多次扫描其实都是徒劳的；第二，每次都要扫描整个任务列表，如果任务列表很大的话，势必会比较耗时。

优化方案：

• 按照任务设定的执行时间，将这些任务存储在优先级队列中，队列首部（也就是小顶堆的堆顶）存储的是最先执行的任务。
• 拿队首任务的执行时间点，与当前时间点相减，得到一个时间间隔 T
• 定时器就可以设定在 T 秒之后，再来执行任务。从当前时间点到（T-1）秒这段时间里，定时器都不需要做任何事情
•  T 秒时间过去之后，定时器取优先级队列中队首的任务执行。然后再计算新的队首任务的执行时间点与当前时间点的差值，把这个值作为定时器执行下一个任务需要等待的时间

一类：静态数据集合

• 维护一个大小为 K 的小顶堆，顺序遍历数组，从数组中取出数据与堆顶元素比较
• 如果比堆顶元素大，把堆顶元素删除，并且将这个元素插入到堆中；如果比堆顶元素小，则不做处理，继续遍历数组
• 最后堆中的数据就是前K大数据

遍历数组需要 O(n) 的时间复杂度，一次堆化操作需要 O(logK) 的时间复杂度，所以最坏情况下，n 个元素都入堆一次，时间复杂度就是 O(nlogK)

二类：动态数据集合

一个数据集合中有两个操作，一个是添加数据，另一个询问当前的前 K 大数据。如果每次询问前 K 大数据，我们都基于当前的数据重新计算的话，那时间复杂度就是 O(nlogK)，n 表示当前的数据的大小；

方案：

• 实际上，可以一直维护一个 K 大小的小顶堆，当有数据被添加到集合中时，与堆顶的元素对比。
• 如果比堆顶元素大，把堆顶元素删除，并且将这个元素插入到堆中；如果比堆顶元素小，则不做处理。
• 无论任何时候需要查询当前的前 K 大数据，都可以立刻返回给他

如何求动态数据集合中的中位数：中位数就是处在中间位置的那个数。如果数据的个数是奇数，把数据从小到大排列，那第 2n​+1 个数据就是中位数（注意：假设数据是从 0 开始编号的）；如果数据的个数是偶数的话，那处于中间位置的数据有两个，第 2n​ 个和第 2n​+1 个数据，这个时候可以随意取一个作为中位数，比如取两个数中靠前的那个，就是第 2n​ 个数据

静态数据

对于静态数据，中位数是固定的。可以先排序，第 2n​ 个数据就是中位数。每次询问中位数的时候，直接返回这个固定的值。所以，尽管排序的代价比较大，但是边际成本会很小。

动态数据

动态数据集合，中位数在不停地变动。

需要维护两个堆，一个大顶堆，一个小顶堆。大顶堆中存储前半部分数据，小顶堆中存储后半部分数据，且小顶堆中的数据都大于大顶堆中的数据。如果有 n 个数据，n 是偶数，我们从小到大排序，那前 2n​ 个数据存储在大顶堆中，后 2n​ 个数据存储在小顶堆中。这样，大顶堆中的堆顶元素就是我们要找的中位数。如果 n 是奇数，情况是类似的，大顶堆就存储 2n​+1 个数据，小顶堆中就存储 2n​ 个数据

当添加一个数据时候：如何调整两个堆，使得大顶堆中的堆顶数据继续是中位数呢？

• 如果新加入的数据小于等于大顶堆的堆顶元素，将这个新数据插入到大顶堆；否则，将这个新数据插入到小顶堆
• 可能情况：如果 n 是偶数，两个堆中的数据个数都是 2n​；如果 n 是奇数，大顶堆有 2n​+1 个数据，小顶堆有 2n​ 个数据
• 这时候需要从一个堆中不停地将堆顶元素移动到另一个堆，通过这样的调整，来让两个堆中的数据满足上面的约定
• 最终求中位数只需要返回大顶堆的堆顶元素就可以了，所以时间复杂度就是 O(1)。

99% 响应时间。如果有 100 个接口访问请求，每个接口请求的响应时间都不同，比如 55 毫秒、100 毫秒、23 毫秒等，我们把这 100 个接口的响应时间按照从小到大排列，排在第 99 的那个数据就是 99% 响应时间，也叫 99 百分位响应时间。

利用两个堆实现。一个大顶堆，一个小顶堆。假设当前总数据的个数是 n，大顶堆中保存 n*99% 个数据，小顶堆中保存 n*1% 个数据。大顶堆堆顶的数据就是我们要找的 99% 响应时间。方法类似前面求中位数

一个包含 10 亿个搜索关键词的日志文件，如何快速获取到 Top 10 最热门的搜索关键词呢？

多台机器可以采用map-reduce的解决方法

单机环境：

优先级队列是一种特殊的队列，优先级高的数据先出队，而不再像普通的队列那样，先进先出。堆就可以看作优先级队列，只是称谓不一样罢了。

求 Top K 问题又可以分为针对静态数据和针对动态数据，只需要利用一个堆，就可以做到非常高效率地查询 Top K 的数据。

求中位数实际上还有很多变形，比如求 99 百分位数据、90 百分位数据等，处理的思路都是一样的，即利用两个堆，一个大顶堆，一个小顶堆，随着数据的动态添加，动态调整两个堆中的数据，最后大顶堆的堆顶元素就是要求的数据。

有一个访问量非常大的新闻网站，我们希望将点击量排名 Top 10 的新闻摘要，滚动显示在网站首页 banner 上，并且每隔 1 小时更新一次。如果你是负责开发这个功能的工程师，你会如何来实现呢？