CategoryResourceRepost/极客时间专栏/数据结构与算法之美/基础篇/15 | 二分查找(上):如何用最省内存的方式实现快速查找功能?.md
louzefeng d3828a7aee mod
2024-07-11 05:50:32 +00:00

173 lines
14 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

<audio id="audio" title="15 | 二分查找(上):如何用最省内存的方式实现快速查找功能?" controls="" preload="none"><source id="mp3" src="https://static001.geekbang.org/resource/audio/e9/ba/e90ff904d68d6ce7194aaa5745f78cba.mp3"></audio>
今天我们讲一种针对有序数据集合的查找算法二分查找Binary Search算法也叫折半查找算法。二分查找的思想非常简单很多非计算机专业的同学很容易就能理解但是看似越简单的东西往往越难掌握好想要灵活应用就更加困难。
老规矩,我们还是来看一道思考题。
假设我们有1000万个整数数据每个数据占8个字节**如何设计数据结构和算法快速判断某个整数是否出现在这1000万数据中** 我们希望这个功能不要占用太多的内存空间最多不要超过100MB你会怎么做呢带着这个问题让我们进入今天的内容吧
## 无处不在的二分思想
二分查找是一种非常简单易懂的快速查找算法生活中到处可见。比如说我们现在来做一个猜字游戏。我随机写一个0到99之间的数字然后你来猜我写的是什么。猜的过程中你每猜一次我就会告诉你猜的大了还是小了直到猜中为止。你来想想如何快速猜中我写的数字呢
假设我写的数字是23你可以按照下面的步骤来试一试。如果猜测范围的数字有偶数个中间数有两个就选择较小的那个。
<img src="https://static001.geekbang.org/resource/image/9d/9b/9dadf04cdfa7b3724e0df91da7cacd9b.jpg" alt="">
7次就猜出来了是不是很快这个例子用的就是二分思想按照这个思想即便我让你猜的是0到999的数字最多也只要10次就能猜中。不信的话你可以试一试。
这是一个生活中的例子我们现在回到实际的开发场景中。假设有1000条订单数据已经按照订单金额从小到大排序每个订单金额都不同并且最小单位是元。我们现在想知道是否存在金额等于19元的订单。如果存在则返回订单数据如果不存在则返回null。
最简单的办法当然是从第一个订单开始一个一个遍历这1000个订单直到找到金额等于19元的订单为止。但这样查找会比较慢最坏情况下可能要遍历完这1000条记录才能找到。那用二分查找能不能更快速地解决呢
为了方便讲解我们假设只有10个订单订单金额分别是8111923273345556798。
还是利用二分思想每次都与区间的中间数据比对大小缩小查找区间的范围。为了更加直观我画了一张查找过程的图。其中low和high表示待查找区间的下标mid表示待查找区间的中间元素下标。
<img src="https://static001.geekbang.org/resource/image/8b/29/8bce81259abf0e9a06f115e22586b829.jpg" alt="">
看懂这两个例子,你现在对二分的思想应该掌握得妥妥的了。我这里稍微总结升华一下,**二分查找针对的是一个有序的数据集合查找思想有点类似分治思想。每次都通过跟区间的中间元素对比将待查找的区间缩小为之前的一半直到找到要查找的元素或者区间被缩小为0**。
## O(logn)惊人的查找速度
二分查找是一种非常高效的查找算法,高效到什么程度呢?我们来分析一下它的时间复杂度。
我们假设数据大小是n每次查找后数据都会缩小为原来的一半也就是会除以2。最坏情况下直到查找区间被缩小为空才停止。
<img src="https://static001.geekbang.org/resource/image/d1/94/d1e4fa1542e187184c87c545c2fe4794.jpg" alt="">
可以看出来这是一个等比数列。其中n/2<sup>k</sup>=1时k的值就是总共缩小的次数。而每一次缩小操作只涉及两个数据的大小比较所以经过了k次区间缩小操作时间复杂度就是O(k)。通过n/2<sup>k</sup>=1我们可以求得k=log<sub>2</sub>n所以时间复杂度就是O(logn)。
二分查找是我们目前为止遇到的第一个时间复杂度为O(logn)的算法。后面章节我们还会讲堆、二叉树的操作等等它们的时间复杂度也是O(logn)。我这里就再深入地讲讲O(logn)这种**对数时间复杂度**。这是一种极其高效的时间复杂度有的时候甚至比时间复杂度是常量级O(1)的算法还要高效。为什么这么说呢?
因为logn是一个非常“恐怖”的数量级即便n非常非常大对应的logn也很小。比如n等于2的32次方这个数很大了吧大约是42亿。也就是说如果我们在42亿个数据中用二分查找一个数据最多需要比较32次。
我们前面讲过用大O标记法表示时间复杂度的时候会省略掉常数、系数和低阶。对于常量级时间复杂度的算法来说O(1)有可能表示的是一个非常大的常量值比如O(1000)、O(10000)。所以常量级时间复杂度的算法有时候可能还没有O(logn)的算法执行效率高。
反过来,对数对应的就是指数。有一个非常著名的“阿基米德与国王下棋的故事”,你可以自行搜索一下,感受一下指数的“恐怖”。这也是为什么我们说,指数时间复杂度的算法在大规模数据面前是无效的。
## 二分查找的递归与非递归实现
实际上,简单的二分查找并不难写,注意我这里的“简单”二字。下一节,我们会讲到二分查找的变体问题,那才是真正烧脑的。今天,我们来看如何来写最简单的二分查找。
**最简单的情况**就是**有序数组中不存在重复元素**我们在其中用二分查找值等于给定值的数据。我用Java代码实现了一个最简单的二分查找算法。
```
public int bsearch(int[] a, int n, int value) {
int low = 0;
int high = n - 1;
while (low &lt;= high) {
int mid = (low + high) / 2;
if (a[mid] == value) {
return mid;
} else if (a[mid] &lt; value) {
low = mid + 1;
} else {
high = mid - 1;
}
}
return -1;
}
```
这个代码我稍微解释一下low、high、mid都是指数组下标其中low和high表示当前查找的区间范围初始low=0 high=n-1。mid表示[low, high]的中间位置。我们通过对比a[mid]与value的大小来更新接下来要查找的区间范围直到找到或者区间缩小为0就退出。如果你有一些编程基础看懂这些应该不成问题。现在我就着重强调一下**容易出错的3个地方**。
### 1.循环退出条件
注意是low&lt;=high而不是low&lt;high。
### 2.mid的取值
实际上mid=(low+high)/2这种写法是有问题的。因为如果low和high比较大的话两者之和就有可能会溢出。改进的方法是将mid的计算方式写成low+(high-low)/2。更进一步如果要将性能优化到极致的话我们可以将这里的除以2操作转化成位运算low+((high-low)&gt;&gt;1)。因为相比除法运算来说,计算机处理位运算要快得多。
### 3.low和high的更新
low=mid+1high=mid-1。注意这里的+1和-1如果直接写成low=mid或者high=mid就可能会发生死循环。比如当high=3low=3时如果a[3]不等于value就会导致一直循环不退出。
如果你留意我刚讲的这三点,我想一个简单的二分查找你已经可以实现了。**实际上,二分查找除了用循环来实现,还可以<strong><strong>用**</strong>递归来实现</strong>,过程也非常简单。
我用Java语言实现了一下这个过程正好你可以借此机会回顾一下写递归代码的技巧。
```
// 二分查找的递归实现
public int bsearch(int[] a, int n, int val) {
return bsearchInternally(a, 0, n - 1, val);
}
private int bsearchInternally(int[] a, int low, int high, int value) {
if (low &gt; high) return -1;
int mid = low + ((high - low) &gt;&gt; 1);
if (a[mid] == value) {
return mid;
} else if (a[mid] &lt; value) {
return bsearchInternally(a, mid+1, high, value);
} else {
return bsearchInternally(a, low, mid-1, value);
}
}
```
## 二分查找应用场景的局限性
前面我们分析过二分查找的时间复杂度是O(logn),查找数据的效率非常高。不过,并不是什么情况下都可以用二分查找,它的应用场景是有很大局限性的。那什么情况下适合用二分查找,什么情况下不适合呢?
**首先,二分查找依赖的是顺序表结构,简单点说就是数组。**
那二分查找能否依赖其他数据结构呢比如链表。答案是不可以的主要原因是二分查找算法需要按照下标随机访问元素。我们在数组和链表那两节讲过数组按照下标随机访问数据的时间复杂度是O(1)而链表随机访问的时间复杂度是O(n)。所以,如果数据使用链表存储,二分查找的时间复杂就会变得很高。
二分查找只能用在数据是通过顺序表来存储的数据结构上。如果你的数据是通过其他数据结构存储的,则无法应用二分查找。
**其次,二分查找针对的是有序数据。**
二分查找对这一点的要求比较苛刻数据必须是有序的。如果数据没有序我们需要先排序。前面章节里我们讲到排序的时间复杂度最低是O(nlogn)。所以,如果我们针对的是一组静态的数据,没有频繁地插入、删除,我们可以进行一次排序,多次二分查找。这样排序的成本可被均摊,二分查找的边际成本就会比较低。
但是,如果我们的数据集合有频繁的插入和删除操作,要想用二分查找,要么每次插入、删除操作之后保证数据仍然有序,要么在每次二分查找之前都先进行排序。针对这种动态数据集合,无论哪种方法,维护有序的成本都是很高的。
所以,二分查找只能用在插入、删除操作不频繁,一次排序多次查找的场景中。针对动态变化的数据集合,二分查找将不再适用。那针对动态数据集合,如何在其中快速查找某个数据呢?别急,等到二叉树那一节我会详细讲。
**再次,数据量太小不适合二分查找。**
如果要处理的数据量很小完全没有必要用二分查找顺序遍历就足够了。比如我们在一个大小为10的数组中查找一个元素不管用二分查找还是顺序遍历查找速度都差不多。只有数据量比较大的时候二分查找的优势才会比较明显。
不过这里有一个例外。如果数据之间的比较操作非常耗时不管数据量大小我都推荐使用二分查找。比如数组中存储的都是长度超过300的字符串如此长的两个字符串之间比对大小就会非常耗时。我们需要尽可能地减少比较次数而比较次数的减少会大大提高性能这个时候二分查找就比顺序遍历更有优势。
**最后,数据量太大也不适合二分查找。**
二分查找的底层需要依赖数组这种数据结构而数组为了支持随机访问的特性要求内存空间连续对内存的要求比较苛刻。比如我们有1GB大小的数据如果希望用数组来存储那就需要1GB的连续内存空间。
注意这里的“连续”二字也就是说即便有2GB的内存空间剩余但是如果这剩余的2GB内存空间都是零散的没有连续的1GB大小的内存空间那照样无法申请一个1GB大小的数组。而我们的二分查找是作用在数组这种数据结构之上的所以太大的数据用数组存储就比较吃力了也就不能用二分查找了。
## 解答开篇
二分查找的理论知识你应该已经掌握了。我们来看下开篇的思考题如何在1000万个整数中快速查找某个整数
这个问题并不难。我们的内存限制是100MB每个数据大小是8字节最简单的办法就是将数据存储在数组中内存占用差不多是80MB符合内存的限制。借助今天讲的内容我们可以先对这1000万数据从小到大排序然后再利用二分查找算法就可以快速地查找想要的数据了。
看起来这个问题并不难,很轻松就能解决。实际上,它暗藏了“玄机”。如果你对数据结构和算法有一定了解,知道散列表、二叉树这些支持快速查找的动态数据结构。你可能会觉得,用散列表和二叉树也可以解决这个问题。实际上是不行的。
虽然大部分情况下用二分查找可以解决的问题用散列表、二叉树都可以解决。但是我们后面会讲不管是散列表还是二叉树都会需要比较多的额外的内存空间。如果用散列表或者二叉树来存储这1000万的数据用100MB的内存肯定是存不下的。而二分查找底层依赖的是数组除了数据本身之外不需要额外存储其他信息是最省内存空间的存储方式所以刚好能在限定的内存大小下解决这个问题。
## 内容小结
今天我们学习了一种针对有序数据的高效查找算法二分查找它的时间复杂度是O(logn)。
二分查找的核心思想理解起来非常简单有点类似分治思想。即每次都通过跟区间中的中间元素对比将待查找的区间缩小为一半直到找到要查找的元素或者区间被缩小为0。但是二分查找的代码实现比较容易写错。你需要着重掌握它的三个容易出错的地方循环退出条件、mid的取值low和high的更新。
二分查找虽然性能比较优秀,但应用场景也比较有限。底层必须依赖数组,并且还要求数据是有序的。对于较小规模的数据查找,我们直接使用顺序遍历就可以了,二分查找的优势并不明显。二分查找更适合处理静态数据,也就是没有频繁的数据插入、删除操作。
## 课后思考
<li>
如何编程实现“求一个数的平方根”要求精确到小数点后6位。
</li>
<li>
我刚才说了,如果数据使用链表存储,二分查找的时间复杂就会变得很高,那查找的时间复杂度究竟是多少呢?如果你自己推导一下,你就会深刻地认识到,为何我们会选择用数组而不是链表来实现二分查找了。
</li>
欢迎留言和我分享,我会第一时间给你反馈。