This commit is contained in:
krahets
2023-07-24 03:03:58 +08:00
parent a86a371780
commit 3e2ab6a857
19 changed files with 379 additions and 456 deletions
@@ -3436,15 +3436,15 @@
<h1 id="121">12.1. &nbsp; 分治算法<a class="headerlink" href="#121" title="Permanent link">&para;</a></h1>
<p>「分治 Divide and Conquer」,全称分而治之,是一种非常重要的算法策略。分治通常基于递归实现,包括“分”和“治”两部分,主要步骤如下</p>
<p>「分治 Divide and Conquer」,全称分而治之,是一种非常重要且常见的算法策略。分治通常基于递归实现,包括“分”和“治”两</p>
<ol>
<li><strong>分(划分阶段)</strong>:递归地将原问题分解为两个或多个子问题,直至到达最小子问题时终止;</li>
<li><strong>治(合并阶段)</strong>:从已知解的最小子问题开始,从底至顶地将子问题的解进行合并,从而构建出原问题的解;</li>
</ol>
<p>之前学过的「归并排序」是分治策略的典型应用之一,对于该算法</p>
<p>已介绍过的「归并排序」是分治策略的典型应用之一,它的分治策略为</p>
<ol>
<li><strong></strong>:递归地将原数组(原问题)划分为两个子数组(子问题),直到子数组只剩一个元素(最小子问题)。</li>
<li><strong></strong>:从底至顶地将有序的子数组进行合并,从而得到有序的原数组。</li>
<li><strong></strong>:从底至顶地将有序的子数组(子问题的解)进行合并,从而得到有序的原数组(原问题的解)</li>
</ol>
<p><img alt="归并排序的分治策略" src="../divide_and_conquer.assets/divide_and_conquer_merge_sort.png" /></p>
<p align="center"> Fig. 归并排序的分治策略 </p>
@@ -3454,21 +3454,21 @@
<ol>
<li><strong>问题可以被分解</strong>:原问题可以被分解成规模更小、类似的子问题,以及能够以相同方式递归地进行划分。</li>
<li><strong>子问题是独立的</strong>:子问题之间是没有重叠的,互相没有依赖,可以被独立解决。</li>
<li><strong>子问题的解可以被合并</strong>:原问题的解可以通过合并子问题的解得来。</li>
<li><strong>子问题的解可以被合并</strong>:原问题的解通过合并子问题的解得来。</li>
</ol>
<p>归并排序显然是满足以上三条判断依据</p>
<p>显然归并排序满足以上三条判断依据:</p>
<ol>
<li>递归地将数组(原问题)划分为两个子数组(子问题),当子数组只有一个元素时天然有序</li>
<li>每个子数组都可以独立地进行排序,因此子问题是独立的</li>
<li>递归地将数组(原问题)划分为两个子数组(子问题);</li>
<li>每个子数组都可以独立地进行排序(子问题可以独立进行求解)</li>
<li>两个有序子数组(子问题的解)可以被合并为一个有序数组(原问题的解);</li>
</ol>
<h2 id="1212">12.1.2. &nbsp; 通过分治提升效率<a class="headerlink" href="#1212" title="Permanent link">&para;</a></h2>
<p>分治不仅可以有效地解决算法问题,<strong>往往还可以提升算法效率</strong>。在排序算法中,归并排序相较于选择、冒泡、插入排序更快,就是因为应用了分治策略。</p>
<p>那么,我们不禁发问:<strong>为什么分治可以提升算法效率,其底层逻辑是什么</strong>?换句话说,将大问题分解为多个子问题、解决子问题、将子问题的解合并为原问题的解,这三步为什么比直接解决原问题效率更高?这个问题可以从操作数量和并行计算两方面来讨论。</p>
<p>分治不仅可以有效地解决算法问题,<strong>往往还可以带来算法效率的提升</strong>。在排序算法中,快速排序、归并排序、堆排序相较于选择、冒泡、插入排序更快,就是因为它们应用了分治策略。</p>
<p>那么,我们不禁发问:<strong>为什么分治可以提升算法效率,其底层逻辑是什么</strong>?换句话说,将大问题分解为多个子问题、解决子问题、将子问题的解合并为原问题的解,这几步的效率为什么比直接解决原问题效率更高?这个问题可以从操作数量和并行计算两方面来讨论。</p>
<h3 id="_1">操作数量优化<a class="headerlink" href="#_1" title="Permanent link">&para;</a></h3>
<p>以「冒泡排序」为例,其处理一个长度为 <span class="arithmatex">\(n\)</span> 的数组需要 <span class="arithmatex">\(O(n^2)\)</span> 时间。假设我们把数组从中点分为两个子数组,则划分需要 <span class="arithmatex">\(O(n)\)</span> 时间,排序每个子数组需要 <span class="arithmatex">\(O((n/2)^2)\)</span> 时间,合并两个子数组需要 <span class="arithmatex">\(O(n)\)</span> 时间,总体时间复杂度为:</p>
<p>以「冒泡排序」为例,其处理一个长度为 <span class="arithmatex">\(n\)</span> 的数组需要 <span class="arithmatex">\(O(n^2)\)</span> 时间。假设我们把数组从中点分为两个子数组,则划分需要 <span class="arithmatex">\(O(n)\)</span> 时间,排序每个子数组需要 <span class="arithmatex">\(O((\frac{n}{2})^2)\)</span> 时间,合并两个子数组需要 <span class="arithmatex">\(O(n)\)</span> 时间,总体时间复杂度为:</p>
<div class="arithmatex">\[
O(n + (n/2)^2 \times 2 + n) = O(n^2 / 2 + 2n)
O(n + (\frac{n}{2})^2 \times 2 + n) = O(\frac{n^2}{2} + 2n)
\]</div>
<p><img alt="划分数组前后的冒泡排序" src="../divide_and_conquer.assets/divide_and_conquer_bubble_sort.png" /></p>
<p align="center"> Fig. 划分数组前后的冒泡排序 </p>
@@ -3481,13 +3481,13 @@ n^2 - \frac{n^2}{2} - 2n &amp; &gt; 0 \newline
n(n - 4) &amp; &gt; 0
\end{aligned}
\]</div>
<p><strong>这意味着当 <span class="arithmatex">\(n &gt; 4\)</span> 时,划分后的操作数量更少,排序效率可能更高</strong>当然,划分后的时间复杂度仍然是平方阶 <span class="arithmatex">\(O(n^2)\)</span> 复杂度并没有降低,只是其中的常数项变小了。</p>
<p>那么<strong>如果我们把子数组不断地再从中点划分为两个子数组</strong>,直至子数组只剩一个元素时停止划分呢?这就达到了「归并排序」的情况,时间复杂度为 <span class="arithmatex">\(O(n \log n)\)</span></p>
<p>再思考,<strong>如果我们多设置几个划分点</strong>,将原数组平均划分为 <span class="arithmatex">\(k\)</span> 个子数组呢?这种情况与「桶排序」非常类似,它非常适合排序海量数据,理论上时间复杂度可以达到 <span class="arithmatex">\(O(n + k)\)</span></p>
<p><strong>这意味着当 <span class="arithmatex">\(n &gt; 4\)</span> 时,划分后的操作数量更少,排序效率应该更高</strong>请注意,划分后的时间复杂度仍然是平方阶 <span class="arithmatex">\(O(n^2)\)</span> 只是复杂度中的常数项变小了。</p>
<p>进一步想<strong>如果我们把子数组不断地再从中点划分为两个子数组</strong>,直至子数组只剩一个元素时停止划分呢?这种思路实际上就是「归并排序」,时间复杂度为 <span class="arithmatex">\(O(n \log n)\)</span></p>
<p>再思考,<strong>如果我们多设置几个划分点</strong>,将原数组平均划分为 <span class="arithmatex">\(k\)</span> 个子数组呢?这种情况与「桶排序」非常类似,它非常适合排序海量数据,理论上时间复杂度可以达到 <span class="arithmatex">\(O(n + k)\)</span></p>
<h3 id="_2">并行计算优化<a class="headerlink" href="#_2" title="Permanent link">&para;</a></h3>
<p>我们知道,分治生成的子问题是相互独立的,<strong>因此通常可以并行解决</strong>。也就是说,分治不仅可以降低算法的时间复杂度,<strong>还有利于操作系统的并行优化</strong></p>
<p>并行优化在多核或多处理器的环境中尤其有效,因为系统可以同时处理多个子问题,更加充分地利用计算资源,从而显著减少总体的运行时间。</p>
<p>如在桶排序中,我们将海量的数据平均分配到各个桶中,则可所有桶的排序任务分散到各个计算单元,完成后再进行结果合并。</p>
<p>如在桶排序中,我们将海量的数据平均分配到各个桶中,则可所有桶的排序任务分散到各个计算单元,完成后再进行结果合并。</p>
<p><img alt="桶排序的并行计算" src="../divide_and_conquer.assets/divide_and_conquer_parallel_computing.png" /></p>
<p align="center"> Fig. 桶排序的并行计算 </p>
@@ -3500,7 +3500,7 @@ n(n - 4) &amp; &gt; 0
<li><strong>汉诺塔问题</strong>:汉诺塔问题可以视为典型的分治策略,通过递归解决。</li>
<li><strong>求解逆序对</strong>:在一个序列中,如果前面的数字大于后面的数字,那么这两个数字构成一个逆序对。求解逆序对问题可以通过分治的思想,借助归并排序进行求解。</li>
</ul>
<p>另一方面,<strong>分治在算法和数据结构的设计中应用非常广泛</strong>,举几个已经学过的例子:</p>
<p>另一方面,分治在算法和数据结构的设计中应用非常广泛,举几个已经学过的例子:</p>
<ul>
<li><strong>二分查找</strong>:二分查找是将有序数组从中点索引分为两部分,然后根据目标值与中间元素值比较结果,决定排除哪一半区间,然后在剩余区间执行相同的二分操作。</li>
<li><strong>归并排序</strong>:文章开头已介绍,不再赘述。</li>