CategoryResourceRepost/极客时间专栏/数据结构与算法之美/基础篇/30 | 图的表示:如何存储微博、微信等社交网络中的好友关系?.md
louzefeng d3828a7aee mod
2024-07-11 05:50:32 +00:00

140 lines
14 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

<audio id="audio" title="30 | 图的表示:如何存储微博、微信等社交网络中的好友关系?" controls="" preload="none"><source id="mp3" src="https://static001.geekbang.org/resource/audio/e4/1b/e4fb6a1b4ee1af7cdbfc50d73e40481b.mp3"></audio>
微博、微信、LinkedIn这些社交软件我想你肯定都玩过吧。在微博中两个人可以互相关注在微信中两个人可以互加好友。那你知道**如何存储微博、微信等这些社交网络的好友关系吗?**
这就要用到我们今天要讲的这种数据结构:图。实际上,涉及图的算法有很多,也非常复杂,比如图的搜索、最短路径、最小生成树、二分图等等。我们今天聚焦在图存储这一方面,后面会分好几节来依次讲解图相关的算法。
## 如何理解“图”?
我们前面讲过了树这种非线性表数据结构,今天我们要讲另一种非线性表数据结构,**图**Graph。和树比起来这是一种更加复杂的非线性表结构。
我们知道,树中的元素我们称为节点,图中的元素我们就叫做**顶点**vertex。从我画的图中可以看出来图中的一个顶点可以与任意其他顶点建立连接关系。我们把这种建立的关系叫做**边**edge
<img src="https://static001.geekbang.org/resource/image/df/af/df85dc345a9726cab0338e68982fd1af.jpg" alt="">
我们生活中就有很多符合图这种结构的例子。比如,开篇问题中讲到的社交网络,就是一个非常典型的图结构。
我们就拿微信举例子吧。我们可以把每个用户看作一个顶点。如果两个用户之间互加好友,那就在两者之间建立一条边。所以,整个微信的好友关系就可以用一张图来表示。其中,每个用户有多少个好友,对应到图中,就叫做顶点的**度**degree就是跟顶点相连接的边的条数。
实际上微博的社交关系跟微信还有点不一样或者说更加复杂一点。微博允许单向关注也就是说用户A关注了用户B但用户B可以不关注用户A。那我们如何用图来表示这种单向的社交关系呢
我们可以把刚刚讲的图结构稍微改造一下,引入边的“方向”的概念。
如果用户A关注了用户B我们就在图中画一条从A到B的带箭头的边来表示边的方向。如果用户A和用户B互相关注了那我们就画一条从A指向B的边再画一条从B指向A的边。我们把这种边有方向的图叫做“有向图”。以此类推我们把边没有方向的图就叫做“无向图”。
<img src="https://static001.geekbang.org/resource/image/c3/96/c31759a37d8a8719841f347bd479b796.jpg" alt="">
我们刚刚讲过,无向图中有“度”这个概念,表示一个顶点有多少条边。在有向图中,我们把度分为**入度**In-degree和**出度**Out-degree
顶点的入度,表示有多少条边指向这个顶点;顶点的出度,表示有多少条边是以这个顶点为起点指向其他顶点。对应到微博的例子,入度就表示有多少粉丝,出度就表示关注了多少人。
前面讲到了微信、微博、无向图、有向图现在我们再来看另一种社交软件QQ。
QQ中的社交关系要更复杂一点。不知道你有没有留意过QQ亲密度这样一个功能。QQ不仅记录了用户之间的好友关系还记录了两个用户之间的亲密度如果两个用户经常往来那亲密度就比较高如果不经常往来亲密度就比较低。如何在图中记录这种好友关系的亲密度呢
这里就要用到另一种图,**带权图**weighted graph。在带权图中每条边都有一个权重weight我们可以通过这个权重来表示QQ好友间的亲密度。
<img src="https://static001.geekbang.org/resource/image/55/e8/55d7e4806dc47950ae098d959b03ace8.jpg" alt="">
关于图的概念比较多,我今天也只是介绍了几个常用的,理解起来都不复杂,不知道你都掌握了没有?掌握了图的概念之后,我们再来看下,如何在内存中存储图这种数据结构呢?
## 邻接矩阵存储方法
图最直观的一种存储方法就是,**邻接矩阵**Adjacency Matrix
邻接矩阵的底层依赖一个二维数组。对于无向图来说如果顶点i与顶点j之间有边我们就将A[i][j]和A[j][i]标记为1对于有向图来说如果顶点i到顶点j之间有一条箭头从顶点i指向顶点j的边那我们就将A[i][j]标记为1。同理如果有一条箭头从顶点j指向顶点i的边我们就将A[j][i]标记为1。对于带权图数组中就存储相应的权重。
<img src="https://static001.geekbang.org/resource/image/62/d2/625e7493b5470e774b5aa91fb4fdb9d2.jpg" alt="">
用邻接矩阵来表示一个图,虽然简单、直观,但是比较浪费存储空间。为什么这么说呢?
对于无向图来说如果A[i][j]等于1那A[j][i]也肯定等于1。实际上我们只需要存储一个就可以了。也就是说无向图的二维数组中如果我们将其用对角线划分为上下两部分那我们只需要利用上面或者下面这样一半的空间就足够了另外一半白白浪费掉了。
还有,如果我们存储的是**稀疏图**Sparse Matrix也就是说顶点很多但每个顶点的边并不多那邻接矩阵的存储方法就更加浪费空间了。比如微信有好几亿的用户对应到图上就是好几亿的顶点。但是每个用户的好友并不会很多一般也就三五百个而已。如果我们用邻接矩阵来存储那绝大部分的存储空间都被浪费了。
但这也并不是说,邻接矩阵的存储方法就完全没有优点。首先,邻接矩阵的存储方式简单、直接,因为基于数组,所以在获取两个顶点的关系时,就非常高效。其次,用邻接矩阵存储图的另外一个好处是方便计算。这是因为,用邻接矩阵的方式存储图,可以将很多图的运算转换成矩阵之间的运算。比如求解最短路径问题时会提到一个[Floyd-Warshall算法](https://zh.wikipedia.org/wiki/Floyd-Warshall%E7%AE%97%E6%B3%95),就是利用矩阵循环相乘若干次得到结果。
## 邻接表存储方法
针对上面邻接矩阵比较浪费内存空间的问题,我们来看另外一种图的存储方法,**邻接表**Adjacency List
我画了一张邻接表的图,你可以先看下。乍一看,邻接表是不是有点像散列表?每个顶点对应一条链表,链表中存储的是与这个顶点相连接的其他顶点。另外我需要说明一下,图中画的是一个有向图的邻接表存储方式,每个顶点对应的链表里面,存储的是指向的顶点。对于无向图来说,也是类似的,不过,每个顶点的链表中存储的,是跟这个顶点有边相连的顶点,你可以自己画下。
<img src="https://static001.geekbang.org/resource/image/03/94/039bc254b97bd11670cdc4bf2a8e1394.jpg" alt="">
还记得我们之前讲过的时间、空间复杂度互换的设计思想吗?邻接矩阵存储起来比较浪费空间,但是使用起来比较节省时间。相反,邻接表存储起来比较节省空间,但是使用起来就比较耗时间。
就像图中的例子如果我们要确定是否存在一条从顶点2到顶点4的边那我们就要遍历顶点2对应的那条链表看链表中是否存在顶点4。而且我们前面也讲过链表的存储方式对缓存不友好。所以比起邻接矩阵的存储方式在邻接表中查询两个顶点之间的关系就没那么高效了。
在散列表那几节里,我讲到,在基于链表法解决冲突的散列表中,如果链过长,为了提高查找效率,我们可以将链表换成其他更加高效的数据结构,比如平衡二叉查找树等。我们刚刚也讲到,邻接表长得很像散列。所以,我们也可以将邻接表同散列表一样进行“改进升级”。
我们可以将邻接表中的链表改成平衡二叉查找树。实际开发中,我们可以选择用红黑树。这样,我们就可以更加快速地查找两个顶点之间是否存在边了。当然,这里的二叉查找树可以换成其他动态数据结构,比如跳表、散列表等。除此之外,我们还可以将链表改成有序动态数组,可以通过二分查找的方法来快速定位两个顶点之间否是存在边。
## 解答开篇
有了前面讲的理论知识,现在我们回过头来看开篇的问题,如何存储微博、微信等社交网络中的好友关系?
前面我们分析了,微博、微信是两种“图”,前者是有向图,后者是无向图。在这个问题上,两者的解决思路差不多,所以我只拿微博来讲解。
数据结构是为算法服务的,所以具体选择哪种存储方法,与期望支持的操作有关系。针对微博用户关系,假设我们需要支持下面这样几个操作:
<li>
判断用户A是否关注了用户B
</li>
<li>
判断用户A是否是用户B的粉丝
</li>
<li>
用户A关注用户B
</li>
<li>
用户A取消关注用户B
</li>
<li>
根据用户名称的首字母排序,分页获取用户的粉丝列表;
</li>
<li>
根据用户名称的首字母排序,分页获取用户的关注列表。
</li>
关于如何存储一个图,前面我们讲到两种主要的存储方法,邻接矩阵和邻接表。因为社交网络是一张稀疏图,使用邻接矩阵存储比较浪费存储空间。所以,这里我们采用邻接表来存储。
不过,用一个邻接表来存储这种有向图是不够的。我们去查找某个用户关注了哪些用户非常容易,但是如果要想知道某个用户都被哪些用户关注了,也就是用户的粉丝列表,是非常困难的。
基于此,我们需要一个逆邻接表。邻接表中存储了用户的关注关系,逆邻接表中存储的是用户的被关注关系。对应到图上,邻接表中,每个顶点的链表中,存储的就是这个顶点指向的顶点,逆邻接表中,每个顶点的链表中,存储的是指向这个顶点的顶点。如果要查找某个用户关注了哪些用户,我们可以在邻接表中查找;如果要查找某个用户被哪些用户关注了,我们从逆邻接表中查找。
<img src="https://static001.geekbang.org/resource/image/50/a1/501440bcffdcf4e6f9a5ca1117e990a1.jpg" alt="">
基础的邻接表不适合快速判断两个用户之间是否是关注与被关注的关系,所以我们选择改进版本,将邻接表中的链表改为支持快速查找的动态数据结构。选择哪种动态数据结构呢?红黑树、跳表、有序动态数组还是散列表呢?
因为我们需要按照用户名称的首字母排序分页来获取用户的粉丝列表或者关注列表用跳表这种结构再合适不过了。这是因为跳表插入、删除、查找都非常高效时间复杂度是O(logn)空间复杂度上稍高是O(n)。最重要的一点,跳表中存储的数据本来就是有序的了,分页获取粉丝列表或关注列表,就非常高效。
如果对于小规模的数据,比如社交网络中只有几万、几十万个用户,我们可以将整个社交关系存储在内存中,上面的解决思路是没有问题的。但是如果像微博那样有上亿的用户,数据规模太大,我们就无法全部存储在内存中了。这个时候该怎么办呢?
我们可以通过哈希算法等数据分片方式将邻接表存储在不同的机器上。你可以看下面这幅图我们在机器1上存储顶点123的邻接表在机器2上存储顶点45的邻接表。逆邻接表的处理方式也一样。当要查询顶点与顶点关系的时候我们就利用同样的哈希算法先定位顶点所在的机器然后再在相应的机器上查找。
<img src="https://static001.geekbang.org/resource/image/08/2f/08e4f4330a1d88e9fec94b0f2d1bbe2f.jpg" alt="">
除此之外,我们还有另外一种解决思路,就是利用外部存储(比如硬盘),因为外部存储的存储空间要比内存会宽裕很多。数据库是我们经常用来持久化存储关系数据的,所以我这里介绍一种数据库的存储方式。
我用下面这张表来存储这样一个图。为了高效地支持前面定义的操作,我们可以在表上建立多个索引,比如第一列、第二列,给这两列都建立索引。
<img src="https://static001.geekbang.org/resource/image/73/8f/7339595c631660dc87559bec2ddf928f.jpg" alt="">
## 内容小结
今天我们学习了图这种非线性表数据结构,关于图,你需要理解这样几个概念:无向图、有向图、带权图、顶点、边、度、入度、出度。除此之外,我们还学习了图的两个主要的存储方式:邻接矩阵和邻接表。
邻接矩阵存储方法的缺点是比较浪费空间,但是优点是查询效率高,而且方便矩阵运算。邻接表存储方法中每个顶点都对应一个链表,存储与其相连接的其他顶点。尽管邻接表的存储方式比较节省存储空间,但链表不方便查找,所以查询效率没有邻接矩阵存储方式高。针对这个问题,邻接表还有改进升级版,即将链表换成更加高效的动态数据结构,比如平衡二叉查找树、跳表、散列表等。
## 课后思考
<li>
关于开篇思考题,我们只讲了微博这种有向图的解决思路,那像微信这种无向图,应该怎么存储呢?你可以照着我的思路,自己做一下练习。
</li>
<li>
除了我今天举的社交网络可以用图来表示之外符合图这种结构特点的例子还有很多比如知识图谱Knowledge Graph。关于图这种数据结构你还能想到其他生活或者工作中的例子吗
</li>
欢迎留言和我分享,我会第一时间给你反馈。