This commit is contained in:
by931
2022-09-06 22:30:37 +08:00
parent 66970f3e38
commit 3d6528675a
796 changed files with 3382 additions and 3382 deletions

View File

@@ -223,7 +223,7 @@ function hide_canvas() {
<p>本节课以 Netty 4.1.42 为基准版本,我将分别从 Netty <strong>整体结构</strong><strong>逻辑架构</strong><strong>源码结构</strong>三个方面对其进行介绍。</p>
<h3>Netty 整体结构</h3>
<p>Netty 是一个设计非常用心的<strong>网络基础组件</strong>Netty 官网给出了有关 Netty 的整体功能模块结构,却没有其他更多的解释。从图中,我们可以清晰地看出 Netty 结构一共分为三个模块:</p>
<p><img src="assets/CgqCHl-NO7eATPMMAAH8t8KvehQ985.png" alt="Drawing 0.png" /></p>
<p><img src="assets/CgqCHl-NO7eATPMMAAH8t8KvehQ985.png" alt="png" /></p>
<h4>1. Core 核心层</h4>
<p>Core 核心层是 Netty 最精华的内容,它提供了底层网络通信的通用抽象和实现,包括可扩展的事件模型、通用的通信 API、支持零拷贝的 ByteBuf 等。</p>
<h4>2. Protocol Support 协议支持层</h4>
@@ -234,7 +234,7 @@ function hide_canvas() {
<p>现在,我们对 Netty 的整体结构已经有了一个大概的印象,下面我们一起看下 Netty 的逻辑架构,学习下 Netty 是如何做功能分解的。</p>
<h3>Netty 逻辑架构</h3>
<p>下图是 Netty 的逻辑处理架构。Netty 的逻辑处理架构为典型网络分层架构设计,共分为网络通信层、事件调度层、服务编排层,每一层各司其职。图中包含了 Netty 每一层所用到的核心组件。我将为你介绍 Netty 的每个逻辑分层中的各个核心组件以及组件之间是如何协调运作的。</p>
<p><img src="assets/Ciqc1F-NO9KAUOtaAAE1S5uRlDE275.png" alt="Drawing 1.png" /></p>
<p><img src="assets/Ciqc1F-NO9KAUOtaAAE1S5uRlDE275.png" alt="png" /></p>
<h4>网络通信层</h4>
<p>网络通信层的职责是执行网络 I/O 的操作。它支持多种网络协议和 I/O 模型的连接操作。当网络数据读取到内核缓冲区后,会触发各种网络事件,这些网络事件会分发给事件调度层进行处理。</p>
<p>网络通信层的<strong>核心组件</strong>包含<strong>BootStrap、ServerBootStrap、Channel</strong>三个组件。</p>
@@ -243,7 +243,7 @@ function hide_canvas() {
</ul>
<p>Bootstrap 是“引导”的意思,它主要负责整个 Netty 程序的启动、初始化、服务器连接等过程,它相当于一条主线,串联了 Netty 的其他核心组件。</p>
<p>如下图所示Netty 中的引导器共分为两种类型:一个为<strong>用于客户端引导的 Bootstrap</strong>,另一个为<strong>用于服务端引导的 ServerBootStrap</strong>,它们都继承自抽象类 AbstractBootstrap。</p>
<p><img src="assets/Ciqc1F-NO9yAeCsoAAHf2YCqjsQ005.png" alt="Drawing 2.png" /></p>
<p><img src="assets/Ciqc1F-NO9yAeCsoAAHf2YCqjsQ005.png" alt="png" /></p>
<p>Bootstrap 和 ServerBootStrap 十分相似,两者非常重要的区别在于 Bootstrap 可用于连接远端服务器,只绑定一个 EventLoopGroup。而 ServerBootStrap 则用于服务端启动绑定本地端口,会绑定两个 EventLoopGroup这两个 EventLoopGroup 通常称为 Boss 和 Worker。</p>
<p>ServerBootStrap 中的 Boss 和 Worker 是什么角色呢?它们之间又是什么关系?这里的 Boss 和 Worker 可以理解为“老板”和“员工”的关系。每个服务器中都会有一个 Boss也会有一群做事情的 Worker。Boss 会不停地接收新的连接,然后将连接分配给一个个 Worker 处理连接。</p>
<p>有了 Bootstrap 组件,我们可以更加方便地配置和启动 Netty 应用程序,它是整个 Netty 的入口,串接了 Netty 所有核心组件的初始化工作。</p>
@@ -252,7 +252,7 @@ function hide_canvas() {
</ul>
<p>Channel 的字面意思是“通道”它是网络通信的载体。Channel提供了基本的 API 用于网络 I/O 操作,如 register、bind、connect、read、write、flush 等。Netty 自己实现的 Channel 是以 JDK NIO Channel 为基础的,相比较于 JDK NIONetty 的 Channel 提供了更高层次的抽象,同时屏蔽了底层 Socket 的复杂性,赋予了 Channel 更加强大的功能,你在使用 Netty 时基本不需要再与 Java Socket 类直接打交道。</p>
<p>下图是 Channel 家族的图谱。AbstractChannel 是整个家族的基类,派生出 AbstractNioChannel、AbstractOioChannel、AbstractEpollChannel 等子类,每一种都代表了不同的 I/O 模型和协议类型。常用的 Channel 实现类有:</p>
<p><img src="assets/Ciqc1F-NO_CABg8ZAAW1jtSV2JU753.png" alt="Drawing 3.png" /></p>
<p><img src="assets/Ciqc1F-NO_CABg8ZAAW1jtSV2JU753.png" alt="png" /></p>
<ul>
<li>NioServerSocketChannel 异步 TCP 服务端。</li>
<li>NioSocketChannel 异步 TCP 客户端。</li>
@@ -304,7 +304,7 @@ function hide_canvas() {
<li><strong>EventLoopGroup &amp; EventLoop</strong></li>
</ul>
<p>EventLoopGroup 本质是一个线程池,主要负责接收 I/O 请求,并分配线程执行处理请求。在下图中,我为你讲述了 EventLoopGroups、EventLoop 与 Channel 的关系。</p>
<p><img src="assets/CgqCHl-NPG6APzDfAAbX5ACAFh8001.png" alt="Drawing 4.png" /></p>
<p><img src="assets/CgqCHl-NPG6APzDfAAbX5ACAFh8001.png" alt="png" /></p>
<p>从上图中,我们可以总结出 EventLoopGroup、EventLoop、Channel 的几点关系。</p>
<ol>
<li>一个 EventLoopGroup 往往包含一个或者多个 EventLoop。EventLoop 用于处理 Channel 生命周期内的所有 I/O 事件,如 accept、connect、read、write 等 I/O 事件。</li>
@@ -312,7 +312,7 @@ function hide_canvas() {
<li>每新建一个 ChannelEventLoopGroup 会选择一个 EventLoop 与其绑定。该 Channel 在生命周期内都可以对 EventLoop 进行多次绑定和解绑。</li>
</ol>
<p>下图是 EventLoopGroup 的家族图谱。可以看出 Netty 提供了 EventLoopGroup 的多种实现,而且 EventLoop 则是 EventLoopGroup 的子接口,所以也可以把 EventLoop 理解为 EventLoopGroup但是它只包含一个 EventLoop 。</p>
<p><img src="assets/Ciqc1F-NPHWAH8ExAAkQr2tQ9xM350.png" alt="Drawing 5.png" /></p>
<p><img src="assets/Ciqc1F-NPHWAH8ExAAkQr2tQ9xM350.png" alt="png" /></p>
<p>EventLoopGroup 的实现类是 NioEventLoopGroupNioEventLoopGroup 也是 Netty 中最被推荐使用的线程模型。NioEventLoopGroup 继承于 MultithreadEventLoopGroup是基于 NIO 模型开发的,可以把 NioEventLoopGroup 理解为一个线程池,每个线程负责处理多个 Channel而同一个 Channel 只会对应一个线程。</p>
<p>EventLoopGroup 是 Netty 的核心处理引擎,那么 EventLoopGroup 和之前课程所提到的 Reactor 线程模型到底是什么关系呢?其实 EventLoopGroup 是 Netty Reactor 线程模型的具体实现方式Netty 通过创建不同的 EventLoopGroup 参数配置,就可以支持 Reactor 的三种线程模型:</p>
<ol>
@@ -330,21 +330,21 @@ function hide_canvas() {
<p>ChannelPipeline 是 Netty 的核心编排组件,<strong>负责组装各种 ChannelHandler</strong>,实际数据的编解码以及加工处理操作都是由 ChannelHandler 完成的。ChannelPipeline 可以理解为<strong>ChannelHandler 的实例列表</strong>——内部通过双向链表将不同的 ChannelHandler 链接在一起。当 I/O 读写事件触发时ChannelPipeline 会依次调用 ChannelHandler 列表对 Channel 的数据进行拦截和处理。</p>
<p>ChannelPipeline 是线程安全的,因为每一个新的 Channel 都会对应绑定一个新的 ChannelPipeline。一个 ChannelPipeline 关联一个 EventLoop一个 EventLoop 仅会绑定一个线程。</p>
<p>ChannelPipeline、ChannelHandler 都是高度可定制的组件。开发者可以通过这两个核心组件掌握对 Channel 数据操作的控制权。下面我们看一下 ChannelPipeline 的结构图:</p>
<p><img src="assets/CgqCHl-NPJ-AHaUvAA7mpp9SCqY582.png" alt="Drawing 6.png" /></p>
<p><img src="assets/CgqCHl-NPJ-AHaUvAA7mpp9SCqY582.png" alt="png" /></p>
<p>从上图可以看出ChannelPipeline 中包含入站 ChannelInboundHandler 和出站 ChannelOutboundHandler 两种处理器,我们结合客户端和服务端的数据收发流程来理解 Netty 的这两个概念。</p>
<p><img src="assets/CgqCHl-NPKaASxvgAAFHMPYQFhM940.png" alt="Drawing 7.png" /></p>
<p><img src="assets/CgqCHl-NPKaASxvgAAFHMPYQFhM940.png" alt="png" /></p>
<p>客户端和服务端都有各自的 ChannelPipeline。以客户端为例数据从客户端发向服务端该过程称为<strong>出站</strong>,反之则称为<strong>入站</strong>。数据入站会由一系列 InBoundHandler 处理,然后再以相反方向的 OutBoundHandler 处理后完成出站。我们经常使用的编码 Encoder 是出站操作,解码 Decoder 是入站操作。服务端接收到客户端数据后,需要先经过 Decoder 入站处理后,再通过 Encoder 出站通知客户端。所以客户端和服务端一次完整的请求应答过程可以分为三个步骤:客户端出站(请求数据)、服务端入站(解析数据并执行业务逻辑)、服务端出站(响应结果)。</p>
<ul>
<li><strong>ChannelHandler &amp; ChannelHandlerContext</strong></li>
</ul>
<p>在介绍 ChannelPipeline 的过程中,想必你已经对 ChannelHandler 有了基本的概念,数据的编解码工作以及其他转换工作实际都是通过 ChannelHandler 处理的。站在开发者的角度,最需要关注的就是 ChannelHandler我们很少会直接操作 Channel都是通过 ChannelHandler 间接完成。</p>
<p>下图描述了 Channel 与 ChannelPipeline 的关系,从图中可以看出,每创建一个 Channel 都会绑定一个新的 ChannelPipelineChannelPipeline 中每加入一个 ChannelHandler 都会绑定一个 ChannelHandlerContext。由此可见ChannelPipeline、ChannelHandlerContext、ChannelHandler 三个组件的关系是密切相关的,那么你一定会有疑问,每个 ChannelHandler 绑定ChannelHandlerContext 的作用是什么呢?</p>
<p><img src="assets/CgqCHl-NPK-ADq0pAABb1k5Zwu8681.png" alt="Drawing 8.png" /></p>
<p><img src="assets/CgqCHl-NPK-ADq0pAABb1k5Zwu8681.png" alt="png" /></p>
<p>ChannelHandlerContext 用于保存 ChannelHandler 上下文,通过 ChannelHandlerContext 我们可以知道 ChannelPipeline 和 ChannelHandler 的关联关系。ChannelHandlerContext 可以实现 ChannelHandler 之间的交互ChannelHandlerContext 包含了 ChannelHandler 生命周期的所有事件,如 connect、bind、read、flush、write、close 等。此外,你可以试想这样一个场景,如果每个 ChannelHandler 都有一些通用的逻辑需要实现,没有 ChannelHandlerContext 这层模型抽象,你是不是需要写很多相同的代码呢?</p>
<p>以上便是 Netty 的逻辑处理架构,可以看出 Netty 的架构分层设计得非常合理,屏蔽了底层 NIO 以及框架层的实现细节,对于业务开发者来说,只需要关注业务逻辑的编排和实现即可。</p>
<h3>组件关系梳理</h3>
<p>当你了解每个 Netty 核心组件的概念后。你会好奇这些组件之间如何协作?结合客户端和服务端的交互流程,我画了一张图,为你完整地梳理一遍 Netty 内部逻辑的流转。</p>
<p><img src="assets/Ciqc1F-NPLeAPdjRAADyud16HmQ759.png" alt="Drawing 9.png" /></p>
<p><img src="assets/Ciqc1F-NPLeAPdjRAADyud16HmQ759.png" alt="png" /></p>
<ul>
<li>服务端启动初始化时有 Boss EventLoopGroup 和 Worker EventLoopGroup 两个组件,其中 Boss 负责监听网络连接事件。当有新的网络连接事件到达时,则将 Channel 注册到 Worker EventLoopGroup。</li>
<li>Worker EventLoopGroup 会被分配一个 EventLoop 负责处理该 Channel 的读写事件。每个 EventLoop 都是单线程的,通过 Selector 进行事件循环。</li>
@@ -355,7 +355,7 @@ function hide_canvas() {
<p>以上便是 Netty 各个组件的整体交互流程,你只需要对每个组件的工作职责有所了解,心中可以串成一条流水线即可,具体每个组件的实现原理后续课程我们会深入介绍。</p>
<h3>Netty 源码结构</h3>
<p>Netty 源码分为多个模块模块之间职责划分非常清楚。如同上文整体功能模块一样Netty 源码模块的划分也是基本契合的。</p>
<p><img src="assets/Ciqc1F-NPNOAcv3mAA2V7Vw0BwM920.png" alt="Drawing 10.png" /></p>
<p><img src="assets/Ciqc1F-NPNOAcv3mAA2V7Vw0BwM920.png" alt="png" /></p>
<p>我们不仅可以使用 Netty all-in-one 的 Jar 包,也可以单独使用其中某些工具包。下面我根据 Netty 的分层结构以及实际的业务场景具体介绍 Netty 中常用的工具包。</p>
<h4>Core 核心层模块</h4>
<p><strong>netty-common</strong>模块是 Netty 的核心基础包,提供了丰富的工具类,其他模块都需要依赖它。在 common 模块中,常用的包括<strong>通用工具类</strong><strong>自定义并发包</strong></p>
@@ -367,7 +367,7 @@ function hide_canvas() {
<p><strong>netty-resover</strong>模块主要提供了一些有关<strong>基础设施</strong>的解析工具,包括 IP Address、Hostname、DNS 等。</p>
<h4>Protocol Support 协议支持层模块</h4>
<p><strong>netty-codec</strong>模块主要负责编解码工作通过编解码实现原始字节数据与业务实体对象之间的相互转化。如下图所示Netty 支持了大多数业界主流协议的编解码器,如 HTTP、HTTP2、Redis、XML 等,为开发者节省了大量的精力。此外该模块提供了抽象的编解码类 ByteToMessageDecoder 和 MessageToByteEncoder通过继承这两个类我们可以轻松实现自定义的编解码逻辑。</p>
<p><img src="assets/Ciqc1F-P3fWANKZLAAT_BOSXVzg420.png" alt="Lark20201021-150506.png" /></p>
<p><img src="assets/Ciqc1F-P3fWANKZLAAT_BOSXVzg420.png" alt="png" /></p>
<p><strong>netty-handler</strong>模块主要负责数据处理工作。Netty 中关于数据处理的部分,本质上是一串有序 handler 的集合。netty-handler 模块提供了开箱即用的 ChannelHandler 实现类例如日志、IP 过滤、流量整形等,如果你需要这些功能,仅需在 pipeline 中加入相应的 ChannelHandler 即可。</p>
<h4>Transport Service 传输服务层模块</h4>
<p>netty-transport 模块可以说是 Netty 提供数据<strong>处理和传输的核心模块</strong>。该模块提供了很多非常重要的接口,如 Bootstrap、Channel、ChannelHandler、EventLoop、EventLoopGroup、ChannelPipeline 等。其中 Bootstrap 负责客户端或服务端的启动工作,包括创建、初始化 Channel 等EventLoop 负责向注册的 Channel 发起 I/O 读写操作ChannelPipeline 负责 ChannelHandler 的有序编排,这些组件在介绍 Netty 逻辑架构的时候都有所涉及。</p>