mirror of
https://github.com/zhwei820/learn.lianglianglee.com.git
synced 2025-09-25 20:56:42 +08:00
336 lines
18 KiB
HTML
336 lines
18 KiB
HTML
<!DOCTYPE html>
|
||
<!-- saved from url=(0046)https://kaiiiz.github.io/hexo-theme-book-demo/ -->
|
||
<html xmlns="http://www.w3.org/1999/xhtml">
|
||
<head>
|
||
<head>
|
||
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
|
||
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1.0, user-scalable=no">
|
||
<link rel="icon" href="/static/favicon.png">
|
||
<title>20 快速构建 JenkinsGitlab 持续集成环境.md.html</title>
|
||
<!-- Spectre.css framework -->
|
||
<link rel="stylesheet" href="/static/index.css">
|
||
<!-- theme css & js -->
|
||
<meta name="generator" content="Hexo 4.2.0">
|
||
</head>
|
||
<body>
|
||
<div class="book-container">
|
||
<div class="book-sidebar">
|
||
<div class="book-brand">
|
||
<a href="/">
|
||
<img src="/static/favicon.png">
|
||
<span>技术文章摘抄</span>
|
||
</a>
|
||
</div>
|
||
<div class="book-menu uncollapsible">
|
||
<ul class="uncollapsible">
|
||
<li><a href="/" class="current-tab">首页</a></li>
|
||
</ul>
|
||
<ul class="uncollapsible">
|
||
<li><a href="../">上一级</a></li>
|
||
</ul>
|
||
<ul class="uncollapsible">
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/01 架构的演进.md.html">01 架构的演进</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/02 Serverless 的价值.md.html">02 Serverless 的价值</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/03 常见 Serverless 架构模式.md.html">03 常见 Serverless 架构模式</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/04 Serverless 技术选型.md.html">04 Serverless 技术选型</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/05 函数计算简介.md.html">05 函数计算简介</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/06 函数计算是如何工作的？.md.html">06 函数计算是如何工作的？</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/07 函数粘合云服务提供端到端解决方案.md.html">07 函数粘合云服务提供端到端解决方案</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/08 函数计算的开发与配置.md.html">08 函数计算的开发与配置</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/09 函数的调试与部署.md.html">09 函数的调试与部署</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/10 自动化 CI&CD 与灰度发布.md.html">10 自动化 CI&CD 与灰度发布</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/11 函数计算的可观测性.md.html">11 函数计算的可观测性</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/12 典型案例 1：函数计算在音视频场景实践.md.html">12 典型案例 1：函数计算在音视频场景实践</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/13 典型案例 3：十分钟搭建弹性可扩展的 Web API.md.html">13 典型案例 3：十分钟搭建弹性可扩展的 Web API</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/14 Serverless Kubernetes 容器服务介绍.md.html">14 Serverless Kubernetes 容器服务介绍</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/15 Serverless Kubernetes 应用部署及扩缩容.md.html">15 Serverless Kubernetes 应用部署及扩缩容</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/16 使用 Spot 低成本运行 Job 任务.md.html">16 使用 Spot 低成本运行 Job 任务</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/17 低成本运行 Spark 数据计算.md.html">17 低成本运行 Spark 数据计算</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/18 GPU 机器学习开箱即用.md.html">18 GPU 机器学习开箱即用</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/19 基于 Knative 低成本部署在线应用，灵活自动伸缩.md.html">19 基于 Knative 低成本部署在线应用，灵活自动伸缩</a>
|
||
</li>
|
||
<li>
|
||
<a class="current-tab" href="/专栏/Serverless 技术公开课（完）/20 快速构建 JenkinsGitlab 持续集成环境.md.html">20 快速构建 JenkinsGitlab 持续集成环境</a>
|
||
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/21 在线应用的 Serverless 实践.md.html">21 在线应用的 Serverless 实践</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/22 通过 IDEMaven 部署 Serverless 应用实践.md.html">22 通过 IDEMaven 部署 Serverless 应用实践</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/23 企业级 CICD 工具部署 Serverless 应用的落地实践.md.html">23 企业级 CICD 工具部署 Serverless 应用的落地实践</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/24 Serverless 应用如何管理日志&持久化数据.md.html">24 Serverless 应用如何管理日志&持久化数据</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/25 Serverless 应用引擎产品的流量负载均衡和路由策略配置实践.md.html">25 Serverless 应用引擎产品的流量负载均衡和路由策略配置实践</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/26 Spring CloudDubbo 应用无缝迁移到 Serverless 架构.md.html">26 Spring CloudDubbo 应用无缝迁移到 Serverless 架构</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/27 SAE 应用分批发布与无损下线的最佳实践.md.html">27 SAE 应用分批发布与无损下线的最佳实践</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/28 如何通过压测工具+ SAE 弹性能力轻松应对大促.md.html">28 如何通过压测工具+ SAE 弹性能力轻松应对大促</a>
|
||
</li>
|
||
<li>
|
||
<a href="/专栏/Serverless 技术公开课（完）/29 SAE 极致应用部署效率.md.html">29 SAE 极致应用部署效率</a>
|
||
</li>
|
||
</ul>
|
||
</div>
|
||
</div>
|
||
<div class="sidebar-toggle" onclick="sidebar_toggle()" onmouseover="add_inner()" onmouseleave="remove_inner()">
|
||
<div class="sidebar-toggle-inner"></div>
|
||
</div>
|
||
<script>
|
||
function add_inner() {
|
||
let inner = document.querySelector('.sidebar-toggle-inner')
|
||
inner.classList.add('show')
|
||
}
|
||
function remove_inner() {
|
||
let inner = document.querySelector('.sidebar-toggle-inner')
|
||
inner.classList.remove('show')
|
||
}
|
||
function sidebar_toggle() {
|
||
let sidebar_toggle = document.querySelector('.sidebar-toggle')
|
||
let sidebar = document.querySelector('.book-sidebar')
|
||
let content = document.querySelector('.off-canvas-content')
|
||
if (sidebar_toggle.classList.contains('extend')) { // show
|
||
sidebar_toggle.classList.remove('extend')
|
||
sidebar.classList.remove('hide')
|
||
content.classList.remove('extend')
|
||
} else { // hide
|
||
sidebar_toggle.classList.add('extend')
|
||
sidebar.classList.add('hide')
|
||
content.classList.add('extend')
|
||
}
|
||
}
|
||
function open_sidebar() {
|
||
let sidebar = document.querySelector('.book-sidebar')
|
||
let overlay = document.querySelector('.off-canvas-overlay')
|
||
sidebar.classList.add('show')
|
||
overlay.classList.add('show')
|
||
}
|
||
function hide_canvas() {
|
||
let sidebar = document.querySelector('.book-sidebar')
|
||
let overlay = document.querySelector('.off-canvas-overlay')
|
||
sidebar.classList.remove('show')
|
||
overlay.classList.remove('show')
|
||
}
|
||
</script>
|
||
<div class="off-canvas-content">
|
||
<div class="columns">
|
||
<div class="column col-12 col-lg-12">
|
||
<div class="book-navbar">
|
||
<!-- For Responsive Layout -->
|
||
<header class="navbar">
|
||
<section class="navbar-section">
|
||
<a onclick="open_sidebar()">
|
||
<i class="icon icon-menu"></i>
|
||
</a>
|
||
</section>
|
||
</header>
|
||
</div>
|
||
<div class="book-content" style="max-width: 960px; margin: 0 auto;
|
||
overflow-x: auto;
|
||
overflow-y: hidden;">
|
||
<div class="book-post">
|
||
<p id="tip" align="center"></p>
|
||
<div><h1>20 快速构建 JenkinsGitlab 持续集成环境</h1>
|
||
<h3>ASK 介绍</h3>
|
||
<p><img src="assets/2020-10-26-040914.png" alt="png" /></p>
|
||
<p>首先，ASK 是什么？ASK 是阿里云推出的无服务器版 Kubernetes 容器服务。与传统的 Kubernetes 服务相比，ASK最大的特点就是通过虚拟节点接入 Kubernetes 集群，而 Kubernetes 的 Master 节点也完全由阿里云容器服务托管。因此，在整个 ASK 集群中，用户无需管理和运维真实节点，只用关心 Pod 资源即可，ASK 中的 Pod 则由阿里云弹性容器实例 ECI 承载。</p>
|
||
<p><strong>ASK 的优势主要有以下几点：</strong></p>
|
||
<ul>
|
||
<li>降低用户使用 Kubernetes 的门槛，无需管理 Node 节点；</li>
|
||
<li>无需考虑节点的容量规划；</li>
|
||
<li>以 Pod 为单位按需计费；</li>
|
||
<li>宕机故障影响面小，Pod 级别。</li>
|
||
</ul>
|
||
<p><strong>同时，ASK 主要适用的场景有：</strong></p>
|
||
<ul>
|
||
<li>在线业务弹性（视频直播、在线教育）；</li>
|
||
<li>大数据计算（Spark）；</li>
|
||
<li>定时任务；</li>
|
||
<li>CI/CD 持续集成。</li>
|
||
</ul>
|
||
<h3>GitLab CI on ASK 的优势</h3>
|
||
<p>说到 CI/CD，大家最熟悉的两个工具，一个是 Jenkins，另一个是 GitLab CI，随着 Devops 角色的流行，越来越多的企业采用 GitLab CI 作为持续集成的工具，下面给大家介绍下 GitLab CI on ASK。gitlab-runner 以 Pod 形式注册到 ASK 集群中，每个 CI/CD stage 也对应一个 Pod。</p>
|
||
<p><img src="assets/2020-10-26-040920.png" alt="png" /></p>
|
||
<p><strong>这么做的优势有以下几点：</strong></p>
|
||
<ul>
|
||
<li>服务高可用（Deployment+PVC）；</li>
|
||
<li>无需维护 K8s Master、Node 节点，在没有任何构建任务的情况下，只需要运行一个 Pod（gitlab-runner）；</li>
|
||
<li>触发一个构建任务，启动一个 Pod，按需计费；</li>
|
||
<li>宕机故障只会影响以 Pod 为单位。</li>
|
||
</ul>
|
||
<h3>实践演示</h3>
|
||
<p>接下来给大家演示如何在阿里云 ASK 集群上部署 gitlab-runner，并且通过 gitlab CICD Pipeline 部署 Java 应用到 ASK 集群中。</p>
|
||
<p><strong>其中涉及到的知识点主要有：</strong></p>
|
||
<ul>
|
||
<li>通过 configMap 保存 gitlab runner 和 executor 的配置；</li>
|
||
<li>通过 secret 保存 ASK 集群的访问凭证和镜像仓库的密钥；</li>
|
||
<li>通过 PVC 缓存 runner cache 和 maven 仓库；</li>
|
||
<li>通过 imageCache 缓存容器镜像。</li>
|
||
</ul>
|
||
<p>本节课程涉及到的所有的配置文件（yaml）都已经上传到 github 供大家下载【<a href="https://github.com/aliyuneci/BestPractice-Serverless-Kubernetes/tree/master/eci-gitlab-runner">下载链接</a>】。</p>
|
||
<p>下面开始演示，视频版课程请点击【<a href="https://developer.aliyun.com/lesson_2025_19016">观看链接</a>】。</p>
|
||
<h4>1. 准备 ASK 集群</h4>
|
||
<ul>
|
||
<li>在【<a href="https://cs.console.aliyun.com/?spm=5176.eciconsole.0.0.68254a9cNv12zh#/k8s/cluster/createV2/serverless">容器服务控制台</a>】创建标准 Serverless K8s 集群</li>
|
||
</ul>
|
||
<p><img src="assets/2020-10-26-040922.png" alt="png" /></p>
|
||
<ul>
|
||
<li>集群创建完成后，基本信息中有 API server 公网链接地址</li>
|
||
</ul>
|
||
<p><img src="assets/2020-10-26-040923.png" alt="png" /></p>
|
||
<ul>
|
||
<li>连接信息中有 ASK 集群访问凭证</li>
|
||
</ul>
|
||
<p><img src="assets/2020-10-26-040925.png" alt="png" /></p>
|
||
<h4>2. 准备 PV/PVC</h4>
|
||
<p>准备两个 nas 盘，一个做 gitlab runner cache，一个做 maven 仓库，请自行替换 nas server 地址和 path</p>
|
||
<pre><code class="language-shell">kubectl apply -f mvn-pv.yaml
|
||
kubectl apply -f mvn-pvc.yaml
|
||
kubectl apply -f nas-pv.yaml
|
||
kubectl apply -f nas-pvc.yaml
|
||
</code></pre>
|
||
<h4>3. 准备 Secret</h4>
|
||
<ul>
|
||
<li>kubeconfig 里的证书公私钥拷贝到 secret 中，secret.yaml</li>
|
||
</ul>
|
||
<pre><code class="language-shell">kubectl apply -f secret.yaml
|
||
</code></pre>
|
||
<ul>
|
||
<li>docker-registry 的认证信息，ECI 支持免密拉取，但是 push docker image 还是要用到</li>
|
||
</ul>
|
||
<pre><code class="language-shell">kubectl create secret docker-registry registry-auth-secret --docker-server=registry.cn-hangzhou.aliyuncs.com --docker-username=${xxx} --docker-password=${xxx}
|
||
</code></pre>
|
||
<ul>
|
||
<li>查看生成的 secret 可以用以下命令</li>
|
||
</ul>
|
||
<pre><code class="language-shell">kubectl get secret registry-auth-secret --output=yaml
|
||
</code></pre>
|
||
<h4>4. 准备 ConfigMap</h4>
|
||
<p>把 gitlab runner 的 url、token，ASK 集群的 api server 地址拷贝到 config.yaml</p>
|
||
<pre><code class="language-shell">kubectl apply -f config-map.yaml
|
||
</code></pre>
|
||
<h4>5. 准备 imageCache（可选，节省镜像拉取时间）</h4>
|
||
<p>目前 AS K默认安装了 imagecache-crd，可以用以下命令查询，如果没有可以自己安装</p>
|
||
<pre><code class="language-shell"># 查看image cache crd 是否安转
|
||
kubectl get crd
|
||
# 安装image cache crd
|
||
kubectl apply -f imagecache-crd.yaml
|
||
# 制作imagecache
|
||
kubectl apply -f imagecache.yaml
|
||
</code></pre>
|
||
<h4>6. 部署 gitlab runner</h4>
|
||
<pre><code class="language-shell">kubectl apply -f gitlab-runner-deployment.yaml
|
||
</code></pre>
|
||
<p><img src="assets/2020-10-26-040927.png" alt="png" /></p>
|
||
<h4>7. 进行一个简单的 CI 任务</h4>
|
||
<p><img src="assets/2020-10-26-040929.png" alt="png" /></p>
|
||
<p>git repo 中的 .gitlab-ci.yml 类似 Jenkinsfile，定义了构建任务的工作流。我们修改 demo 项目中的 src/main/webapp/index.jsp 文件，然后 git commit -m "change index info" 提交。 gitlab 中的流水线任务即被触发，整个流程涉及到编译、打包、部署。</p>
|
||
<p><img src="assets/2020-10-26-040930.png" alt="png" /></p>
|
||
<p><img src="assets/2020-10-26-040931.png" alt="png" /></p>
|
||
<h3>成本</h3>
|
||
<p>使用 ASK 与一台预付费 ECS 的成本对比：</p>
|
||
<p><img src="assets/2020-10-26-040932.png" alt="png" /></p>
|
||
<p>从上述成本计算可以看出，当您每天的 CI/CD 任务少于 126 个时，使用 ASK+ECI 会比购买一台包年包月的 ECS 更加划算。在享受按需付费的同时，也降低了运维成本，更加重要的是，当业务规模扩大、CI/CD 任务数量陡增时，不再需要担心 Node 节点的扩容。ASK+ECI 的方案，可以被认为是 CI/CD 持续集成场景的量身标配。</p>
|
||
</div>
|
||
</div>
|
||
<div>
|
||
<div style="float: left">
|
||
<a href="/专栏/Serverless 技术公开课（完）/19 基于 Knative 低成本部署在线应用，灵活自动伸缩.md.html">上一页</a>
|
||
</div>
|
||
<div style="float: right">
|
||
<a href="/专栏/Serverless 技术公开课（完）/21 在线应用的 Serverless 实践.md.html">下一页</a>
|
||
</div>
|
||
</div>
|
||
</div>
|
||
</div>
|
||
</div>
|
||
</div>
|
||
<a class="off-canvas-overlay" onclick="hide_canvas()"></a>
|
||
</div>
|
||
<script defer src="https://static.cloudflareinsights.com/beacon.min.js/v652eace1692a40cfa3763df669d7439c1639079717194" integrity="sha512-Gi7xpJR8tSkrpF7aordPZQlW2DLtzUlZcumS8dMQjwDHEnw9I7ZLyiOj/6tZStRBGtGgN6ceN6cMH8z7etPGlw==" data-cf-beacon='{"rayId":"709974836c553d60","version":"2021.12.0","r":1,"token":"1f5d475227ce4f0089a7cff1ab17c0f5","si":100}' crossorigin="anonymous"></script>
|
||
</body>
|
||
<!-- Global site tag (gtag.js) - Google Analytics -->
|
||
<script async src="https://www.googletagmanager.com/gtag/js?id=G-NPSEEVD756"></script>
|
||
<script>
|
||
window.dataLayer = window.dataLayer || [];
|
||
function gtag() {
|
||
dataLayer.push(arguments);
|
||
}
|
||
gtag('js', new Date());
|
||
gtag('config', 'G-NPSEEVD756');
|
||
var path = window.location.pathname
|
||
var cookie = getCookie("lastPath");
|
||
console.log(path)
|
||
if (path.replace("/", "") === "") {
|
||
if (cookie.replace("/", "") !== "") {
|
||
console.log(cookie)
|
||
document.getElementById("tip").innerHTML = "<a href='" + cookie + "'>跳转到上次进度</a>"
|
||
}
|
||
} else {
|
||
setCookie("lastPath", path)
|
||
}
|
||
function setCookie(cname, cvalue) {
|
||
var d = new Date();
|
||
d.setTime(d.getTime() + (180 * 24 * 60 * 60 * 1000));
|
||
var expires = "expires=" + d.toGMTString();
|
||
document.cookie = cname + "=" + cvalue + "; " + expires + ";path = /";
|
||
}
|
||
function getCookie(cname) {
|
||
var name = cname + "=";
|
||
var ca = document.cookie.split(';');
|
||
for (var i = 0; i < ca.length; i++) {
|
||
var c = ca[i].trim();
|
||
if (c.indexOf(name) === 0) return c.substring(name.length, c.length);
|
||
}
|
||
return "";
|
||
}
|
||
</script>
|
||
</html>
|