分享我的发现、想法与心得

0%

起因

某个项目是通过构建生产版本内容至git仓库的release分支来实现交付工作。

我对于此类交付情况,一般会在本地项目创建名为releases/的目录。在使用脚本将构建内容生产到releases目录后,通过手动提交推送代码来完成整个交付过程。

在使用脚本来完成提交推送生产内容时,遇到下面错误:

1
2
3
4
5
6
✔ npm run build
cd releases/
✔ git add .
✖ git commit -m '更新版本至1.12.0-rc.1'
ERROR On branch master
Your branch is up to date with 'origin/master'.

上面是release-it完成发版后的后续脚本执行结果,下面是具体执行脚本:

1
2
3
4
5
6
7
8
"hooks":{
"after:release":[
"npm run build",
"cd releases/",
"git commit -am '更新版本至${version}'",
"git push","cd .."
]
},

分析

结合release-it来看,很显然是git的工作目录依然停留在项目根。cd releases/命令并没有改变git的执行目录,所以导致提交命令出错。

解决办法

要改善这个问题,需要改变git的工作目录。需要同时设置--git-dir--work-tree对应目录。当然也可选择使用GIT_DIRGIT_WORK_TREE两个全局变量来控制,具体看你的情况来使用。

使用例子如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
# 例子

# 前提:初次化两个本地目录
$ mkdir git
$ git init git/test/
$ echo -n foo > git/test/foo.txt

$ mkdir work
$ git init work/test
$ echo -n foo > work/test/foo.txt

# 命令行依旧在当前目录下,提交不同目录中的文件

## 使用参数的情况
$ git --git-dir git/test/.git --work-tree git/test commit status
$ git --git-dir git/test/.git --work-tree git/test commit -am "commit 1"

$ git --git-dir work/test/.git --work-tree work/test commit status
$ git --git-dir work/test/.git --work-tree work/test commit -am "commit 1"

## 使用全局变量的情况
$ GIT_DIR=git/test/.git && GIT_WORK_TREE=git/test
$ git commit status
$ git -am "commit 1"

$ GIT_DIR=work/test/.git && GIT_WORK_TREE=work/test
$ git commit status
$ git -am "commit 1"

需要注意的是,--git-dir--work-tree两个变量需要同时设置,才能改变操作的具体目录及git历史。

引用

Harness2.png

背景

经过《自动产出changelog-第一节:规范提交代码》《自动产出changelog-第二节:自动产出》两节内容的记录后,日志能实现一键产出。在小项目中未接入持续部署的,本地跑release-it命令就能简单实现版本标记、产出日志、推送git与npm的流程,可说是一步到位。公司项目基于Drone持续部署工具的研发流程下,需要将上面提及的步骤结合到持续部署工具进行。

阅读全文 »

起因

在使用 verdaccio 进行管理私有模块的管理后,在部署构建Docker镜像时,却提示没有权限访问私有包。这该如何解决?

解决办法

答案很简单!

在项目中添加 .npmrc 来管理私有包的来源。在构建Docker镜像时,传入授权token的方式来实现授权安装。最后将 .npmrc 删除就能正常运行了。

1
2
3
4
5
6
7
8
9
10
11
FROM node

ARG NPM_TOKEN
COPY .npmrc .npmrc
COPY package.json package.json
RUN npm install
RUN rm -f .npmrc #必要行为,记得删除

# Add your source files
COPY . .
CMD npm start

然后跑构建命令:

1
2
3
# `${NPM_TOKEN}`这段内容可以键入你的本地登录后的token
# token可在`~/.npmrc`中找到
docker build --build-arg NPM_TOKEN=${NPM_TOKEN} .

意外情况

假如跑构建命令,出现下面错误提示:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
Error: Failed to replace env in config: ${NPM_TOKEN}
at /usr/local/lib/node_modules/npm/lib/config/core.js:415:13
at String.replace (<anonymous>)
at envReplace (/usr/local/lib/node_modules/npm/lib/config/core.js:411:12)
at parseField (/usr/local/lib/node_modules/npm/lib/config/core.js:389:7)
at /usr/local/lib/node_modules/npm/lib/config/core.js:330:24
at Array.forEach (<anonymous>)
at Conf.add (/usr/local/lib/node_modules/npm/lib/config/core.js:328:23)
at ConfigChain.addString (/usr/local/lib/node_modules/npm/node_modules/config-chain/index.js:244:8)
at Conf.<anonymous> (/usr/local/lib/node_modules/npm/lib/config/core.js:316:10)
at /usr/local/lib/node_modules/npm/node_modules/graceful-fs/graceful-fs.js:78:16
/usr/local/lib/node_modules/npm/lib/npm.js:61
throw new Error('npm.load() required')
^

Error: npm.load() required
at Object.get (/usr/local/lib/node_modules/npm/lib/npm.js:61:13)
at process.errorHandler (/usr/local/lib/node_modules/npm/lib/utils/error-handler.js:205:18)
at process.emit (events.js:182:13)
at process._fatalException (internal/bootstrap/node.js:448:27)

其原因是运行时,没有把.npmrc文件删除。.npmrc 文件只在Docker镜像构建环节时需要,运行时下由于缺少${NPM_TOKEN}环境变量而报错。Dockerfile构建脚本中,在完成npm install后,记得删除.npmrc文件。

来源:

起因

运维同事:今天运维同事问drone-runner-docker这个容器是不是你在用,腾讯安装报毒drone里面有木马。

_我_:这个容器实例是CI/CD工具持续交付的核心服务来,停掉影响很大。这样吧,你提供多点信息我找一下解决办法。

后来运维同事提供出了更多信息,最终指向名叫tmate的这个程序。

官方说法

到底是不是木马我也不是很清楚,抱着找一找看看官方是怎样说的心态。

那它到底是不是木马呢?官方回答:不是

下面是原文:Detected Linux/Hildegard.A!MTB in drone/drone-runner-docker:1 - Support - Drone

详情

官方回答是这样的:

这看起来像是一个误报,其中 tmate 3 被您的扫描仪标记。 Tmate 是一个远程会话工具,包含在 docker 镜像中。 它促进了我们的远程调试功能,您可以在此处阅读更多信息: https://discourse.drone.io/t/feature-preview-debug-mode/8344

Tmate 是一个合法的工具,被 Travis 等其他 CI 提供者使用: https://docs.travis-ci.com/user/running-build-in-debug-mode/#connecting-to-the-job-running-in-the-debug-mode

如果您查看您提供的 Virus Total 仪表板,您会发现许多提供商都将其标记为潜在威胁而非病毒 (Not-a-virus:HEUR:RemoteAdmin.Linux.Tmate.a)。 这是有道理的,因为尽管 Tmate 是一个具有合法用途的合法工具,但攻击者将 Tmate 与木马恶意软件捆绑在一起以获取其反向 shell 功能 [1],因此它被标记为潜在威胁。

[1] Hildegard: New TeamTNT Cryptojacking Malware Targeting Kubernetes 1

tmate工具并不是木马,只是大多木马会包含这个工具来进行会话通讯。所以当清楚你使用的服务情况时,大多数下都是误报。

解决误报

但是每个人的情况并不一样。如果你和原文中提问的人一样,来自安全部门的诉求时,大多很难解释清楚。

在原文中也提供了解决办法:在drone-runner-docker镜像的基础下删除tmate二进制文件,并封装成新的镜像。虽然无法使用Drone的远程调试功能,却能避免误报的情况。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
FROM drone/drone-runner-docker:1-linux-amd64 as drone

FROM scratch

ENV GODEBUG netdns=go
ENV DRONE_PLATFORM_OS linux
ENV DRONE_PLATFORM_ARCH amd64

COPY --from=drone /etc/ssl/certs/ca-certificates.crt /etc/ssl/certs/
COPY --from=drone /bin/drone-runner-docker /bin/

LABEL com.centurylinklabs.watchtower.stop-signal="SIGINT"

ENTRYPOINT ["/bin/drone-runner-docker"]

背景

把项目管理流程与代码管理流程打通后运作的这一年,发现产出Changelog这步就是占据我们团队发布环节中较多时间的一环,将这步交由CI/CD工具进行自动生成,从效率的角度来说把人手解放从来投入其他工作会更科学和合理。

阅读全文 »

hero-img

背景

版本号是用于逐步演进软件的过程中和其使用者之间订立的一套公共规则,Semantic Versioning 语义化版本号则是版本号具体如何约定的一套公共约定。我们在日常的软件生产过程中,不单只产出软件本身,还会产出一些可供复用的代码包。这些代码包糅合集成在一起从而产出一个完整的软件及系统,期间代码包依旧会继续研发添加新特性或是修复旧有问题。在这个趋势之下,基于语义化版本号规则就能更好的细化软件生产及迭代,使软件资产能有序地更新及发布。

阅读全文 »

gitkraken这个非常好用的git GUI工具,在6.5.x版本后将关闭gogs/gitlab/bitbucket私有服务的使用,意思就是你在6.5.x版本给钱付费购买后才能用。当然我是非常支持付费,当个白嫖党这么久了该支持一下人家。可是这么好用的工具我已经在团队中推广了起来,现在和同事说要给钱就有点不妥了,公司大概率也不想给这个钱。那怎样办?

阅读全文 »

下午打算试试gitlab-flow怎样用,弄了两个账号分别fork了主仓,在某个子仓库改完东西后发现我提交不了。用ssh方式的推送代码提示没有授权,看了一下发现用的key没有加上去gogs,后来打算在另一个号加上时提示已经被使用了,看来一个key不能多个号用。这时候问题来了,本地怎样实现不同仓库使用不同key呢?

阅读全文 »

网络

yarnnpm install项目的包时,会出现node-sass卡了。这种情况是高概率卡在网络上了,因为它包在github下下来贼慢。

这里建议把源换成淘宝的,先执行以下命令打开.npmrc

1
npm config edit

然后在加上这些内容:

1
2
3
4
registry=https://registry.npm.taobao.org
sass_binary_site=https://npm.taobao.org/mirrors/node-sass/
phantomjs_cdnurl=https://npm.taobao.org/mirrors/phantomjs/
electron_mirror=https://npm.taobao.org/mirrors/electron/

像这样:

1
2
3
4
5
6
7
8
9
10
11
;;;;
; npm userconfig file
; this is a simple ini-formatted file
; lines that start with semi-colons are comments.
; read `npm help config` for help on the various options
;;;;

registry=https://registry.npm.taobao.org/
sass_binary_site=https://npm.taobao.org/mirrors/node-sass/
phantomjs_cdnurl=https://npm.taobao.org/mirrors/phantomjs/
electron_mirror=https://npm.taobao.org/mirrors/electron/

编译

使用sass的同学在初次安装项目的时候肯定见过node-sass这个包,在win下需要Python2.7Visual C++ Build Tools才能正常编译。

这里推荐使用windows-build-tools安装上面两项支持,因为真的非常简单易用。

1
2
3
npm i -g --production windows-build-tools
# or
yarn add global --production windows-build-tools

记得在管理员权限下的PowerShell执行上面的代码,安装过程如下图:

安装过程

如果安装过程出现什么问题,可以删除所有文件再安装试试,删除命令递上:

1
2
rm -R C:\Users\<user>\.windows-build-tools
npm uni windows-build-tools