简单mysql备份

发表于 2023-04-28 分类于经验分享 Valine：

背景

日常工作中需要对低频网站进行维护，数据安全是网站的基础。人为备份低效又耗精力，自动备份便成了很受关注的基本诉求。下面给提供的方案只适用于低频少数据量的网站，复杂交互或存在大量换算的企业级项目不建议启用此方案。

原理

此方案用最简单粗暴的方式进行备份，原理是使用crontab命令定时运行mysqldump实现自动备份工作。mysqldump部分数据时会对所有表进行锁定，只能读不能写。基于这种限制下，建议自动备份的时间设置在凌晨3点后，并且在网站上设置相应的提示，如存在调用写入接口时返回“系统维护中…”的提示。

准备

首先得清楚crontab与mysqldump怎样用，下面先简单说明一下。

mysqldump

crontab一般情况下是linux系统下都有的，而mysqldump则需要安装mysql-client：

1
2
3

$ yum -y install mysql-client
# or
$ apt-get install mysql-client

然后是验证一下mysqldump使用的方法：

用法

mysqldump

--host        -h                服务器IP地址
--port        -P                服务器端口号
--user        -u                MySQL   用户名
--pasword     -p                MySQL   密码
--databases                     指定要备份的数据库
--all-databases                 备份mysql服务器上的所有数据库
--compact                       压缩模式，产生更少的输出
--comments                      添加注释信息
--complete-insert               输出完成的插入语句
--lock-tables                   备份前，锁定所有数据库表
--no-create-db/--no-create-info 禁止生成创建数据库语句
--force                         当出现错误时仍然继续备份操作
--default-character-set         指定默认字符集
--add-locks                     备份数据库表时锁定数据库表

例子

备份所有数据库：

1	mysqldump -uroot -p --all-databases > /backup/mysqldump/all.db

备份指定数据库：

1	mysqldump -uroot -p test > /backup/mysqldump/test.db

备份指定数据库指定表(多个表以空格间隔)

1	mysqldump -uroot -p mysql db event > /backup/mysqldump/2table.db

备份指定数据库排除某些表

1	mysqldump -uroot -p test --ignore-table=test.t1 --ignore-table=test.t2 > /backup/mysqldump/test2.db

crontab

用法

crontab 是用来让使用者在固定时间或固定间隔执行程序之用，换句话说，也就是类似使用者的时程表。

-u user 是指设定指定 user 的时程表，这个前提是你必须要有其权限(比如说是 root)才能够指定他人的时程表。如果不使用 -u user 的话，就是表示设定自己的时程表。

参数说明：

-e : 执行文字编辑器来设定时程表，内定的文字编辑器是 VI，如果你想用别的文字编辑器，则请先设定 VISUAL 环境变数来指定使用那个文字编辑器(比如说 setenv VISUAL joe)
-r : 删除目前的时程表
-l : 列出目前的时程表

时程表中的格式

# f1   f2   f3   f4   f5  program
$ *    *    *    *    *
  -    -    -    -    -
  |    |    |    |    |
  |    |    |    |    +----- 星期中星期几 (0 - 6) (星期天 为0)
  |    |    |    +---------- 月份 (1 - 12) 
  |    |    +--------------- 一个月中的第几天 (1 - 31)
  |    +-------------------- 小时 (0 - 23)
  +------------------------- 分钟 (0 - 59)

其中 f1 是表示分钟，f2 表示小时，f3 表示一个月份中的第几日，f4 表示月份，f5 表示一个星期中的第几天。program 表示要执行的程序。
当 f1 为 时表示每分钟都要执行 program，f2 为 时表示每小时都要执行程序，其馀类推
当 f1 为 a-b 时表示从第 a 分钟到第 b 分钟这段时间内要执行，f2 为 a-b 时表示从第 a 到第 b 小时都要执行，其馀类推
当 f1 为 /n 时表示每 n 分钟个时间间隔执行一次，f2 为 /n 表示每 n 小时个时间间隔执行一次，其馀类推
当 f1 为 a, b, c,… 时表示第 a, b, c,… 分钟要执行，f2 为 a, b, c,… 时表示第 a, b, c…个小时要执行，其馀类推

例子

下面再看看几个具体的例子：

0 */2 * * * /sbin/service httpd restart                    #意思是每两个小时重启一次apache
50 7 * * * /sbin/service sshd start                        #意思是每天7：50开启ssh服务
50 22 * * * /sbin/service sshd stop                        #意思是每天22：50关闭ssh服务
0 0 1,15 * * fsck /home                                    #每月1号和15号检查/home 磁盘
1 * * * * /home/bruce/backup                               #每小时的第一分执行 /home/bruce/backup这个文件
00 03 * * 1-5 find /home "*.xxx" -mtime +4 -exec rm {} \;  #每周一至周五3点钟，在目录/home中，查找文件名为*.xxx的文件，并删除4天前的文件。
30 6 */10 * * ls                                           #意思是每月的1、11、21、31日是的6：30执行一次ls命令

到这步对crontab与mysqldump已经有了大致理解，下面进行具体方案说明。

具体方案

思路

在shell脚本中调用mysqldump生成备份文件(这个工具可以生成sql文件到磁盘上去)
为了方便以后查找。每次备份的记录记录成日志形式。几点进行了备份操作，生成了什么文件名称。这样可以方便以后查阅哪天是否没有成功备份删除的文件作为日志信息也记录下来。
让linux下的crontab进程调用脚本执行，这里是每周日凌晨3点执行一次。

第一步：制作mysql备份脚本

在终端输入下面内容，创建mysqlbackup.sh文件：

# ~/ 为用户目录根
$ touch ~/mysqlbackup.sh

# 键入pwd获得完整路径，后面设置定配置时需要使用完整路径
$ cd ~ && pwd
/home/lprete

并键入下面内容：

# /bin/bash
MYSQL_BACKUP_DB_NAME="****"
MYSQL_BACKUP_DB_USER="****"
MYSQL_BACKUP_DB_PASS="****"
MYSQL_BACKUP_BIN_DIR="/usr/bin"
MYSQL_BACKUP_BACK_DIR="/data/backdata"
MYSQL_BACKUP_DATE="mysql-`date +'%Y%m%d-%H:%M:%S'`"
LogFile="$MYSQL_BACKUP_BACK_DIR"/dbbakup.log #日志记录保存的目录
BackNewFile=$MYSQL_BACKUP_DATE.sql

$MYSQL_BACKUP_BIN_DIR/mysqldump --opt --force -u$MYSQL_BACKUP_DB_USER  -p$MYSQL_BACKUP_DB_PASS $MYSQL_BACKUP_DB_NAME > $MYSQL_BACKUP_BACK_DIR/$MYSQL_BACKUP_DATE.sql


echo -----------------------"$(date +"%y-%m-%d %H:%M:%S")"----------------------- >> $LogFile



echo  createFile:"$BackNewFile" >> $LogFile


#find "/data/backdata/" -cmin +1 -type f -name "*.sql" -print > deleted.txt
#-ctime表示创建时间，这里表示删除创建时间为多少天之前的文件，也就是结果只保留多少天的数据
find "/data/backdata/" -ctime +7 -type f -name "*.sql" -print > deleted.txt

echo -e "delete files:\n" >> $LogFile

#循环删除匹配到的文件
cat deleted.txt | while read LINE
do
    rm -rf $LINE
    echo $LINE>> $LogFile
done


echo "---------------------------------------------------------------" >> $LogFile

第二步：配置自动执行

在终端输入

1	$ crontab -e

然后按i建进入编辑状态，把以下内容键入：

1	0 3 * * 0 /bin/sh /home/lprete/mysqlbackup.sh

键入后按Esc退出编辑模式，然后按Shift+:(冒号建)进入命令模式，键入qw后回车进行保存退出。不懂看这里：Linux vi/vim | 菜鸟教程 (runoob.com)

注意！新创建的 cron 任务，不会马上执行，至少要过 2 分钟后才可以，当然你可以重启 cron 来马上执行。

到这里自动备份mysql的工作就全部结束，可以定期检查一下用户目录下是否有备份文件。

引用

部分内容引用至：

MYSQL自动备份策略的选择与实践 - 王滔 - 博客园 (cnblogs.com)
linux定时任务的设置 - 疯狂 - BlogJava
Linux crontab 命令 | 菜鸟教程 (runoob.com)
MySQL之mysqldump的使用 - MarkLogZhu - 博客园 (cnblogs.com)

在浏览器中读取docx文档

发表于 2023-04-18 更新于 2023-04-28 分类于经验分享 Valine：

来自Tinymce群友提问：“复制Word文档的内容粘贴不到去富文本编辑器，要怎样处理？”

这个问题我也不是很清楚，刚好有人来问我就梳理一下。

我脑海中浮现以下几个问题：

能获得粘贴板中图片吗？
图文混合内容呢？
tinymce富文本编辑器是怎样做的？

阅读全文 »

nvm-windows切换node版本不生效

发表于 2023-04-17 更新于 2023-04-28 分类于经验分享 Valine：

起因

在研究pdfjs这个库，看怎样利用它再封装一个在相对可控的UI组件。然后这个库最新版本需要node的16版本以上。

好家伙！我试试安装16版本，又遇到问题了！npm安装依赖都跑不起，后来发现是nvm-windows的问题。^1

阅读全文 »

用nvm管理你的Node环境

发表于 2022-12-09 更新于 2023-04-28 分类于经验分享 Valine：

序

当你管理着多个项目时，有没有遇到以下提示？

Syntax Error: Error: Missing binding D:\works\test-product\node_modules\node-sass\vendor\win32-x64-57\binding.node
Node Sass could not find a binding for your current environment: Windows 64-bit with Node.js 8.x

Found bindings for the following environments:
  - Windows 64-bit with Node.js 14.x

This usually happens because your environment has changed since running `npm install`.
Run `npm rebuild node-sass` to download the binding for your current environment.

这是在执行程序的时候，本地运行版本与node-sass安装版本不一致导致的。

有这种情况的朋友，大多数应该都有使用上nvm吧？

没错，管理Node版本目前最好的工具就是nvm[^1]。

阅读全文 »

改造obsidian-local-images

发表于 2022-11-22 更新于 2023-04-28 分类于知识图谱 Valine：

起因

起因是我使用 zoni/obsidian-export 来输出文件。该工具在输出内容时，同目录下的媒体内容带来的麻烦更少。并在 obsidian-local-images的issues#9 中看到类似的问题。为此我决定挑战一下，修改源码。

阅读全文 »

在脚本中更改git执行目录

发表于 2022-05-06 更新于 2023-04-28 分类于经验分享 Valine：

起因

某个项目是通过构建生产版本内容至git仓库的release分支来实现交付工作。

我对于此类交付情况，一般会在本地项目创建名为releases/的目录。在使用脚本将构建内容生产到releases目录后，通过手动提交推送代码来完成整个交付过程。

在使用脚本来完成提交推送生产内容时，遇到下面错误：

✔ npm run build
✔ cd releases/
✔ git add .
✖ git commit -m '更新版本至1.12.0-rc.1'
ERROR On branch master
Your branch is up to date with 'origin/master'.

上面是release-it完成发版后的后续脚本执行结果，下面是具体执行脚本：

"hooks":{
    "after:release":[
      "npm run build",
      "cd releases/",
      "git commit -am '更新版本至${version}'",
      "git push","cd .."
    ]
  },

分析

结合release-it来看，很显然是git的工作目录依然停留在项目根。cd releases/命令并没有改变git的执行目录，所以导致提交命令出错。

解决办法

要改善这个问题，需要改变git的工作目录。需要同时设置--git-dir和--work-tree对应目录。当然也可选择使用GIT_DIR和GIT_WORK_TREE两个全局变量来控制，具体看你的情况来使用。

使用例子如下：

# 例子

# 前提：初次化两个本地目录
$ mkdir git 
$ git init git/test/
$ echo -n foo > git/test/foo.txt

$ mkdir work
$ git init work/test
$ echo -n foo > work/test/foo.txt

# 命令行依旧在当前目录下，提交不同目录中的文件

## 使用参数的情况
$ git --git-dir git/test/.git --work-tree git/test commit status
$ git --git-dir git/test/.git --work-tree git/test commit -am "commit 1"

$ git --git-dir work/test/.git --work-tree work/test commit status
$ git --git-dir work/test/.git --work-tree work/test commit -am "commit 1"

## 使用全局变量的情况
$ GIT_DIR=git/test/.git && GIT_WORK_TREE=git/test
$ git commit status
$ git -am "commit 1"

$ GIT_DIR=work/test/.git && GIT_WORK_TREE=work/test
$ git commit status
$ git -am "commit 1"

需要注意的是，--git-dir和--work-tree两个变量需要同时设置，才能改变操作的具体目录及git历史。

引用

Git change working directory - Stack Overflow

git - What is GIT_WORK_TREE, why have I never needed to set this ENV var, why now? - Stack Overflow

自动产出changelog-第三节：release-it与Drone持续部署工具结合使用

发表于 2022-05-05 更新于 2023-04-28 分类于经验分享 Valine：

背景

经过《自动产出changelog-第一节：规范提交代码》与《自动产出changelog-第二节：自动产出》两节内容的记录后，日志能实现一键产出。在小项目中未接入持续部署的，本地跑release-it命令就能简单实现版本标记、产出日志、推送git与npm的流程，可说是一步到位。公司项目基于Drone持续部署工具的研发流程下，需要将上面提及的步骤结合到持续部署工具进行。

阅读全文 »

在Docker下解决私有组件的授权问题

发表于 2022-05-05 更新于 2023-04-28 分类于经验分享 Valine：

起因

在使用 verdaccio 进行管理私有模块的管理后，在部署构建Docker镜像时，却提示没有权限访问私有包。这该如何解决？

解决办法

答案很简单！

在项目中添加 .npmrc 来管理私有包的来源。在构建Docker镜像时，传入授权token的方式来实现授权安装。最后将 .npmrc 删除就能正常运行了。

FROM node

ARG NPM_TOKEN  
COPY .npmrc .npmrc  
COPY package.json package.json  
RUN npm install  
RUN rm -f .npmrc #必要行为，记得删除

# Add your source files
COPY . .  
CMD npm start

然后跑构建命令：

1
2
3

# `${NPM_TOKEN}`这段内容可以键入你的本地登录后的token
# token可在`~/.npmrc`中找到
docker build --build-arg NPM_TOKEN=${NPM_TOKEN} .

意外情况

假如跑构建命令，出现下面错误提示：

Error: Failed to replace env in config: ${NPM_TOKEN}
    at /usr/local/lib/node_modules/npm/lib/config/core.js:415:13
    at String.replace (<anonymous>)
    at envReplace (/usr/local/lib/node_modules/npm/lib/config/core.js:411:12)
    at parseField (/usr/local/lib/node_modules/npm/lib/config/core.js:389:7)
    at /usr/local/lib/node_modules/npm/lib/config/core.js:330:24
    at Array.forEach (<anonymous>)
    at Conf.add (/usr/local/lib/node_modules/npm/lib/config/core.js:328:23)
    at ConfigChain.addString (/usr/local/lib/node_modules/npm/node_modules/config-chain/index.js:244:8)
    at Conf.<anonymous> (/usr/local/lib/node_modules/npm/lib/config/core.js:316:10)
    at /usr/local/lib/node_modules/npm/node_modules/graceful-fs/graceful-fs.js:78:16
/usr/local/lib/node_modules/npm/lib/npm.js:61
      throw new Error('npm.load() required')
      ^

Error: npm.load() required
    at Object.get (/usr/local/lib/node_modules/npm/lib/npm.js:61:13)
    at process.errorHandler (/usr/local/lib/node_modules/npm/lib/utils/error-handler.js:205:18)
    at process.emit (events.js:182:13)
    at process._fatalException (internal/bootstrap/node.js:448:27)

其原因是运行时，没有把.npmrc文件删除。.npmrc 文件只在Docker镜像构建环节时需要，运行时下由于缺少${NPM_TOKEN}环境变量而报错。Dockerfile构建脚本中，在完成npm install后，记得删除.npmrc文件。

来源：

Docker and private modules | npm Docs (npmjs.com)

node.js - NPM - Failed to replace env in config: ${NPM_TOKEN} - Stack Overflow

运维同事说Drone中的tmate是木马

发表于 2022-05-05 更新于 2023-04-28 分类于经验分享 Valine：

起因

运维同事：今天运维同事问drone-runner-docker这个容器是不是你在用，腾讯安装报毒drone里面有木马。

_我_：这个容器实例是CI/CD工具持续交付的核心服务来，停掉影响很大。这样吧，你提供多点信息我找一下解决办法。

后来运维同事提供出了更多信息，最终指向名叫tmate的这个程序。

官方说法

到底是不是木马我也不是很清楚，抱着找一找看看官方是怎样说的心态。

那它到底是不是木马呢？官方回答：不是

下面是原文：Detected Linux/Hildegard.A!MTB in drone/drone-runner-docker:1 - Support - Drone

详情

官方回答是这样的：

这看起来像是一个误报，其中 tmate 3 被您的扫描仪标记。 Tmate 是一个远程会话工具，包含在 docker 镜像中。它促进了我们的远程调试功能，您可以在此处阅读更多信息： https://discourse.drone.io/t/feature-preview-debug-mode/8344

Tmate 是一个合法的工具，被 Travis 等其他 CI 提供者使用： https://docs.travis-ci.com/user/running-build-in-debug-mode/#connecting-to-the-job-running-in-the-debug-mode

如果您查看您提供的 Virus Total 仪表板，您会发现许多提供商都将其标记为潜在威胁而非病毒 (Not-a-virus:HEUR:RemoteAdmin.Linux.Tmate.a)。这是有道理的，因为尽管 Tmate 是一个具有合法用途的合法工具，但攻击者将 Tmate 与木马恶意软件捆绑在一起以获取其反向 shell 功能 [1]，因此它被标记为潜在威胁。

[1] Hildegard: New TeamTNT Cryptojacking Malware Targeting Kubernetes 1

tmate工具并不是木马，只是大多木马会包含这个工具来进行会话通讯。所以当清楚你使用的服务情况时，大多数下都是误报。

解决误报

但是每个人的情况并不一样。如果你和原文中提问的人一样，来自安全部门的诉求时，大多很难解释清楚。

在原文中也提供了解决办法：在drone-runner-docker镜像的基础下删除tmate二进制文件，并封装成新的镜像。虽然无法使用Drone的远程调试功能，却能避免误报的情况。

FROM drone/drone-runner-docker:1-linux-amd64 as drone

FROM scratch

ENV GODEBUG netdns=go
ENV DRONE_PLATFORM_OS linux
ENV DRONE_PLATFORM_ARCH amd64

COPY --from=drone /etc/ssl/certs/ca-certificates.crt /etc/ssl/certs/
COPY --from=drone /bin/drone-runner-docker /bin/

LABEL com.centurylinklabs.watchtower.stop-signal="SIGINT"

ENTRYPOINT ["/bin/drone-runner-docker"]

自动产出changelog-第二节：自动产出

发表于 2021-04-13 更新于 2023-04-28 分类于经验分享 Valine：

背景

接上一篇《自动产出changelog-第一节：规范提交代码》调研的后续，本文将基于 angular.js格式的提交内容围绕自动化产出进行后续调研。研究的方向为产出内容的工具是否支持各种自定义特性，能否帮助我们实现团队的风格及自动化过程中的一些问题。

阅读全文 »