x2ts最近的几个大动作

最近在将x2ts由git submodule使用方式重构到composer上,顺便检讨之前设计不合理的地方并加以修订。预计将会有以下几大调整:

  1. 使用composer管理依赖
  2. 遵循PSR-1开发规范
  3. 使用PSR-4 autoload机制
  4. 日志模块基于monolog实现
  5. 配置不再保存于static变量中,迁移到Configuration类
  6. 加入事件支持和全局事件总线
  7. 路由器切分为路由和规则两部分
  8. Router和Action类中的事件改向全局事件总线触发
  9. 除MVC外的组件迁移到单独的库中,作为可选模块使用
  10. 加入Unit Test

PHP 7.0.16 在阿里云容器服务中Could not gather sufficient random data问题的解决办法

最近一个在公司内部环境测试正常的PHP7.0.16容器发布到阿里云容器服务后,调用random_bytes函数回报Could not gather sufficient random data错误。上网搜了一圏看到是这个Patch导致的。如果PHP在新版系统内核中编译,PHP会使用新版内核中提供的getrandom调用来取得随机数,而不会读取/dev/urandom,如果把它移到旧版内核的系统上运行,random_intrandom_bytes函数就会报Could not gather sufficient random data。

阿里云的容器服务默认用的是Ubuntu 14.04 3.13.60-generic版本的内核,我的PHP容器是在Ubuntu 16.04 4.9.12-moby内核中编译构建的,所以会触发这个问题。解决方法是升级阿里云的容器服务节点,把内核升级到4.x之后此问题就没有发生了。希望未来的PHP版本会提供getrandom失败后的fallback方案。

清理mac上Docker占用的磁盘空间

Docker依赖Linux系统的cgroup实现,在mac系统中运行的时候,Docker会启动一个虚拟机中的Linux内核,并在硬盘上放一个qcow2格式的磁盘镜像文件。这个文件会随着Docker的使用不断膨胀,即使删除不用的Docker Image和Container也不会缩小。我在测试完一个自动化工具的Dockerfile改写之后,Docker.qcow2文件就达到42GB了。

Google搜了一圏发现一个叫Théo Chamley的法国人写了一个脚本释放Docker.qcow2文件占用的空间。基本原理是用docker save命令保存要保留的image,然后关闭Docker,删除Docker.qcow2,再启动Docker,它会自动重建,最后用docker load命令恢复保留的image。

下面是这哥儿们写的脚本。

#!/bin/bash

# Copyright 2017 Théo Chamley
# Permission is hereby granted, free of charge, to any person obtaining a copy of 
# this software and associated documentation files (the "Software"), to deal in the Software
# without restriction, including without limitation the rights to use, copy, modify, merge,
# publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons
# to whom the Software is furnished to do so, subject to the following conditions:
#
# The above copyright notice and this permission notice shall be included in all copies or
# substantial portions of the Software.
#
# THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING
# BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
# NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM,
# DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,

IMAGES=$@

echo "This will remove all your current containers and images except for:"
echo ${IMAGES}
read -p "Are you sure? [yes/NO] " -n 1 -r
echo    # (optional) move to a new line
if [[ ! $REPLY =~ ^[Yy]$ ]]
then
    exit 1
fi


TMP_DIR=$(mktemp -d)

pushd $TMP_DIR >/dev/null

open -a Docker
echo "=> Saving the specified images"
for image in ${IMAGES}; do
    echo "==> Saving ${image}"
    tar=$(echo -n ${image} | base64)
    docker save -o ${tar}.tar ${image}
    echo "==> Done."
done

echo "=> Cleaning up"
echo -n "==> Quiting Docker"
osascript -e 'quit app "Docker"'
while docker info >/dev/null 2>&1; do
    echo -n "."
    sleep 1
done;
echo ""

echo "==> Removing Docker.qcow2 file"
rm ~/Library/Containers/com.docker.docker/Data/com.docker.driver.amd64-linux/Docker.qcow2

echo "==> Launching Docker"
open -a Docker
echo -n "==> Waiting for Docker to start"
until docker info >/dev/null 2>&1; do
    echo -n "."
    sleep 1
done;
echo ""

echo "=> Done."

echo "=> Loading saved images"
for image in ${IMAGES}; do
    echo "==> Loading ${image}"
    tar=$(echo -n ${image} | base64)
    docker load -q -i ${tar}.tar || exit 1
    echo "==> Done."
done

popd >/dev/null
rm -r ${TMP_DIR}

Théo Chamley的博客原文

用Bartender隐藏macOS通知栏的spotlight图标

一直用Bartender管理mac的通知栏,隐藏一些不常用的图标。但是从Mac OS X 10.11版开始,Spotlight的图标就无法被Bartender隐藏了。因为Mac OS默认会打开系统完整性保护(SIP)功能,拒绝其它程序修改Mac系统,所以Bartender无法修改Spotlight的显示状态。

想要隐藏spotlight图标需要先得把SIP暂时关闭:

  1. 重新启动电脑,在黑屏后,显示苹果标志前,按住键和R键,让Mac进入救援模式;
  2. 在救援模式的工具菜单中打开终端机,在终端中运行命令csrutil disable,关闭SIP;
  3. 退出终端重启电脑;
  4. 打开Bartender,现在可以设置Spotlight的隐藏设置了;
  5. 设置完成后,再次重启进入救援模式,方法同步骤1;
  6. 打开终端机,运行命令csrutil enable再次启用SIP;
  7. 重启到正常模式后,Bartender的对Spotlight的隐藏设置依然有效。

使用flock确保只有一个命令实例在运行

公司的机房设置了一个5分钟执行一次的数据同步脚本。一般每次同步只需要花费不到20秒即可完成,但网络出现问题时,就可能五分钟无法完成同步。脚本第二次启动可能干扰仍在运行的第一次脚本,需要有一个办法确保只有一个实例在运行。

Ubuntu系统提供了一个软件包叫run-one,可能实现这一功能,让我们来试试。首先安装软件包,以root权限运行:

# apt-get install run-one

安装好之后,运行run-one <要单实例运行的命令>,就可以确保只有一个实例运行了。比如:

# run-one tail -f /var/log/syslog

我们可以看到syslog的最后几行,并随着日志输出而滚动。此时如果打开另一个terminal,再次输入上述命令,会直接退出,并且exit code是1:

# run-one tail -f /var/log/syslog
# echo $?
1

除了run-one命令,run-one软件包中还提供了几个实用的命令:

  • run-one 只运行一个进程实例,如果实例已存在,直接退出
  • run-this-one 只运行一个进程实例,如果实例已存在,kill掉它并重新运行
  • run-one-constantlyrun-one一样,只运行一个进程实例,当进程退出时自动重新启动
  • keep-one-running run-one-constantly的别名
  • run-one-until-successrun-one-constantly相似,但只有当进程退出码不为0时才重新启动进程
  • run-one-until-failurerun-one-constantly相似,但只有当进程退出码为0时才重新启动进程

在CentOS系统中,并没有run-one软件包可供使用。不过我们可以利用flock锁定的机制自己实现只有一个进程运行。

可以写一个脚本:

#!/bin/bash

TODAY=`date +%Y%m%d`
(
  flock -xn 100 || exit 1
  scp root@myhost:/data/backups/$TODAY.log.gz /data/backups/myhost/
  gzip -d /data/backups/myhost/$TODAY.log.gz | xz -9 -e > /data/backups/myhost/$TODAY.log.xz && \
  rm /data/backups/myhost/$TODAY.log.gz
) 100>/tmp/backup_data.lock

上面的脚本中,flock命令会对/tmp/sync_data.lock文件加上写入锁(排它锁),分别在两个terminal中运行这个命令,会看到一个开始scp拷贝数据,另一个直接退出,退出状态码为1。

flock命令有三种写法:

  1. flock [-sxun][-w #] fd#
  2. flock [-sxon][-w #] file [-c] command...
  3. flock [-sxon][-w #] directory [-c] command...

我们前面用的是第一种,定义一个文件描述符,这种方法适合用于多行命令需要排它运行的场景。后两种flock的用法适合只有一条命令要运行的场景。flock-s选项表示要获取读取锁(共享锁);-x选项表示要获取写入锁(排它锁);-o选项表示在运行命令前关闭已取得锁定的文件,如果后面的命令可能产生不该取得锁定的子进程,这个选项会很有用;-n选项表示不要阻塞,如果无法取得锁,不要等待其它进程释放锁定,直接退出;-w 10表示等待10秒,如果10秒仍无法取得锁,就退出。

run-one是一个Bash脚本,通过查看run-one命令的源码得知,它也是利用flock实现的唯一化处理。如果不想自己编写带flock的程序,又想使用run-one提供的完整功能,可以去Github上下载run-one项目的代码。