工程化体系主要是解决能够统一进行打包的问题,故需要对整体进行描述
对于每一个子项目而言,需要有专门的配置管理目录,目录的建议组建方式为conf/defalut
和conf/local
,其中defalut目录下存放组建默认的启动时配置,local为客户环境部署更改之后的启动时配置。当我们更新包的时候,这里存在交互逻辑,具体如下:
在配置管理目录中使用conf/default
和conf/local
的方式,可以有效地管理默认配置和本地配置的差异。
首先,我们需要明确此次包更新的范围,包括需要更新的文件和配置。
根据比较结果,手动或使用脚本将conf/default
中的更新合并到conf/local
中。具体步骤如下
将conf/default
中新增的配置项添加到conf/local
中。
如果conf/default
删除了某些配置项,评估是否也需要从conf/local
中删除。
对于在conf/default
中修改的配置项,检查conf/local
是否也需要相应修改。需要注意的是,某些配置已经在客户环境中进行了定制,合并时要慎重。
对于每一个子项目而言,所有的源代码,建议放到src/
目录下
对于每一个子项目而言,每个模块自己更新时输出的更新日志或安装日志,包括成功,错误等等,建议放到logs/
目录下
对于每一个子项目而言,需要提供自己的打包脚本,都使用make指令所依赖的MakeFile来做,例如java语言本身使用maven打包,可以将相关命令写到MakeFile文件中;go语言使用go build打包,也是重写命令即可;以此类推;如果是非编译型语言,例如python、php等,建议对源码进行混淆或使用工具进行编译(压缩),减少源代码泄漏风险。
对于每一个子项目而言,需要提供自己运行的进程管理脚本,建议使用service/
目录,进程管理使用Supervisord
,故需要提供子项目运行的所有运行配置,具体请参考Supervisord
的文档。
如果项目依赖一些外部依赖包,由于打包的时候会使用相关的包,请勿使用在线下载的方式或引用外部包的方式,而采取将这些包直接放到本地外部依赖包目录,建议使用lib/
目录下,注意,这里不仅可以存储打包时依赖,也可以存放运行时依赖。
如果项目存在插件模式,则建议使用目录extends/
建议使用目录sh
,这里面主要存储打包后运行该服务时自动化执行的命令,同时应该至少提供 start-linux.sh
、stop-linux.sh
、start-win.bat
、stop-win.bat
等脚本,便于主层启停任务。
主目录主要考虑需要在外部调用主的MakeFile,然后里面会定义整个打包流程。
bin目录存放所有的软件代码,所有子项目的目录都放在这里面
conf目录存放主项目的配置
核心MakeFile,将调用子项目的MakeFile,并根据依赖顺序进行打包
存放主supervisord
的配置,防止与其他服务出现共用supervisord
的情况,需要自己维护一个supervisord
服务,故这里存储主supervisord
系统服务和其注册脚本,以及主配置。
build目录存放打包之后的内容,打包前这个目录保持为空。
以下是更新后的目录结构和说明,其中 bin
目录存放所有子项目的代码,每个子项目都有独立的子目录。
my_project/
├── bin/
│ ├── sub_project1/
│ │ ├── conf/
│ │ │ ├── default/
│ │ │ │ └── sub_project1.conf
│ │ │ ├── local/
│ │ │ └── sub_project1.conf
│ │ ├── lib/
│ │ │ └── example_dependency1.jar
│ │ ├── logs/
│ │ ├── service/
│ │ │ ├── sub_project1.conf
│ │ ├── sh/
│ │ │ ├── start-linux.sh
│ │ │ ├── stop-linux.sh
│ │ │ ├── start-win.bat
│ │ │ └── stop-win.bat
│ │ ├── src/
│ │ │ ├── main.py
│ │ │ └── ...
│ │ ├── extends/
│ │ ├── Makefile
│ │ └── README.md
│ ├── sub_project2/
│ │ ├── conf/
│ │ │ ├── default/
│ │ │ │ └── sub_project2.conf
│ │ │ ├── local/
│ │ │ └── sub_project2.conf
│ │ ├── lib/
│ │ │ └── example_dependency2.jar
│ │ ├── logs/
│ │ ├── service/
│ │ │ ├── sub_project2.conf
│ │ ├── sh/
│ │ │ ├── start-linux.sh
│ │ │ ├── stop-linux.sh
│ │ │ ├── start-win.bat
│ │ │ └── stop-win.bat
│ │ ├── src/
│ │ │ ├── main.py
│ │ │ └── ...
│ │ ├── extends/
│ │ ├── Makefile
│ │ └── README.md
├── build/
├── conf/
│ ├── default/
│ │ └── main.conf
│ ├── local/
│ └── main.conf
├── lib/
│ └── common_dependency.jar
├── logs/
├── service/
│ ├── supervisord.conf
│ ├── main_project.conf
├── sh/
│ ├── start-linux.sh
│ ├── stop-linux.sh
│ ├── start-win.bat
│ └── stop-win.bat
├── Makefile
└── README.md
子项目1的目录,结构与主项目类似。
conf/
:存放子项目1的配置文件。
default/
:默认配置。
local/
:本地配置。
lib/
:存放子项目1的外部依赖包。
logs/
:存放子项目1的日志文件。
service/
:存放子项目1的服务管理脚本和 Supervisord 配置文件。
sh/
:存放子项目1的启动和停止脚本。
src/
:存放子项目1的源代码。
extends/
:存放子项目1的插件。
Makefile
:子项目1的 Makefile 文件。
README.md
:子项目1的说明文档。
default/
:存放默认的配置文件。local/
:存放本地环境的配置文件。common_dependency.jar
。supervisord.conf
:主 Supervisord 配置文件。main_project.conf
:主项目的 Supervisord 进程配置文件。start-linux.sh
:启动脚本(Linux)。stop-linux.sh
:停止脚本(Linux)。start-win.bat
:启动脚本(Windows)。stop-win.bat
:停止脚本(Windows)。start-linux.sh
:打包后启动脚本(Linux)。stop-linux.sh
:打包后停止脚本(Linux)。start-win.bat
:打包后启动脚本(Windows)。stop-win.bat
:打包后停止脚本(Windows)。# 主Makefile
.PHONY: all clean
SUBPROJECTS := sub_project1 sub_project2
all: $(SUBPROJECTS)
$(SUBPROJECTS):
$(MAKE) -C bin/$@
clean:
@for subdir in $(SUBPROJECTS); do \
$(MAKE) -C bin/$$subdir clean; \
done
rm -rf build/*
[supervisord]
logfile=/var/log/supervisord/supervisord.log
logfile_maxbytes=50MB
logfile_backups=10
loglevel=info
pidfile=/var/run/supervisord.pid
nodaemon=false
[unix_http_server]
file=/var/run/supervisor.sock
chmod=0700
[supervisorctl]
serverurl=unix:///var/run/supervisor.sock
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
[include]
files = /opt/my_project/service/*.conf
[program:sub_project1]
command=python3 /opt/my_project/bin/sub_project1/src/main.py
autostart=true
autorestart=true
startsecs=5
stderr_logfile=/var/log/sub_project1/error.log
stdout_logfile=/var/log/sub_project1/access.log
environment=PYTHONPATH="/opt/my_project/bin/sub_project1/src"
#!/bin/bash
SUPERVISOR_CONF=/opt/my_project/service/supervisord.conf
supervisord -c $SUPERVISOR_CONF
#!/bin/bash
SUPERVISOR_CONF=/opt/my_project/service/supervisord.conf
supervisorctl -c $SUPERVISOR_CONF shutdown
@echo off
set SUPERVISOR_CONF=C:\path\to\my_project\service\supervisord.conf
supervisord -c %SUPERVISOR_CONF%
@echo off
set SUPERVISOR_CONF=C:\path\to\my_project\service\supervisord.conf
supervisorctl -c %SUPERVISOR_CONF% shutdown
# 子项目
1的Makefile
.PHONY: all clean
all: build
build:
# 这里可以添加编译或构建命令,例如:
# javac -d bin/ src/*.java
echo "Building sub_project1"
clean:
rm -rf build/*
rm -rf logs/*
Copyright© 2013-2020
All Rights Reserved 京ICP备2023019179号-8