使用Supervisor3.2.1基于Mac10.10.3对系统进程进行管理

使用Supervisor3.2.1基于Mac10.10.3对系统进程进行管理

目录

[toc]

一、基础知识

0.1、什么是Supervisor?


  Supervisor是由python语言编写的一款服务器管理工具,用以监控服务器的运行,发现问题能立即自动预警及自动重启等功能。可以运行在大多数类UNIX系统上,比如Linux、MAC OS X、Solaris、FreeBSD。
  除了对单个进程的控制,还可以同时启动、关闭多个进程,比如很不幸的服务器出问题导致所有应用程序都被杀死,此时可以用 Supervisor 同时启动所有应用程序而不是一个一个地敲命令启动。
  Supervisor目前支持Python2.4以及之后的版本,但不支持Python3。

0.2、Supervisor的特性 


  • 简单

  Supervisor通过INI格式配置文件进行配置,很容易掌握,它为每个进程提供了很多配置选项,可以使你很容易的重启进程或者自动的轮转日志。
  
* 统一

  Supervisor提供了一种统一的方式来start、stop、monitor你的进程,进程可以单独控制,也可以成组的控制。你可以在本地或者远程命令行或者web接口来配置Supervisor。
  
* 有效

  Supervisor通过fork/exec启动它的子进程,子进程并不是守护进程。当一个进程终止的时候,操作系统会立即给Supervisor发送一个信号,而不是像其他解决方案依赖PID文件。
  
* 可扩展 

  Supervisor包含一个简单的事件通知协议,因此任何程序都可以监控它,而且提供一个XML-RPC控制接口。

0.3、Supervisor有哪些组件? 


  • Supervisord

  服务会启动Supervisord服务,它负责调用自己启动子程序,响应来自客户端的命令,重启crash或者退出的进程,记录进程的输出信息,收集事件信息。该服务的配置文件在/etc/supervisor/supervisord.conf。
  
* Supervisorctl 

  客户端的命令行工具,提供一个类shell接口,通过它你可以连接到不同的supervisord进程上来管理它们各自的子程序。客户端命令通过UNIX socket或者TCP来和服务通讯,服务端可以要求客户端提供身份验证之后才能进行操作([supervisorctl])。
    
* Web Server 

  一个小的web接口被集成进了supervisorctl,重启supervisord之后就可以访问了([inet_http_server])。
  
* XML-RPC Interface:

  就像HTTP提供WEB UI一样,同时还提供了XML-RPC接口来控制supervisor和由它运行的程序。

0.4、Supervisor的官网在哪里?

  http://supervisord.org/

0.5、如何安装?

  在官网中介绍 Supervisor 支持以下几种安装方法:

  • easy_install  
easy_install supervisor
  • pip
pip install supervisor
  • apt-get (Debian/Ubuntu)
apt-cache show supervisor
apt-get update
apt-get install supervisor
  • yum(CentOS)
yum info supervisor
apt-get install supervisor
  • brew(Mac OS)
➜ /Users/lion >brew install supervisor
==> Downloading > https://homebrew.bintray.com/bottles/supervisor-3.2.1.yosemite.bottle.tar.gz
######################################################################## 100.0%
==> Pouring supervisor-3.2.1.yosemite.bottle.tar.gz
==> Caveats
To have launchd start supervisor at login:
  ln -sfv /usr/local/opt/supervisor/*.plist ~/Library/LaunchAgents
Then to load supervisor now:
  launchctl load ~/Library/LaunchAgents/homebrew.mxcl.supervisor.plist
Or, if you don't want/need launchctl, you can just run:
  supervisord -c /usr/local/etc/supervisord.ini
==> Summary
  /usr/local/Cellar/supervisor/3.2.1: 107 files, 1.3M

二、使用Supervisor对系统进程进行管理

0.1、Supervisord的配置文件

  在Mac下使用brew安装完以后,可以看到,文件是安装到了/usr/local/Cellar/supervisor/3.2.1目录下面。

  安装完以后,我们可以使用 echo_supervisord_conf 命令查看配置项,也可以将配置项保存到文件中

➜ /usr/local/Cellar/supervisor/3.2.1 git:(master)>echo_supervisord_conf > supervisord.ini

  去掉注释和不相关的部分,我们可以看下配置文件的内容(部分注释被我修改过):

➜ /usr/local/Cellar/supervisor/3.2.1 git:(master)>cat supervisord.ini
[unix_http_server]
file=/usr/local/var/run/supervisor.sock ; UNIX socket 文件,supervisorctl 会使用
;chmod=0700                 ; socket 文件的 mode,默认是 0700
;chown=nobody:nogroup       ; socket的拥有者和组名
;username=user              ; 默认不需要登陆用户 (open server)
;password=123               ; 默认不需要登陆密码 (open server)

;[inet_http_server]         ; HTTP 服务器,提供 web 管理界面
;port=127.0.0.1:9001        ; Web 管理后台运行的 IP 和端口,如果开放到公网,需要注意安全性
;username=user              ; 登录管理后台的用户名
;password=123               ; 登录管理后台的密码

[supervisord]
logfile=/Users/lion/logs/supervisord.log ; 日志文件,默认是 $CWD/supervisord.log
logfile_maxbytes=50MB        ; 日志文件大小,超出会 rotate,默认 50MB
logfile_backups=10           ; 日志文件保留备份数量默认 10
loglevel=info                ; 日志级别,默认 info,其它: debug,warn,trace
pidfile=/usr/local/var/run/supervisord.pid ; pid 文件
nodaemon=false               ; 是否在前台启动,默认是 false,即以 daemon 的方式启动
minfds=1024                  ; 可以打开的文件描述符的最小值,默认 1024
minprocs=200                 ; 可以打开的进程数的最小值,默认 200
;umask=022                   ; 进程文件的umask,默认020
;user=chrism                 ; 默认为当前用户,如果为root则必填
;identifier=supervisor       ; supervisord的表示符, 默认时'supervisor'
;directory=/tmp              ; 默认不cd到当前目录
;nocleanup=true              ; 不在启动的时候清除临时文件,默认false
;childlogdir=/tmp            ; ('AUTO' child log dir, default $TEMP)
;environment=KEY="value"     ; 初始键值对传递给进程
;strip_ansi=false            ; (strip ansi escape codes in logs; def. false)


[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///usr/local/var/run/supervisor.sock ; use a unix:// URL  for a unix socket
;serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket
;username=chris              ; 如果设置应该与http_username相同
;password=123                ; 如果设置应该与http_password相同
;prompt=mysupervisor         ; 命令行提示符,默认"supervisor"
;history_file=~/.sc_history  ; 命令行历史纪录


;[program:theprogramname]
;command=/bin/cat              ; 运行的程序 (相对使用PATH路径, 可以使用参数)
;process_name=%(program_name)s ; 进程名表达式,默认为%(program_name)s
;numprocs=1                    ; 默认启动的进程数目,默认为1
;directory=/tmp                ; 在运行前cwd到指定的目录,默认不执行cmd
;umask=022                     ; 进程umask,默认None
;priority=999                  ; 程序运行的优先级,默认999
;autostart=true                ; 默认随supervisord自动启动,默认true
;startsecs=1                   ; # of secs prog must stay up to be running (def. 1)
;startretries=3                ; max # of serial start failures when starting (default 3)
;autorestart=unexpected        ; when to restart if exited after running (def: unexpected)
;exitcodes=0,2                 ; 期望的退出码,默认0,2
;stopsignal=QUIT               ; 杀死进程的信号,默认TERM
;stopwaitsecs=10               ; max num secs to wait b4 SIGKILL (default 10)
;stopasgroup=false             ; 向unix进程组发送停止信号,默认false
;killasgroup=false             ; 向unix进程组发送SIGKILL信号,默认false
;user=chrism                   ; 为运行程序的unix帐号设置setuid
;redirect_stderr=true          ; 将标准错误重定向到标准输出,默认false
;stdout_logfile=/a/path        ; 标准输出的文件路径NONE=none;默认AUTO
;stdout_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stdout_logfile_backups=10     ; # of stdout logfile backups (default 10)
;stdout_capture_maxbytes=1MB   ; number of bytes in 'capturemode' (default 0)
;stdout_events_enabled=false   ; emit events on stdout writes (default false)
;stderr_logfile=/a/path        ; stderr log path, NONE for none; default AUTO
;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups=10     ; # of stderr logfile backups (default 10)
;stderr_capture_maxbytes=1MB   ; number of bytes in 'capturemode' (default 0)
;stderr_events_enabled=false   ; emit events on stderr writes (default false)
;environment=A="1",B="2"       ; process environment additions (def no adds)
;serverurl=AUTO                ; override serverurl computation (childutils)


;[eventlistener:theeventlistenername]
;command=/bin/eventlistener    ; 运行的程序 (相对使用PATH路径, 可以使用参数)
;process_name=%(program_name)s ; 进程名表达式,默认为%(program_name)s
;numprocs=1                    ; 默认启动的进程数目,默认为1
;events=EVENT                  ; event notif. types to subscribe to (req'd)
;buffer_size=10                ; 事件缓冲区队列大小,默认10
;directory=/tmp                ; 在运行前cwd到指定的目录,默认不执行cmd
;umask=022                     ; 进程umask,默认None
;priority=-1                   ; 程序运行的优先级,默认-1
;autostart=true                ; 默认随supervisord自动启动,默认true
;startsecs=1                   ; # of secs prog must stay up to be running (def. 1)
;startretries=3                ; max # of serial start failures when starting (default 3)
;autorestart=unexpected        ; autorestart if exited after running (def: unexpected)
;exitcodes=0,2                 ; 期望的退出码,默认0,2
;stopsignal=QUIT               ; 杀死进程的信号,默认TERM
;stopwaitsecs=10               ; 向unix进程组发送停止信号,默认false
;stopasgroup=false             ; 向unix进程组发送SIGKILL信号,默认false
;killasgroup=false             ; SIGKILL the UNIX process group (def false)
;user=chrism                   ; setuid to this UNIX account to run the program
;redirect_stderr=false         ; redirect_stderr=true is not allowed for eventlisteners
;stdout_logfile=/a/path        ; stdout log path, NONE for none; default AUTO
;stdout_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stdout_logfile_backups=10     ; # of stdout logfile backups (default 10)
;stdout_events_enabled=false   ; emit events on stdout writes (default false)
;stderr_logfile=/a/path        ; stderr log path, NONE for none; default AUTO
;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups=10     ; # of stderr logfile backups (default 10)
;stderr_events_enabled=false   ; emit events on stderr writes (default false)
;environment=A="1",B="2"       ; process environment additions
;serverurl=AUTO                ; override serverurl computation (childutils)


;[group:thegroupname]
;programs=progname1,progname2  ; 任何在[program:x]中定义的x
;priority=999                  ; 程序运行的优先级,默认999

; The [include] section can just contain the "files" setting.  This
; setting can list multiple files (separated by whitespace or
; newlines).  It can also contain wildcards.  The filenames are
; interpreted as relative to this file.  Included files *cannot*
; include files themselves.

[include]
files = /usr/local/Cellar/supervisor/3.2.1/conf.d/*.ini

0.2、Supervisord的运行  

  Supervisord的运行也很简单,使用『supervisord -c supervisord.ini』就可以调用配置文件并启动,更多命令可以使用supervisord -h

➜ /usr/local/Cellar/supervisor/3.2.1 git:(master)>supervisord -c supervisord.ini
➜ /usr/local/Cellar/supervisor/3.2.1 git:(master)>ps aux|grep supervisord
lion            72944   0.0  0.0  2432772    564 s004  R+    6:59PM   0:00.00 grep --color=auto --exclude-dir=.bzr --exclude-dir=.cvs --exclude-dir=.git --exclude-dir=.hg --exclude-dir=.svn supervisord
lion            72904   0.0  0.0  2478680   3172   ??  Ss    6:59PM   0:00.01 /usr/bin/python /usr/local/Cellar/supervisor/3.2.1/libexec/bin/supervisord -c supervisord.ini
➜ /usr/local/Cellar/supervisor/3.2.1 git:(master)>

  如果打开了inet_http_server配置,也可以通过web方式去管理子进程,Web方式是使用Basic Auth 的方式进行身份认证,如果是在公网上还要谨慎使用。
  
  

0.3、Supervisorctl的program的配置  

  在上一章节中,我们使用『ps aux|grep supervisord』命令看到,supervisord已经启动起来了。接下来我们需要添加管理的配置文件。
  虽然可以把所有配置项都写到 supervisord.ini 文件里,但并不推荐这样做,而是通过 include 的方式把每个程序的进程分配写到不同的配置文件中。
  示例中,我们将所有的配置文件都放在/usr/local/Cellar/supervisor/3.2.1/conf.d/目录中,所以你可以看到,我刚才给出的Supervisord的配置文件里面的最后2行是这样写的:

[include]
files
 = /usr/local/Cellar/supervisor/3.2.1/conf.d/*.ini

  假设我们要在root目录启动Elasticsearch,正常要在控制台打出下面的命令:

➜ /Users/lion >/Users/lion/tar/elasticsearch-2.3.1/bin/elasticsearch

  下面我们来编写一份配置文件,管理elasticsearch进程:

[program:elasticsearch]
directory = /Users/lion/ ; 程序的启动目录
command = /Users/lion/tar/elasticsearch-2.3.1/bin/elasticsearch  ; 启动命令,可以看出与手动在命令行启动的命令是一样的
autostart = true     ; 在 supervisord 启动的时候也自动启动
startsecs = 5        ; 启动 5 秒后没有异常退出,就当作已经正常启动了
autorestart = true   ; 程序异常退出后自动重启
startretries = 3     ; 启动失败自动重试次数,默认是 3
user = lion          ; 用哪个用户启动
redirect_stderr = true  ; 把 stderr 重定向到 stdout,默认 false
stdout_logfile_maxbytes = 20MB  ; stdout 日志文件大小,默认 50MB
stdout_logfile_backups = 20     ; stdout 日志文件备份数
; stdout 日志文件,需要注意当指定目录不存在时无法正常启动,所以需要手动创建目录(supervisord 会自动创建日志文件)
stdout_logfile = /Users/lion/logs/supervisord_elasticsearch_stdout.log

; 可以通过 environment 来添加需要的环境变量,一种常见的用法是修改 PYTHONPATH
; environment=PYTHONPATH=$PYTHONPATH:/path/to/somewhere

  每一份文件都要有[program:XXX]部分,这样Supervisord才知道管理哪个进程。[program:XXX] 语法中的 XXX 表示 program name,会在客户端(supervisorctl 或 web 界面)显示,在 supervisorctl 中通过这个值来对程序进行 start、restart、stop 等操作。
  

增加完program文件后,要重启下Supervisord,这样配置的program文件才会生效

  

0.4、Supervisorctl的运行

  Supervisorctl启动时需要指定与 Supervisord 使用同一份配置文件,否则与 Supervisord 一样按照顺序查找配置文件,就可能会找不到你的配置。
  使用下面的命令启动Supervisorctl,使用help查看更多用法:

➜ /usr/local/Cellar/supervisor/3.2.1 git:(master)>supervisorctl -c supervisord.ini
elasticsearch                    STARTING
supervisor> status
elasticsearch                    RUNNING   pid 77795, uptime 0:00:08
supervisor> help

default commands (type help ):
=====================================
add    exit      open  reload  restart   start   tail
avail  fg        pid   remove  shutdown  status  update
clear  maintail  quit  reread  signal    stop    version

supervisor>

  在Supervisor中,也可以输入start|stop|restart进行启动、关闭、重启进程:

supervisor> stop elasticsearch
elasticsearch: stopped
supervisor> restart elasticsearch
elasticsearch: ERROR (not running)
elasticsearch: started
supervisor>

  正常启动以后,打开浏览器,输入http://localhost:9200/,可以看到elasticsearch已经启动了:

{
  "name" : "Greer Grant",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.3.1",
    "build_hash" : "bd980929010aef404e7cb0843e61d0665269fc39",
    "build_timestamp" : "2016-04-04T12:25:05Z",
    "build_snapshot" : false,
    "lucene_version" : "5.5.0"
  },
  "tagline" : "You Know, for Search"
}

  至此,Supervisor的使用教程结束了,希望他对你的学习和工作有帮助。
  

三、扩展阅读

supervisord.org官网
Linux系统下的进程监控工具Supervisor的基本使用方法
使用 supervisor 管理进程
使用Supervisor简化进程管理工作


博文作者:迦壹
博客地址:使用Supervisor3.2.1基于Mac10.10.3对系统进程进行管理
写作时间:2016-04-11 20:45
转载声明:可以转载, 但必须以超链接形式标 明文章原始出处和作者信息及版权声明,谢谢合作!


发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注