{{ cat }}'s docs

分析规划

需求: 使用shell定制各种个性化告警工具,但需要统一化管理、规范化管理。 思路: 指定一个脚本包,包含主程序、子程序、配置文件、邮件引擎、输出日志等。 主程序: 作为整个脚本的入口,是整个系统的命脉。 配置文件: 是一个控制中心,用它来开关各个子程序,指定各个相关联的日志文件。 子程序: 这个才是真正的监控脚本,用来监控各个指标。 邮件引擎: 是由一个php程序来实现,它可以定义发邮件的服务器、发邮件人以及收邮件人。 输出日志: 整个监控系统要有日志输出。

PS: 我们的机器角色多种多样,但是所有机器上都要部署同样的监控系统,也就说所有机器不管什么角色,整个程序框架都是一致的,不同的地方在于根据不同的角色,定制不同的配置文件。

程序架构

tree mon

mon ├── bin │ └── main.sh ├── conf │ └── mon.conf ├── log │ ├── err.log │ └── mon.log ├── mail │ ├── mail.php │ └── mail.sh └── shares ├── 502.sh └── load.sh

架构介绍

bin下是主程序 conf下是配置文件 shares下是各个监控脚本 mail下是邮件引擎 log下是日志

主程序:main.sh

main.sh:脚本入口

!/bin/bash

Written by aming.

export send=1

声明全局变量send,值为1,用来控制是否发送邮件

export addr=/sbin/ifconfig|grep -A1 'eth0'|grep addr:|awk '{print $2}'|awk -F: '{print $2}'

声明全局变量addr,值为IP地址

dir=pwd

为dir变量赋值为当前所在路径

last_dir=echo $dir|awk -F'/' '{print $NF}'

为last_dir变量赋值为当前所在路径的最后一段目录

其实可以basename pwd来获取

if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]; then conf_file="../conf/mon.conf" else echo "you shoud cd bin dir" exit fi

如果在bin目录里,指定它的配置文件mon.conf路径

exec 1>>../log/mon.log 2>>../log/err.log

指定此脚本输出日志文件路径

echo "date +"%F %T" load average" /bin/bash ../shares/load.sh

启动负载监控脚本,查看负载

if grep -q 'to_mon_502=1' $conf_file; then export log=grep 'logfile=' $conf_file |awk -F '=' '{print $2}' |sed 's/ //g' /bin/bash ../shares/502.sh fi

如果配置文件mon.conf中存在"to_mon_502=1"字符串(代表502监控启动)

将log变量赋值,并声明为全局变量;此变量502脚本需要

解释说明 此文件是整个监控的入口,主要起到了如下作用:

  • 指定配置文件路径、日志文件路径;
  • 检查配置文件,查看相应监控脚本是否启动(例如load是肯定监控,502可选择是否监控);
  • 根据配置文件,启动相应监控脚本;
  • 定义了相关全局变量,以供子脚本使用。

配置文件:mon.conf

mon.conf:脚本配置文件,定义该子脚本是否被执行

to config the options if to monitor

cdb

to_mon_cdb=0

0 or 1, default 0,0 not monitor, 1 monitor

cdb_ip=10.20.3.13 cdb_port=3315 cdb_user=username cdb_pass=passwd

httpd

to_mon_httpd=0

php

to_mon_php_socket=0

http_code_502,502错误(一般是服务器php出了问题)

to_mon_502=1 logfile=/data/log/xxx.xxx.com/access.log

request_count

to_mon_request_count=0 req_log=/data/log/www.discuz.net/access.log domainname=www.discuz.net

analyse access log avoid wget or curl

to_mon_log=0

解释说明

  • 配置文件定义相关监控脚本是否需要被执行
  • 此处我们只需要关注502错误,此配置文件的生效方式,是我们在其他脚本中用grep查询配置文件相应字段的值,只是我们自定义的一种方式,系统级和软件级应用并不是用这么简单的方式,在这里我们不深究

监控脚本:load.sh

load.sh:关于服务器负载情况的监控脚本

! /bin/bash

Writen by aming

load=uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's/ //g' |cut -d. -f1

给load赋值为系统1分钟以内的平均负载(uptime命令最后面跟有负载信息)

if [ $load -gt 20 ] && [ $send -eq "1" ] then echo "$addr date +%T load is $load" >../log/load.tmp

## 将ip、时间、负载过载警告写入一个临时文件,以待发送告警
/bin/bash ../mail/mail.sh $addr\_load $load ../log/load.tmp
## mail.sh中的$1、$2和$3在这里

fi echo "date +%T load is $load"

如果1分钟内的负载高了,调用mail.sh(调用mail.sh并不一定是发送邮件)

如果send变量为1(初始赋值为1)并且load(系统1分钟内平均负载)大于20

监控脚本:502.sh

502.sh:502错误的监控脚本

! /bin/bash

d=date -d "-1 min" +%H:%M

取1分钟以前的时间

c_502=grep :$d: $log |grep ' 502 '|wc -l

log变量中1分钟以前含502关键字的行数

if [ $c_502 -gt 10 ] && [ $send == 1 ]; then echo "$addr $d 502 count is $c_502">../log/502.tmp

## 将ip、时间、502错误警告写入一个临时文件,以待发送告警
 /bin/bash ../mail/mail.sh $addr\_502 $c_502  ../log/502.tmp
## mail.sh中的$1、$2和$3在这里

fi

如果行数大于10并且send为1

调用mail.sh脚本(并不代表发送邮件)

echo "date +%T 502 $c_502"

解释说明: 如果1分钟以内502错误的出现次数大于10,则调用mail.sh

邮件发送脚本:mail.sh

mail.sh:邮件发送脚本(判断是否符合发送告警邮件的标准)

!/bin/bash

输入第一个变量赋值给log,load和502脚本都是本机IP地址

log=$1

之所以赋值两小时以前的时间戳,是希望在第一次运行此脚本时,$v大于3600秒,确保邮件发送成功

t_s=date +%s t_s2=date -d "2 hours ago" +%s

$1(主机IP)为名称的文件在tmp下是否存在,不存在意味着此脚本第一次运行,创建该文件,并输入内容为两小时以前的时间戳(此举是为了让脚本在第一次运行时发送邮件,只要大于3600秒就可以)

if [ ! -f /tmp/$log ]
then echo $t_s2 > /tmp/$log
fi

给t_s2重新赋值为该文件里的最新的时间戳

t_s2=tail -1 /tmp/$log|awk '{print $1}'

然后把当前时间戳追加到该文件

echo $t_s>>/tmp/$log

v=$[$t_s-$t_s2]

若两次调用mail脚本的时间差大于3600秒即1小时,则发送告警邮件

if [ $v -gt 3600 ]
then
/usr/bin/php ../mail/mail.php "$1 $2" "$3 " echo "0" > /tmp/$log.txt
else

## 若两次调用mail脚本的时间差小于一小时,则检查log.txt是否存在
## 不存在的话说明是一小时以内第一次告警,创建文件并记录数字0
if [ ! -f /tmp/$log.txt ]     
then
    echo "0" > /tmp/$log.txt      
fi
## 若计数器文件存在,即给log.txt里的数字加1。
nu=`cat /tmp/$log.txt`
nu2=$[$nu+1]               
echo $nu2>/tmp/$log.txt  
## 检查计数器文件中的数字是否大于10
## 若数字大于10,意味着调用了十次mail脚本,需要再次告警
if [ $nu2 -gt 10 ]          
then    
    /usr/bin/php ../mail/mail.php "trouble continue 10 min $1  $2 " "$3"
    echo "0" > /tmp/$log.txt
fi    

fi

解释说明 发送邮件的两个条件:

  • 距离上一次调用mail脚本已经间隔了1小时以上;
  • 1小时以内已经调用了mail脚本累计10次以上;

邮件引擎:mail.php

mail.php:邮件php引擎,不必掌握

!/usr/bin/python

import smtplib import sys

HOST = "smtp.gmail.com" SUBJECT = sys.argv[1] TO = "igameyunwei2@gmail.com" FROM = "igameyunwei@gmail.com"

try: TEXT = sys.argv[2] except IndexError as e: TEXT = e

BODY = '\r\n'.join(( "From: %s" % FROM, "To: %s" % TO, "Subject: %s" % SUBJECT, "", TEXT, ))

smtp = smtplib.SMTP() smtp.connect(HOST, "25") smtp.starttls() smtp.login(FROM, "bendan.521") smtp.sendmail(FROM, [TO], BODY) smtp.quit()

Contents