Skip to content

Latest commit

 

History

History
158 lines (141 loc) · 10.5 KB

README.md

File metadata and controls

158 lines (141 loc) · 10.5 KB

Redis monitor plugin for Open-Falcon


功能支持

已测试的Redis版本2.2.15, 2.4.16, 2.6.14, 2.8.23, 3.0.0.

采集Redis基础状态信息, Redis复制,Redis Cluster, slowlog,所有cmdstat_xx命令执行频率等; 支持单机多实例;

暂不支持Sentinel(哨兵)的监控

环境需求

操作系统: Linux

Python > 2.6

PyYAML > 3.10

redis-py > 2.10

python-requests > 0.11

redismon部署

1 目录解压到/path/to/redismon

2 配置当前服务器的Redis多实例信息,/path/to/redismon/conf/redismon.conf 每行记录一个实例: 集群名,密码,端口

  • {cluster_name: cluster_1, password: '', port: 6379}

3 配置crontab, 修改redismon_cron文件中redismon安装path; cp redismon_cron /etc/cron.d/

4 查看日志文件/path/to/redismon/log/redismon.log, 如无异常信息,表示采集正常;几分钟后,可从open-falcon的dashboard中查看redis metric

5 endpoint默认是hostname

采集的Redis指标


Counters Type Notes
aof_current_rewrite_time_sec GAUGE 当前AOF重写持续的耗时
aof_enabled GAUGE appenonly是否开启,appendonly为yes则为1,no则为0
aof_last_bgrewrite_status GAUGE 最近一次AOF重写操作是否成功
aof_last_rewrite_time_sec GAUGE 最近一次AOF重写操作耗时
aof_last_write_status GAUGE 最近一次AOF写入操作是否成功
aof_rewrite_in_progress GAUGE AOF重写是否正在进行
aof_rewrite_scheduled GAUGE AOF重写是否被RDB save操作阻塞等待
blocked_clients GAUGE 正在等待阻塞命令(BLPOP、BRPOP、BRPOPLPUSH)的客户端的数量
client_biggest_input_buf GAUGE 当前客户端连接中,最大输入缓存
client_longest_output_list GAUGE 当前客户端连接中,最长的输出列表
cluster_enabled GAUGE 是否启用Redis集群模式,cluster_enabled
cluster_known_nodes GAUGE 集群中节点的个数
cluster_size GAUGE 集群的大小,即集群的分区数个数
cluster_slots_assigned GAUGE 集群中已被指派slot个数,正常是16385个
cluster_slots_fail GAUGE 集群中已下线(客观失效)的slot个数
cluster_slots_ok GAUGE 集群中正常slots个数
cluster_slots_pfail GAUGE 集群中疑似下线(主观失效)的slot个数
cluster_state GAUGE 集群的状态是否正常
cmdstat_auth COUNTER auth命令每秒执行次数
cmdstat_config COUNTER config命令每秒执行次数
cmdstat_get COUNTER get命令每秒执行次数
cmdstat_info COUNTER info命令每秒执行次数
cmdstat_ping COUNTER ping命令每秒执行次数
cmdstat_set COUNTER set命令每秒执行次数
cmdstat_slowlog COUNTER slowlog命令每秒执行次数
connected_clients GAUGE 当前已连接的客户端个数
connected_clients_pct GAUGE 已使用的连接数百分比,connected_clients/maxclients
connected_slaves GAUGE 已连接的Redis从库个数
evicted_keys COUNTER 因内存used_memory达到maxmemory后,每秒被驱逐的key个数
expired_keys COUNTER 因键过期后,被惰性和主动删除清理key的每秒个数
hz GAUGE serverCron执行的频率,默认10,表示100ms执行一次,建议不要大于120
instantaneous_input_kbps GAUGE 瞬间的Redis输入网络流量(kbps)
instantaneous_ops_per_sec GAUGE 瞬间的Redis操作QPS
instantaneous_output_kbps GAUGE 瞬间的Redis输出网络流量(kbps)
keys GAUGE 当前Redis实例的key总数
keyspace_hit_ratio GAUGE 查找键的命中率(每个周期60sec精确计算)
keyspace_hits COUNTER 查找键命中的次数
keyspace_misses COUNTER 查找键未命中的次数
latest_fork_usec GAUGE 最近一次fork操作的耗时的微秒数(BGREWRITEAOF,BGSAVE,SYNC等都会触发fork),当并发场景fork耗时过长对服务影响较大
loading GAUGE 标志位,是否在载入数据文件
master_repl_offset GAUGE master复制的偏移量,除了写入aof外,Redis定期为自动增加
mem_fragmentation_ratio GAUGE 内存碎片率,used_memory_rss/used_memory
pubsub_channels GAUGE 目前被订阅的频道数量
pubsub_patterns GAUGE 目前被订阅的模式数量
rdb_bgsave_in_progress GAUGE 标志位,记录当前是否在创建RDB快照
rdb_current_bgsave_time_sec GAUGE 当前bgsave执行耗时秒数
rdb_last_bgsave_status GAUGE 标志位,记录最近一次bgsave操作是否创建成功
rdb_last_bgsave_time_sec GAUGE 最近一次bgsave操作耗时秒数
rdb_last_save_time GAUGE 最近一次创建RDB快照文件的Unix时间戳
rdb_changes_since_last_save GAUGE 从最近一次dump快照后,未被dump的变更次数(和save里变更计数器类似)
redis_alive GAUGE 当前Redis是否存活,ping监控socket_time默认500ms
rejected_connections COUNTER 因连接数达到maxclients上限后,被拒绝的连接个数
repl_backlog_active GAUGE 标志位,master是否开启了repl_backlog,有效地psync(2.8+)
repl_backlog_first_byte_offset GAUGE repl_backlog中首字节的复制偏移位
repl_backlog_histlen GAUGE repl_backlog当前使用的字节数
repl_backlog_size GAUGE repl_backlog的长度(repl-backlog-size),网络环境不稳定的,建议调整大些
role GAUGE 当前实例的角色:master 1, slave 0
master_link_status GAUGE 标志位,从库复制是否正常,正常1,断开0
master_link_down_since_seconds GAUGE 从库断开复制的秒数
slave_read_only GAUGE 从库是否设置为只读状态,避免写入
slowlog_len COUNTER slowlog的个数(因未转存slowlog实例,每次采集不会slowlog reset,所以当slowlog占满后,此值无意义)
sync_full GAUGE 累计Master full sync的次数;如果值比较大,说明常常出现全量复制,就得分析原因,或调整repl-backlog-size
sync_partial_err GAUGE 累计Master pysync 出错失败的次数
sync_partial_ok GAUGE 累计Master psync成功的次数
total_commands_processed COUNTER 每秒执行的命令数,比较准确的QPS
total_connections_received COUNTER 每秒新创建的客户端连接数
total_net_input_bytes COUNTER Redis每秒网络输入的字节数
total_net_output_bytes COUNTER Redis每秒网络输出的字节数
uptime_in_days GAUGE Redis运行时长天数
uptime_in_seconds GAUGE Redis运行时长的秒数
used_cpu_sys COUNTER Redis进程消耗的sys cpu
used_cpu_user COUNTER Redis进程消耗的user cpu
used_memory GAUGE 由Redis分配的内存的总量,字节数
used_memory_lua GAUGE lua引擎使用的内存总量,字节数;有使用lua脚本的注意监控
used_memory_pct GAUGE 最大内存已使用百分比,used_memory/maxmemory; 存储场景无淘汰key注意监控.(如果maxmemory=0表示未设置限制,pct永远为0)
used_memory_peak GAUGE Redis使用内存的峰值,字节数
used_memory_rss GAUGE Redis进程从OS角度分配的物理内存,如key被删除后,malloc不一定把内存归还给OS,但可以Redis进程复用

建议设置监控告警项

说明:系统级监控项由falcon agent提供;监控触发条件根据场景自行调整

告警项 触发条件 备注
load.1min all(#3)>10 Redis服务器过载,处理能力下降
cpu.idle all(#3)<10 CPU idle过低,处理能力下降
df.bytes.free.percent all(#3)<20 磁盘可用空间百分比低于20%,影响从库RDB和AOF持久化
mem.memfree.percent all(#3)<15 内存剩余低于15%,Redis有OOM killer和使用swap的风险
mem.swapfree.percent all(#3)<80 使用20% swap,Redis性能下降或OOM风险
net.if.out.bytes all(#3)>94371840 网络出口流量超90MB,影响Redis响应
net.if.in.bytes all(#3)>94371840 网络入口流量超90MB,影响Redis响应
disk.io.util all(#3)>90 磁盘IO可能存负载,影响从库持久化和阻塞写
redis.alive all(#2)=0 Redis实例存活有问题,可能不可用
used_memory all(#2)>32212254720 单实例使用30G,建议拆分扩容;对fork卡停,full_sync时长都有明显性能影响
used_memory_pct all(#3)>85 (存储场景)使用内存达85%,存储场景会写入失败
mem_fragmentation_ratio all(#3)>2 内存碎片过高(如果实例比较小,这个指标可能比较大,不实用)
connected_clients all(#3)>5000 客户端连接数超5000
connected_clients_pct all(#3)>85 客户端连接数占最大连接数超85%
rejected_connections all(#1)>0 连接数达到maxclients后,创建新连接失败
total_connections_received 每秒新创建连接数超5000,对Redis性能有明显影响,常见于PHP短连接场景
master_link_status> all(#1)=0 主从同步断开;会全量同步,HA/备份/读写分离数据最终一致性受影响
slave_read_only all(#1)=0 从库非只读状态
repl_backlog_active all(#1)=0 repl_backlog关闭,对网络闪断场景不能psync
keys all(#1)>50000000 keyspace key总数5千万,建议拆分扩容
instantaneous_ops_per_sec all(#2)>30000 整体QPS 30000,建议拆分扩容
slowlog_len all(#1)>10 1分钟中内,出现慢查询个数(一般Redis命令响应大于1ms,记录为slowlog)
latest_fork_usec all(#1)>1000000 最近一次fork耗时超1秒(其间Redis不能响应任何请求)
keyspace_hit_ratio all(#2)<80 命中率低于80%
cluster_state all(#1)=0 Redis集群处理于FAIL状态,不能提供读写
cluster_slots_assigned all(#1)<16384 keyspace的所有数据槽未被全部指派,集群处理于FAIL状态
cluster_slots_fail all(#1)>0 集群中有槽处于失败,集群处理于FAIL状态

Contributors