Day10
本地化部署的Tidb集群监控
TIdb的监控系统主要使用的开源项目:
Prometheus 时序数据库保存数据
和
Grafana 可视化图形工具
Prometheus 监控系统和时序数据库
Grafana 可视化图形工具
Alter_Manager: 从普罗米修斯获取监控规则并在需要时报警，然后根据配置发送文件
Email slack sms
Pushgateway:从各个tidb组件获取监控信息,并将数据提供给普罗米修斯
Node_exporter:收集硬件相关监控数据，并将数据提供给普罗米修斯
Blackbox_exporter:收集网络相关的监控数据 并将数据提供给普罗米修斯
Node_exporter，Blackbox_exporter，Pushgateway获取监控信息提供给普罗米修斯
普罗米修斯获取和保存监控数据
Alter_manager 发送报警信息
Grafana 获取监控的可视化信息
Overview
Service port status:展示了所有组件的运行状态
PD:region调度信息 pd响应信息
Tidb:QPS,OPS,connection,transaction,connection status with tikv and pd
Tikv:region,size,scheduler pending,coprocessor status
System info:cpu memory IO network
TiDB告警系统：Alert Manager；Alert Rules
Alert Levels：Emergency、Critical、Warning；/home/tidb/deploy/conf
Alert Rules Definition Files
Send Out The Alert：/home/tidb/deploy/conf/alertmanager.yml
本地化部署的tidb集群运维
Tiup cluster list 查看tiup当前管理的集群信息
Tiup cluster display ${cluster_name}
启动停止组件
组件启动顺序
Pd-tikv-pumb-tidb-tiflash-drainer
组件关闭顺序
倒过来
Tiup cluster start/stop <cluster_name>
Tiup cluster start/stop <cluster_name> -R
Tiup cluster start/stop <cluster_name> -N ,
Modify the configuration
打开编辑
$ tiup cluster edit-config <cluster_name>
重新加载生效
$tiup cluster reload [-N ] [-R]
扩容操作
编辑需要扩容的配置文件
执行tiup名称
$tiup cluster scale-out scale-out-tidb.yaml
扩容不会影响访问
Tiflush 扩容
4.0以上
Enable-placement-rules 参数设置为true
编辑拓扑文件
执行 scale-out命令
如何缩容tidb tikv pd节点
找到node信息
$tiup cluster scale-in --node <node_id>
缩容tiflush节点
首先
$alter table . set tiflush replica 0;
检查
Select * from information_schema.tiflush_replica where table_schema=’<db_name>’ and table_name=’<table_name>’
缩容tifulsh
$Tiup cluster scale-in --node
Tiup ctl 统一管理
Hotfix
Tiup cluster patch –help
Tiup cluster patch test-cluster /tmp/tidb-hotfix.tar.gz -R tidb
Tiup cluster patch test-cluster /tmp/tidb-hotfix.tar.gz -N 10.210.20.120:4000
升级
只支持升级 不支持回滚
下载安装tiup
升级ansible到tiup
Tiup cluster import -d /home/tidb/tidb-ansible
Tiup自己升级
Tiup cluster upgrade v4.0.0.0