TICDC 监控指标异常

[TiDBer_yyy]

数据库版本：5.0.4

• cdc指标：
  curl -i http://cdcip:8300/metrics 看有数据，但是dashboard上没有。
  
  部署方式： 扩容 TiDB/TiKV/PD/TiCDC 节点

• reload -R=prometheus,grafana dashboard 依然没有监控数据。

而且监控dashboard出现大量NoDATA问题：

现象很像这个帖子：https://pingkai.cn/tidbcommunity/forum/t/topic/153557，安装帖子操作，未恢复。

[Aric (Jansu Dev)]

有创建 changefeed 吗？没有的话，在 changefeed 面板下，很多面板都没有，因为就没创建 changefeed replicat。

[TiDBer_yyy]

创建过，现在有5，6个changefeed

[Aric (Jansu Dev)]

排查步骤：

1. 即然 metrics 有，那么看下 prometheus 里面有没有
2. 如果没有看，下 Prometheus 日志，应该有线索，比如端口没暴露，还是压根配置就没尽到 Prometheus 中；
3. 如果有，那就要看下 grafana 中的表达式是否正确。

一步一步的往下追，就会有答案。

[TiDBer_yyy]

1. prometheus 查询 Pomql ，查询不到数据。

• 查询TiDB的sql有结果：
  
  
• TiCDC的没有结果
  
  

2. 观察prometheus日志正常。
3. grafana日志异常，重启后出现could not find datasource: data source not found错误日志，现象同 grafana 很多alert 都在告警，Execution Error: Could not find datasource Data source not found 但是没达到报警阈值 相似。

[Aric (Jansu Dev)]

按照帖子中 reload 会恢复吗？
看样子 prometheus 就没去 ticdc 抓数据，持久化～

[TiDBer_yyy]

再次reload prometheus和grafana恢复。