Fork me on GitHub

时间序列异常检测系统设计

目录

  • 背景

  • 第一部分 变量说明

  • 第二部分 总结

  • 参考文献及资料

背景

生产环境时序数据异常检测的挑战:

  1. 检测指标的动态变化

    由于线上环境架构是动态变化的,例如我们对某个应用系统节点的CPU实时数据进行监控检测。如果该系统横向缩容,减少负载节点数量,这样该节点的负载就会增加。这时候CPU的负载就会整体(均值)变大,之前训练出来的机器学习模型、参数不再适合。

  2. 异常检测集成算法需要手动调整

    通常对于指标异常检测我们使用多个算法进行集成提升。

  3. 监督学习使用成本较大

    对于监督学习,需要投入大量的人力进行训练、打标签。一旦信息系统架构变化,历史数据训练出的模型将不再适应最新的指标数据,而实际线上系统架构的调整频率是较高的。会进一步增加监督学习使用成本。

优化的建议:

  • 动态调整算法集成集合
  • 实时检测采用分成结构,检测职责尽可能交给无监督学习,监督学习只是作为兜底检测。

第一部分 整体架构设计

https://www.bizseer.com/index.php?m=content&c=index&a=show&catid=26&id=50

https://developer.aliyun.com/article/742856

https://blog.csdn.net/alitech2017/article/details/114308984

第二部分 算法设计

第三部分 试验验证

参考文献及资料

1、变量官网介绍:

0%