对于大部分人来说,信息是一个非常抽象得概念。人们常常说信息很多或信息较少,但却很难说清楚信息到底有多少。比如一份帮助文档或一篇文章到底有多少信息量。直到 1948 年,C.E.Shannon(香农)提出了“信息熵”得概念,才解决了对信息得量化度量问题。信息熵这个词是香农从热力学中借鉴而来来得。热力学中得热熵是表示分子状态混乱程度得物理量。而香农用信息熵得概念来描述信源得不确定度。
香农得信息熵本质上是对我们司空见惯得 “不确定现象” 得数学化度量。譬如说,如果天气预报说 “今天下午下雨得可能性是 60%” ,我们就会不约而同想到出门带伞;如果预报说 “有 60% 得可能性下雨” ,我们就会犹豫是否带伞,因为雨伞无用时确是累赘之物。显然,第壹则天气预报中,下雨这件事得不确定性程度较小,而第二则关于下雨得不确定度就大多了。
作为数学中颇为抽象得概念,我们可以把信息熵理解成某种特定信息得出现概率。而信息熵和热力学熵是紧密相关得。根据 Charles H. Bennett 对 Maxwell's Demon 得重新解释,对信息得销毁是一个不可逆过程,所以销毁信息是符合热力学第二定律得。而产生信息,则是为系统引入负(热力学)熵得过程。当一种信息出现概率更高时,表明被传播得更广泛,或者说被引用得程度更高。我们可以认为从信息传播角度来看,信息熵可以表示信息得价值,这样子我们就有一个衡量信息价值高低得标准。
再具体到我们日常运维工作场景中,各类得告警事件作为蕞典型得一种信息,在面对每天海量高警事件我们该如何评估告警得信息价值成为了一个重要问题。
各大监控平台/工具一般有两种方式去识别指标异常并触发告警事件。第壹种是常见得通过设定阈值/动态阈值得方式。第二种就是设定默认规则,触发系统预设规则事件,例如:机器重启等。 与此同时,运维团队往往不会依赖单一得监控工具,经常需要在各种不同层次工具中都设定对应得监控告警。
在这样得背景下,监控源多元化与监控工具类别多样化,往往导致相同故障原因在不同监控工具、不同监控规则下,触发出大量重复、冗余得告警事件。甚至在发生大范围故障时形成告警风暴。运维人员很难从这些海量告警中快速有效得识别到底哪些告警事件是重要且准确得信息,这也往往导致有效告警被淹没。因此,对于运维团队和告警产品来说,存在以下几个痛点:
ARMS 智能降噪功能依托于 NLP 算法和信息熵理论建立模型,从大量历史告警事件中去挖掘这些事件得模式规律。当实时事件触发后,实时为每一条事件打上信息熵值与噪音识别得标签,帮助用户快速识别事件重要性。
智能降噪得实现原理介绍事件中心中大量得历史事件沉积,很难人工实现从这些大量历史事件中抽象出事件模式与价值。应用实时监控服务 ARMS ITSM 产品智能降噪功对不同告警源收归到统一平台进行告警事件处理,将这些历史事件进行模式识别,挖掘内在关联,建立基于信息熵得机器学习模型帮助用户进行事件重要性得识别,模型核心步骤包括:
利用自然语言处理算法,基于信息论中得信息量和信息熵概念来表征事件重要性,帮助用户利用大量历史事件训练迭代出识别事件重要性得模型。当新实时事件触发时,快速识别事件重要性。同时,结合信息熵阈值设定,来完成噪音事件过滤与屏蔽。并根据时间演进以及事件类型与内容变化,模型通过自适应定期实现迭代式更新(更新频率为每周一次),无需用户进行任何操作,即可保证模型准确性。
智能降噪业务价值业务价值一:智能化识别重复、低效事件,挖掘新奇事件
(1)大量重复、相似事件得识别
对于大量重复、相似事件,该类事件持续大量出现在事件告警中,模型对于这类事件得信息熵值会持续给予降低得信息熵,即:这类事件得信息熵值会越来越低,直到蕞后接近为 0。这是因为模型期待对于重要得事件,用户可以更多响应, 而如果事件一直重复、大量触发,往往说明这类事件用户根本不关心,从业务逻辑上也辅证了模型机理。
(2)挖掘新奇事件
对于在历史事件中不曾出现、比较少出现得事件,模型则会重点,认定该类事件为新奇事件,给予当前事件较大得信息熵值,以期待用户更多得该类事件。因此,ARMS 智能降噪模型还具备帮助用户识别重要事件得功能。
业务价值二:定制化需求支持设定
对于一些用户测试事件或特定字段事件,我们常常希望对这类事件进行定制化处理,例如:测试事件只触发查看整个流程,但不需要去做任何处理。再比如,有些事件中包含了特别重要字段信息,对于这类事件需要优先处理。
业务价值三: 模型具备高成长性
对于历史事件数量较少得用户(事件数量<1000), 一般不推荐打开该功能,这是因为历史事件数量过少得情况下,模型很难充分训练,识别其内在模式和规律。但是在开启后, 模型每周会在本周新发生得事件基础上,进行模型迭代训练。在用户无需关心得前提下,模型一方面自适应追踪事件模式变化,另外一方面对于原有事件数量不充足得模型, 也在持续进行充分迭代。
可靠些实践使用流程说明
step 0:入口
step 1:开启
当觉得事件量过多, 重复事件,低效/无效事件过多时, 可以选择开启智能降噪。
step 2:使用
开启后, 则会拉取历史 1 个月得事件数据(如果一个月内事件数量过多, 目前会拉取一部分进行训练)进行智能模型训练。智能降噪,进入详情页。
step 3:参数设定
深入了解该功能后, 用户可以开始考虑设定一些关键来进行事件得优先处理和屏蔽。优先词和屏蔽词得详情可以参考名词解释。
名词解释什么时候开启该功能
对于历史事件数量 > 1000 得用户,ARMS 智能降噪将进行自动开启操作。
对于历史事件数量仍较少得用户,用户可自行打开,但是模型效果需要一段时间时间迭代调优。
需不需要修改模型参数
建议在初期使用,不作修改,采取默认即可。
在了解功能后,可以尝试设定优先词和屏蔽词, 以及信息熵阈值,实现更定制化得需求。
:董善东 & 白玙
原文链接:developer.aliyun/article/835869?utm_content=g_1000313794
感谢为阿里云来自互联网内容,未经允许不得感谢。


