当面对大量日志时,运维人员很难快速了解系统在目标时间段发生了什么,应用是否 健康,也无法使用“搜索关键字”来应对未知问题。日志聚类,是指将结构相似度高 的日志聚合成一组,提取共同的日志模式(log pattern),使用 =* 替换该事件类型中 所有日志行中不同的部分(例如变量部分),将大量日志快速聚合成较少的日志模 式,帮助运维人员快速掌握应用全貌,关注异常事件。例如,有如下4行日志组成的日 志集合:
User A log in User B log in User C log out User D log out
通过日志聚类功能,可以将上面4行日志聚合成2组,每一组代表一个日志模式,用 =*
替换日志行中的变量部分,如下所示:
User =* log in User =* log out
本文为您介绍如何开启日志聚类、查看日志模式和调整聚类精度。
说明
日志聚类功能当前仅“北京四”区域受限开放,敬请期待。
计费说明
公测期间免费使用。
开启日志聚类
1. 在云日志服务管理控制台,单击“日志管理”。
2. 在日志组列表中,单击日志组名称。
3. 在日志流列表中,单击日志流名称。
4. 选择“日志聚类”页签,单击“开启日志聚类”。
查看日志模式
说明
对于多行日志和超长行日志,日志模式只保留原始日志经分词符( =,:;|{}()[]\t\f)分词后的前20 个词语。
1. 进入日志聚类页面,选择时间段,可以查看所有日志模式。
– 日志模式个数:当前聚合精度下,聚合出的日志模式个数。
– 日志总条数:所选时段内,日志聚类开启期间的原始日志条总数。
– 日志模式:将相似的日志行聚合在一起,形成日志模式,日志模式中使用 =*
替换日志行中的变量部分,如: User =* log =* 。
– 日志条数:在选定时间段内,该日志模式对应的原始日志条数。
2. 单击某一日志模式,可以在右侧滑窗中查看日志模式详情,包括如下内容:
– 日志条数:在选定时间段内,该日志模式对应的原始日志条数。
– 时间:原始日志对应的时间。
– 日志内容:原始日志内容。鼠标移动到日志内容上,单击日志内容后的“查 看上下文”,可以查看原始日志的上下文。
– :单击后,可查看原始日志参数。
3. 部分日志模式前面有 ,称为复合模式;前面没有 的日志模式成为原子模式,
复合模式是基于原子模式二次聚合计算得到的。您可以单击 来展开查看每个子 模式,如下图所示。
调整聚类精度
聚类精度反应了日志聚合的力度。精度高,则聚合力度低,只有极为相似的日志行才 能聚合在一起,聚合后日志模式较多,每个日志模式中包含更少的变量(=*);精度 低,则聚合力度大,允许更多相似度较低的日志行可以聚合到一起。例如,有以下四 行日志:
User A log in User B log in User C log out User D log out
当选择较高精度时,可以得到两个日志模式:
User =* log in User =* log out
当选择较低精度时,所有的日志行将合并成一个模式:
User =* log =*
您可以根据具体需求和场景调整聚类精度,操作方法如下:
1. 进入日志聚类页面,选择时间段。
2. 通过滑块,调整聚类精度。
图6-1 聚类精度高,日志模式多
图6-2 聚类精度低,日志模式少
关闭日志聚类
注意
关闭日志聚类期间,日志聚类特性不可用;再次开启后,关闭期间的产生日志将不会 被统计在日志行总数内。
1. 在日志聚类页签,单击右上角“关闭日志聚类”。
2. 单击“确认”关闭日志聚类,单击“取消”返回日志聚类界面。