自动化运维功能——日志大数据技术相关

本文介绍新炬网络自动化运维平台AMP的日志大数据技术相关功能，包括：分布日志统一实时采集、日志关键字实时警告、日志实时检索、日志数据挖掘分析。

1.分布日志统一实时采集

•新炬网络自动化运维平台将大量分布在不同节点上的基础架构日志，中间件日志，应用日志，实时进行收集，统一存储；
•支持多种大数据存储方式；
•高度可扩展架构，可存储及索引大量日志。

2.日志关键字实时警告

自动化运维平台通过故障日志，告警日志，从业务层面实时流式日志分析，系统可以对日志中出现的关键字实时生成告警，快速获知业务层面发生的故障，实现应用层面告警获知。

3.日志实时检索

自动化运维平台通过大数据日志实时搜索技术，能为运维人员提供海量日志实时查询能力，运维人员可以快速获知分布在不同节点上与故障相关的系统运行日志，辅助运维人员从海量的日志中，快速定位故障发生层面及具体的节点。
•强大的日志结构化，标准化功能，便于后期搜索及分析；
•预设多维度搜索，实时展示；
•基于时间轴的交互式主搜索界面；
•强大的辅助搜索功能及搜索语法。

4.日志数据挖掘分析

自动化运维平台对日志数据进行深度发掘分析，了解业务运营情况，如：访问数，点击率，成功率，转化率等信息。并提供高效的实时统计/分析功能：
•实时分布式数据采集，运输管道；
•高效分布式的流式计算；
•根据业务匹配各种计算规则。