IT大数据解决方案

一 解决运维症结

H3C DataEngine Lion运维大数据平台能够帮助运维人员从传统被动救火的运维方式中解脱,利用大数据技术做到精准、智能的运维,主要解决用户如下运维难题:

1. 运维日志分散,定位问题需要单独登陆设备、系统去分析。一个简单问题定位原因可能会涉及系统众多,需要很长时间多部门人员沟通协调,Lion可以做到运维日志的集中管理。

2. 海量数据存储、检索问题,每天新增大量的日志数据,历史数据存储成本高,存了无法有效分析利用、带来价值,Lion做到了存储的弹性扩展以及高效检索。

3. 各种设备、应用提供的日志信息之间难以关联,一个问题的出现很可能从应用系统到硬件都有日志记录保存,利用Lion的机器学习、大数据技术能分析日志之间的关联性,可高效定位问题。

4. 问题事件难以提前预警,往往是出了问题再去分析定位,Lion利用丰富的机器学习算法,做到运维问题事件的智能预警。

5. 报表统计需要手工操作,日志数据可视化程度不够,Lion集成丰富的可视化图表、仪表盘,让数据更生动,让用户更易发现日志数据的关联。

二 产品简介

H3C DataEngine Lion运维大数据平实现了对网络设备、服务器、安全设备、操作系统、应用系统的日志自动收集、集中存储、快速检索、智能告警、可视化,运用大数据的技术手段来帮助运维人员摆脱传统IT运维的困境。

数据源采集

支持采集服务器、网络设备、安全设备、操作系统、数据库、应用系统等日志文件;支持采集数据库访问日志;支持网络流量采集;支持设备性能指标采集;支持端口监听收集数据等,几乎支持全数据源采集。

格式解析

1. 支持自动化解析常见类型的日志。

2. 支持配置解析规则对日志解析。

3. 对于不能被自动识别的日志,会对其全文索引。

数据存储

采用分布式存储架构,节点可在线动态扩展增加存储容量,支持PB级别以上海量数据存储,支持高可用、多副本机制、快照功能。

数据检索

1. 支持全文检索功能。支持近实时的搜索效果,一般查询在毫秒级响应,亿级数据查询在1秒内响应。

2. 支持定时页面刷新结果,时间序列结果展示。

3. 支持自定义告警规则,智能预测发现问题,做到对告警事件及时响应。

数据分析挖掘

支持丰富的机器学习算法,能自我完善模型、训练数据。支持基于Spark、Hadoop等分布式计算框架,支持离线数据挖掘,实时数据分析,支持基于大数据的用户行为分析、多数据源关联分析。

可视化

1. 提供了折线图、面积图、饼图、地图、区域图、表格、曲线图、柱状图、雷达图等图表功能。

2. 支持定时的可视化图表刷新。

3. 支持自由组合可视化为仪表盘。

4. 支持已保存的可视化、仪表盘对象的编辑、预览、导入、导出以及批量导入和导出。

三 展示效果

ACG流量统计

攻击事件Top图