黑猫网_新锐企业资讯信息门户

帮助中心 广告联系

黑猫网讯-新锐企业信息资讯门户

热门关键词:   ai   rp3nt3r  xxx   s

CIO时代信息化大讲堂:智能运维与海量日志分析

来源:CIO时代 作者:火舞耀扬 人气: 发布时间:2017-09-28
摘要:近年来运维技术飞速发展,运维团队建设了各种系统,虚拟化、容器化、持续集成等等。但如何有效地利用这些系统最终实现站点的高可用、高性能、高可扩展?在大数据时代,智能运维是基于大数据之上的。大数据里90%都是非结构化数据,日志是重要的非结构化数据,
  近年来运维技术飞速发展,运维团队建设了各种系统,虚拟化、容器化、持续集成等等。但如何有效地利用这些系统最终实现站点的高可用、高性能、高可扩展?在大数据时代,智能运维是基于大数据之上的。大数据里90%都是非结构化数据,日志是重要的非结构化数据,日志无处不在,因此,从日志里面挖掘的价值非常高。
 
  2017年9月27日,由中国新一代IT产业推进联盟主办,CIO时代APP承办的"第62期CIO时代信息化大讲堂"活动在北京CIO时代学院报告厅成功举行。日志易项目总监赵亮作为本次活动的特邀讲师,发表了题为《智能运维与海量日志分析》的主题演讲。本次活动吸引了企业技术人员、高校学生、业界CIO等40多人参会,活动现场提问不断,气氛活跃。本次讲座活动由CIO时代APP市场运营张林颖主持。
 
\ 日志易项目总监 赵亮
 
  他主要从智能运维、小功能介绍、场景分析及价值以及机器学习四个方面进行了详细阐述。
 
  日志是鲜活的,是可以发声的。他表示,要把机器学习、人工智能应用在运维领域,来实现智能运维,然后两者结合服务于三大模块:服务台、自动化、监控。机器学习、大数据在不同企业的落地技术是不一样的,机器学习在整个行业里还处于一个发展的阶段,跟实际要求的预期还存在一定的差距。
 
  智能运维架构
 
  1、数据采集,采集是基础,包括日志、事件、性能指标。
 
  2、数据存储,主要是非结构化数据存储,日志这种数据是非常典型的。
 
  3、数据分析,把整个数据源进行整体的分析,主要把握深度分析、实时分析两大模块,也是智能运维中最为关键的环节,要很精准的做到非结构化数据分析,来达到想要的指标。
 
  4、数据展现。可以通过可视化、自然语言来实现。
 
  大数据技术应用于IT运维,通过数据分析提升IT运维。Gartner估计,到2017年15%的大企业会积极使用ITOA,而在2014年这一数字只有5%。
 
  ITOA四种数据源的比较
 
  1、机器数据(日志)。日志无所不在,但不同应用输出的日志内容的完整性、可用性不同。
 
  2、通信数据(网络抓包)。网络流量信息全面,但一些事件未必触发网络流量。
 
  3、代理数据(嵌入代码)。代码级精细监控,但侵入性,会带来安全、稳定、性能问题。
 
  4、探针数据(模拟用户请求)。端到端监控,但不是真实用户度量(RealUserMeasurement)。
 
  日志管理系统演进
 
  1、日志1.0数据库。固定的schema无法适任意日志格式,无法处理大数据量。
 
  2、日志2.0Hadoop/NoSQL。需要开发成本,批处理、实时性差,不支持全文检索。
 
  3、日志3.0实时搜索分析。实时、灵活、全文检索。
 
  4、日志4.0。主要是应用机器学习、人工智能技术。
 
  日志易的“小功能”主要表现在丰富的数据采集手段、多种数据整理方式、内置多种解析规则、细粒度权限设置、数据脱敏、日志生命周期管理、简单多样的告警手段几个方面,使日志易的“小功能”专业而全面。
 
  场景分析及价值
 
  一、安全审计及合规
 
  2017年6月1日,《中华人民共和国网络安全法》正式实施,其对业务系统安全审计提出了新的要求。日志易既对外做SOC(安全运营中心)的支撑平台,又对内做UBA(用户行为分析)。很多企业在使用之后,满足了合规要求。
 
  二、统一日志管理
 
  目前接入600多个子系统应用日志,202台网络设备日志,45台F5设备日志,47台存储设备日志,每秒产生的200万条日志,由于日志量庞大,为了降低防火墙策略的复杂度以及防火墙流量压力,将网络设备、服务器、业务应用日志通过专门网口接入到内网万兆交换机,直接转发到日志易集群。各业务系统服务器中部署日志易采集agent,用于增量读取业务日志,目前已部署1300多个。
 
\
  活动现场
 
  在此次讲座中,赵亮先生深度讲解了日志易的内部技术原理,深入浅出。嘉宾们认真听讲,纷纷表示不虚此行。
责任编辑:火舞耀扬