鼎茂科技亮相2021GOPS大会深圳站分享基于时序数据的AIOps的实践经验

5月21日，2021GOPS全球运维大会·深圳站正式开幕。众多业界大咖、顶级技术专家汇聚一堂，共同探讨智能运维领域的最新技术和最佳落地实践。
鼎茂科技受邀出席本次大会，技术产品总监沈慧在AIOps最佳实践及解决方案专场进行了《基于时序数据的AIOps实践经验》主题演讲。大会期间，创始人李遥受邀央视栏目组采访，结合鼎茂科技领先的数智运营技术向大众展示了自身独特的优势以及对于整个行业发展的真知灼见。

此次大会演讲中，结合鼎茂科技在行业领域的细分场景深度Knowhow，沈老师分享了运维中时序数据的趋势预测，以及企业在智能运维领域中时序数据分析面临的困难和挑战，并针对大型金融企业对时序数据趋势预测场景的落地实际案例，进一步分享了鼎茂科技数智运营技术为企业客户带来的实际价值。

演讲重点

▼

一、运维中的时序数据
在运维中我们接触到各种类型的数据。但从数据的形态以及数据测量值与数据时间戳的关联性来看可以分为以下三大类数据：截面数据、面板数据以及时序数据。今天所说的时序数据是指数据的测量值与时间戳形成一一对应关系，通过数据的测量值和时序的关系可以挖掘出数据随时序变化的特征。运维中的时序数据通常包含：具有时序的trace数据，带有时间戳的日志数据都是主要的时序数据来源。他们具有的共性特点是数据的值或者数据的内容与时序强关联。数据分析从时序维度切入，注重在时序上数据值或者数据内容的前后关系。   

二、时序数据分析流程
任何一个时序数据的分析都是从历史数据开始的，对历史数据的分析主要是对数据与时序的关系进行洞察，明确数据测量值随时序变化的规律和特点，从而形成数据测量值与时序间的关系模式。  结合已经落地的场景与产品，总结了时序数据分析的基本流程由这4个流程组成：数据收集->数据治理->数据分析->数据可视；数据分析是AIOps处理时序数据的核心所在，主要运用统计学习、机器学习、深度学习的方法进行时序数据回归分类、特征提取、模式匹配等。最后是数据的可视展现，将数据分析的结果以直观地方式向使用者进行展现，降低数据读取的技术壁垒。   

三、构建承载时序数据分析的AIOps平台
时序数据分析需要一个强大的数智分析平台来解决分析过程中面临的挑战：数据的流式收集中的完整性校验、数据治理中的去重、去噪、漏点插值、时序聚合对齐。  为了应对时序数据分析的挑战，鼎茂科技提出了基于三大pipeline（data pipeline、ML pipeline、Application pipeline）的时序数据处理技术路线。在三大pipeline技术条线的支撑下，鼎茂科技推动了自主研发的ARCANA数智平台落地。其中边缘采集层主要实现了data pipeline全流程。而ML pipeline主要依托数据分析层进行落地。这是鼎茂科技面向场景端打造AIOps产品的业务闭环逻辑，正好对应了我们application pipeline的逻辑。   

四、金融客户实践案例分享
案例主要是针对时序指标的趋势预估，在分享过程中，提到其流程分为5个步骤：

1. 首先是数据的接入和治理。在场景中接入的是时序指标数据，但是偶尔地由于采集探针的原因会出现少量、零星的数据缺失情况。通过数据插值的方法来进行缺失点的补全。另外对于明显的异常点（负值），进行剔除并且用插值进行补全。
2. 对时序数据采用傅里叶变化，判断其周期。考虑到数据的最小采样点以及分析最小颗粒度的因素设置低通滤波器，将周期小于最小分析周期的周期进行剔除，避免干扰。
3. 根据周期判断结果进行数据趋势预测，预测方法有很多但主要可以分为统计方法和机器学习/深度学习两类。总体上来说，统计方法相对而言普适性更强，利用机器学习或深度学习在大量数据的支持以及参数调优下能获得不错的效果，但其学习和训练的时间较长，对于离线数据的训练比较合适。
4. 根据不同算法的测试结果利用关联度R2,以及MAE或RMSE进行评价，选取算法结果较优的算法作为预测模型并输出结果。
5. 最后使用可视化的方式将结果进行直观展示。

鼎茂科技展位更是人潮涌动，异常热烈！这是大家对于鼎茂科技的最大认可      

▲一支高颜值的队伍~ 感谢所有小伙伴们的努力