支持百亿请求的微博广告运维技术实践
发布时间:2019-12-23 21:57:11 所属栏目:站长百科 来源:站长网
导读:副标题#e# 一、运维在广告体系中的价值 运维的工作来源已久,但直到近些年,随着互联网的发展,产品的维护工作越来越复杂,以及服务可用性的提升,都让运维的工作越来越重要。我们可以回顾下运维发展至今都经历了哪些阶段。 ① 人工阶段 这个阶段的运维主要
|
因此,在设计我们的监控系统时,就不能仅仅基于实现考虑,还需要考虑它的稳定性、实施性、准确性,同时还应尽量把系统做的简单易用。
▲ 图3-2 监控平台的目标 而我们目前的监控平台Oops,也是基于上述原则,经历了多年的迭代和考验。图3-3是我们Oops监控平台当前的整体架构。
▲ 图3-3 Oops监控平台架构 ① 数据采集 整个平台分为四个层次,首先是我们的数据采集。我们当前主要通过Filebeat这样一款优秀的开源采集客户端来采集我们的日志。对我们使用而言,Filebeat足够的高效、轻量,使用起来也很灵活易用。
▲ 图3-4 Filebeat架构图 ② 指标清洗 数据采集到Kafka后,我们再根据具体的业务需求将指标提取出来。如图3-5所示,当前我们主要通过Flink来解析日志,并写入ClickHouse中。 (编辑:网站开发网_马鞍山站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
站长推荐




