本文是关于腾讯CDN业务连续性建设及智能运维探索的演讲资料,主要探讨了腾讯CDN在业务连续性方面面临的挑战、建设体系以及智能运维如何助力业务连续性的提升。
腾讯CDN业务连续性挑战 腾讯CDN作为互联网流量入口,具有高可用性、高带宽和高稳定性的要求,业务场景复杂,客户敏感度高。面对海量带宽储备、设备资源和请求,运营复杂度极高。具体挑战包括: - 带宽储备:拥有150T带宽储备,遍布全球的CDN节点资源。 - 设备资源:拥有500万核设备资源储备,现网机型超过85种,硬盘种类繁多,按速度差异分为10个级别。 - 海量请求:QPS高达100M/s,业务类型涵盖点播、静态、下载、直播、动态加速等,网络上支持IPv4、IPv4+IPv6双栈,应用层支持HTTP、HTTPS、H2、QUIC等。 - 业务场景复杂:涵盖金融、游戏下载、直播等高要求场景,客户投诉即录故障单,故障定级严苛,现网复杂度高。
腾讯CDN业务连续性建设体系 腾讯CDN的业务连续性建设体系以故障管理为基础,涵盖故障全生命周期管理,包括故障预防、发现、定位、恢复和根治。具体措施包括: - 故障预防:通过容灾架构设计、建立完善的监控体系,从快速性、全面性和准确性三个方面持续提升。 - 故障发现:设立故障指挥官,通过监控体系快速发现故障。 - 故障定位:通过智能分析和专家经验,快速定位故障初因。 - 故障恢复:执行初步止损后,快速定位根因,执行故障预案,防止二次故障。 - 故障根治:通过故障复盘、容灾预案建立、混沌工程体系等方案,持续消除现网隐患。
智能运维助力业务连续性提升 智能运维在腾讯CDN业务连续性建设中发挥关键作用,主要体现在以下几个方面: - 智能告警体系:基于时间序列分析理论,通过统计学习和无监督学习算法,智能监控业务指标、应用指标及系统指标,精准高效地发现轻微异常和抖动类异常。 - 咨询单共性问题:引入AI识别中心,对用户提交的咨询单进行语义理解,提取关键字,智能分析共性异常,快速升级处理。 - 智能容量规划:通过资源画像、业务画像进行数学建模,实现全局最优解。加入智能自训练模块,模拟带宽变化情况,实现准实时交付。 - 根因分析:依托全链路数据,结合专家经验,完成初因定位和模块异常排查,提升问题排查速度和降低故障MTTR。 - 故障根治:通过智能自动化,实现SSD硬盘寿命到期动态业务调配,链路异常自动决策,降低运营复杂度和延时。
未来寄语 文档最后提出,未来已来,应拥抱智能化,开启AIOps新时代,以应对不断变化的业务需求和技术挑战。
腾讯CDN在业务连续性建设方面采取了全面的策略,通过智能运维技术的应用,有效提升了故障管理的效率和准确性,确保了业务的高可用性和稳定性。
|