本文是一份关于某互联网公司运维平台技术方案的报告，由运维平台负责人在GOPS全球运维大会2020城市站上进行分享。报告围绕金融与互联网结合下的运维挑战，详细阐述了该公司运维平台的整体解决方案，包括统一变更体系和故障处理体系，旨在全方位兜住不确定性，降低未知风险的影响，保障业务的高可用性。
项目背景 随着金融与互联网的深度融合，业务呈现出海量、实时、7*24小时不间断的特点，如十万+/秒的支付、百万+/秒的入账、十亿+/天的业务量。用户对业务的可用性（>99.999%）、响应速度（<200ms）和安全性（资金保障）提出了极高要求。运维平台面临着硬件不可靠、程序有bug、人会犯错误等诸多不确定性挑战。
整体解决方案 整体解决方案的核心目标是减少故障对业务可用的影响时间，确保变更对业务可用的影响可控，并持续减少业务可用的隐患。具体包括故障处理、统一变更和持续运营三个方面。
统一变更体系 统一变更体系旨在实现业务无损变更，控制变更时不搞出故障。通过统一系统化、统一灰度、统一回退等措施，实现变更记录的可追溯和快速恢复。难点在于确保变更对现网影响可控，以及达到现网级别的可用性。具体方案包括具备切换能力的灰度发布规则、发布即生效一致性解决方案，以及双城双活的高可用发布平台。灰度发布规则按照业务优先级、流量逐步放量、单步骤内只动单边的原则进行，同时具备流量切换、版本回退和基线回退等兜底能力。发布即生效一致性解决方案通过版本库、CI/CD流水线中心、发布中心等环节，确保本地合入检查、线上版本比较、业务生效/异常检查等步骤的正确性，并通过三方对账确保非正常流程一致性。双城双活发布平台则通过无状态server、读写分离、外部依赖本地化等措施，实现高可用性。
故障处理体系 故障处理体系的核心是快速恢复故障，降低业务影响。整体思路是自动切换解决高频已知故障，人工切换兜底所有故障处理。具体方案包括故障发现、故障定位、故障处理和故障复盘等环节。故障发现环节通过纬度值泛滥的流控方案、数据时效性与稳定性平衡方案、AIOPS1.0和AIOPS2.0等技术手段，实现告警的快速、准确配置。故障定位环节采用双向分析法，向上影响评估分析和向下故障初因分析，以快速止损为目标。故障处理环节则通过容灾白皮书、故障演习和运维管家等工具，保障故障处理能力的完备性和有效性。故障复盘环节则通过总结经验教训，持续优化故障处理流程。
未来思考 报告最后提出了运维平台的未来思考，包括接入即服务、开放能力、智能运维等方面。接入即服务强调整合效能、组件、运维等能力；开放能力则侧重于标准化和开放个性化的能力；智能运维则涵盖了故障自愈、自动发布、自动扩缩容等功能。此外，还提到了统一值班、持续运营、运维服务度量、运维交付流水线等运维管理方面的思考，以及磐石运维基础设施层、磐石运维管理设备agent、磐石运维平台业务逻辑层、磐石运维能力交付层等技术架构层面的规划。
| 
转播
分享
淘帖
()