事件经过

■ 02:57:阿里云监控发现 aliyuncs.com 域名解析出现异常,阿里云工程师正在紧急处理中

■ 04:04:工程师已初步确认导致域名解析出现异常的原因并正在紧急处理中

■ 08:11:经过紧急处理,解析异常问题已完成修复,受影响云产品逐步恢复中

■ 9点左右:受影响云产品已全部恢复

原因分析

有网友表示这次故障是域名被劫持并解析到 SS(Shadowserver)了。 Shadowserver(影子服务器基金会)是国际知名的非营利网络安全组织,成立于2004年,致力于通过威胁情报共享、恶意软件分析、蜜罐监测等方式提升全球互联网安全。 其独有的工具之一是 Registrar of Last Resort(RoLR),当执法或注册局要求“扣押”恶意域名时,可把域名所有权暂时转给 RoLR,随后 Shadowserver 把该域名的 NS 记录指向自家的 “sinkhole” 服务器。

预防措施

  1. 加强DNS安全
    • 使用多因素认证(MFA)来保护DNS管理账户。
    • 实施DNSSEC(DNS Security Extensions),以增加额外的安全层。
    • 定期审查和更新DNS记录,确保它们是最新的并且没有被篡改。
  2. 监控与预警
    • 建立全面的监控系统,实时跟踪DNS配置变化。
    • 设置异常行为警报机制,一旦检测到非正常操作立即通知相关人员。
  3. 备份与恢复计划
    • 维护最新的DNS配置备份,以便在出现问题时能够快速恢复。
    • 制定并测试应急响应计划,确保团队知道如何迅速应对突发状况。

网友给的建议

针对负载均衡 NLB、ALB,建议客户域名直接修改成 a 记录或 aaaa 记录,调整到 LB 的 Vip 地址快速止血

客户端侧止血:修改本地 localDNS server 指向 223.5.5.5 快速止血

如果您知道业务域名具体解析的 IP,也可以手工修改客户端的 hosts 文件解析固定 IP 新购买的 ALB、NLB 的 cname 别名调整到其他域名。存量历史的建议直接修改 a 记录或 aaaa 记录调整到 LB 的 Vip 地址。

DNS 是互联网最基础的服务,但凡在线业务都离不开这个基础的支持,基础伤害越大,受影响面越广。