趣头条CDN故障排查指引与常见问题快速定位方法

1.

快速判断：用户感知与故障范围初筛

1) 先确认故障范围：是全站、部分页面还是特定地域；记录首次报告时间与客户端IP段。
2) 使用curl检测边缘节点响应头：示例命令 curl -I -H "Host: xxx.com" http://edge-ip/，观察HTTP状态码与Via/X-Cache字段。
3) 检查DNS解析：dig +short @8.8.8.8 www.qutoutiao.com，确认CNAME是否指向CDN运营商；记录TTL与返回IP。
4) 查看上报的错误类型：502/504通常与回源超时或回源连接数耗尽有关；4xx多为缓存或权限问题。
5) 快速判断回源连通性：从CDN控制台或含公网出口的工具机执行traceroute到回源IP，观察丢包节点与延迟突增点。
6) 记录关键指标：边缘QPS、回源QPS、边缘错误率、回源错误率、缓存命中率（Cache Hit Ratio），便于后续对比。

2.

边缘节点排查：日志与缓存策略验证

1) 下载边缘日志查看异常路径与错误码分布，重点关注5xx错误数量及其时间窗口。
2) 检查边缘缓存策略：确认Cache-Control、Expires、Set-Cookie是否导致不缓存；示例头部：Cache-Control: public, max-age=300。
3) 验证缓存命中率：正常情况下静态资源Cache Hit Ratio应>85%；若低于50%，需核查回源响应头与URL Query参数处理。
4) 针对动态图或带Cookie接口，考虑开启分层缓存或设置stale-if-error策略，减少回源压力。
5) 使用样例请求对比：curl -I -H "Cookie: test=1" https://www.qutoutiao.com/api/xxx，查看是否被边缘缓存。
6) 若发现边缘节点丢包或CPU飙升，排查是否有大流量集中到单个POP（点）或缓存穿透行为。

3.

回源排查：服务器资源与应用层故障定位

1) 核查回源服务器硬件与网络：示例服务器配置表格如下（仅演示），便于工程师快速对比。

主机名	CPU	内存	带宽	最大连接数
origin-01	8 cores	32 GB	1 Gbps	20000
origin-02	16 cores	64 GB	10 Gbps	100000

2) 查看系统网络和连接状态：ss -s、netstat -anp | grep ESTABLISHED，观察TIME_WAIT、SYN_RECV等异常值。
3) 检查应用日志（Nginx/应用进程）是否有OOM、线程池耗尽或数据库超时；例如Nginx worker_connections配置为10240，且active connections峰值接近该值需扩容。
4) 验证回源响应时间分布：使用ab或wrk在测试环境复现，记录p50/p95/p99延迟，回源延迟高影响边缘超时（建议回源p95<200ms）。
5) 检测磁盘IO或数据库慢查询：iostat、iotop、慢查询日志尤为重要，数据库锁等待会导致回源连接阻塞。

4.

网络层与域名解析问题排查

1) 多点进行DNS解析比对：从公网多地区使用dig或host查看CNAME与A记录是否一致并且TTL合理（一般CDN边缘TTL<60秒）。
2) 检查BGP/路由问题：traceroute显示中间路由异常或丢包，可能为链路抖动或DDOS影响。
3) 验证HTTP/HTTPS证书与TLS协商失败：openssl s_client -connect origin-ip:443 -servername www.qutoutiao.com，查看证书链与支持的协议。
4) 若发现特定ISP/地区不可达，联系CDN运营商确认该POP是否在维护或被下线。
5) 确认域名是否存在泛解析或错误CNAME导致被劫持，必要时比对WHOIS与CDN控制台的域名配置。

5.

DDoS与高并发防护快速定位与缓解

1) 先判断是否为攻击：突发流量峰值、SYN/UDP包速率异常、边缘QPS飙升同时回源QPS低表明可能为打击边缘的攻击。示例攻击指标：突发SYN包150k pps，总带宽峰值达2.4 Gbps。
2) 使用速率阈值与geo封禁：对异常IP段设置临时封禁或限速，例如每秒同IP连接数限制为20。
3) 启用CDN提供的清洗/防护服务：将流量引入清洗中心（scrubbing），并按小时统计被清洗流量与放行流量。
4) 开启WAF规则与黑白名单：阻断已知恶意UA、频繁请求的IP；对敏感接口追加验证码或签名校验。
5) 在回源侧部署速率限制与连接队列：Nginx limit_conn/limit_req配合tcp_tw_reuse降低TIME_WAIT积压，示例：limit_req_zone $binary_remote_addr zone=one:10m rate=20r/s。

6.

真实案例与恢复流程示例

1) 案例概述：2025-03-12 03:12，趣头条某流量活动期间，部分地域用户大量报告图片加载失败，错误码主要为502与504。
2) 现场排查：边缘日志显示回源超时率从0.5%瞬间升至7.8%，缓存命中率由93%降至47%，回源平均延迟从120ms升至650ms。
3) 回源定位：origin-01 CPU满载、Nginx active connections接近10240上限，数据库连接数耗尽导致请求阻塞。服务器配置见上文表格。
4) 临时缓解措施：在CDN控制台开启回源访问限流，将边缘短时缓存时间从300秒调为900秒，触发CDN清洗并将部分流量切回备用回源origin-02。
5) 恢复与优化：扩容origin池、调整Nginx worker_connections到32768、应用层增加连接池、对热点资源做静态化并提高缓存命中率到>90%，同时上线WAF策略阻断攻击IP段。
6) 事后总结：将流量抖动与回源熔断策略写入SOP，设置自动化报警（边缘错误率>1%或缓存命中率下降>20%触发告警），并完成一次演练。

来源：趣头条CDN故障排查指引与常见问题快速定位方法