第3章 HTTP客户端配置：超时时间、连接池、Keep-Alive、DNS缓存

3.1 概述

HTTP客户端是API接入的最终执行单元，其核心配置直接决定了请求的成功率、延迟和资源消耗。本章围绕四个关键配置维度展开：超时时间控制请求生命周期上限，连接池复用TCP连接减少握手开销，Keep-Alive维持长连接状态，DNS缓存消除重复域名解析带来的延迟。四个维度相互影响，必须协同调优才能构建高可用、低延迟的HTTP客户端。

3.2 超时时间配置

3.2.1 超时层次

一个完整的HTTP请求包含三次独立的超时控制阶段：

3.2.2 代码示例：配置三层超时

以下示例在 Go 中显式设置连接超时、读取超时和总超时：

transport := &http.Transport{
    DialContext: (&net.Dialer{
        Timeout:   3 * time.Second,   // 连接超时
        KeepAlive: 30 * time.Second,
    }).DialContext,
    ResponseHeaderTimeout: 5 * time.Second,  // 读取超时
}
client := &http.Client{
    Timeout:   10 * time.Second,  // 总超时（含请求体发送+响应读取）
    Transport: transport,
}

Python 中通过 requests 库的 timeout 元组分别控制连接和读取：

import requests

# (connect_timeout, read_timeout)
resp = requests.get('https://api.example.com/data',
                    timeout=(3.0, 5.0))

3.2.3 超时策略选择

• 保守策略：连接超时 5s + 读取超时 10s，适用于公网API，容忍网络抖动。
• 激进策略：连接超时 1s + 读取超时 3s，适用于内网微服务，追求快速失败。
• 分层策略：客户端总超时 >= 连接超时 + 读取超时 + 写入超时，避免总超时被某一段耗尽。

3.3 连接池配置

3.3.1 连接池复用原理

每次HTTP请求都新建TCP连接会带来三次握手和TLS协商的巨大开销。连接池维护一组已建立的连接，按需复用，大幅降低延迟和资源消耗。

3.3.2 核心参数

3.3.3 配置示例

transport := &http.Transport{
    MaxIdleConns:        100,
    MaxIdleConnsPerHost: 10,
    MaxConnsPerHost:     20,
    IdleConnTimeout:     90 * time.Second,
}

client := &http.Client{
    Transport: transport,
    Timeout:   10 * time.Second,
}

Java OkHttp 连接池配置：

ConnectionPool pool = new ConnectionPool(
    10,                    // maxIdleConnections
    5,                     // keepAliveDuration
    TimeUnit.MINUTES
);

OkHttpClient client = new OkHttpClient.Builder()
    .connectionPool(pool)
    .connectTimeout(3, TimeUnit.SECONDS)
    .readTimeout(5, TimeUnit.SECONDS)
    .build();

3.4 Keep-Alive 配置

3.4.1 与连接池的关系

Keep-Alive 是HTTP/1.1的持久连接机制，允许在同一TCP连接上发送多个请求/响应。连接池依赖Keep-Alive来维持空闲连接的可复用性。没有Keep-Alive，连接池中的连接会迅速失效。

3.4.2 关键参数

• IdleConnTimeout：空闲连接保活时间。超过此时间未使用的连接将被关闭。
• MaxIdleConnsPerHost：每个主机保留的空闲连接数，与Keep-Alive配合决定可复用的连接数量。
• ExpectContinueTimeout：等待100 Continue响应的时间。

3.4.3 配置示例

// 推荐配置：平衡保活时长与连接新鲜度
transport := &http.Transport{
    // 连接池复用相关
    MaxIdleConns:        100,
    MaxIdleConnsPerHost: 10,
    IdleConnTimeout:     90 * time.Second,  // 90秒无活动则关闭

    // 连接超时
    DialContext: (&net.Dialer{
        Timeout:   3 * time.Second,
        KeepAlive: 30 * time.Second,  // TCP keep-alive探测
    }).DialContext,
}

Python requests 中 session 默认开启 Keep-Alive，通过 urllib3 底层调整：

import requests
from urllib3.util.retry import Retry

session = requests.Session()
adapter = requests.adapters.HTTPAdapter(
    pool_connections=20,
    pool_maxsize=20,
    max_retries=Retry(total=3)
)
session.mount('https://', adapter)

# 此时 session 自动复用连接，无需额外配置 Keep-Alive

3.5 DNS 缓存配置

3.5.1 DNS 解析开销

每次HTTP请求前需要将域名解析为IP。DNS查询通常耗时 10~200ms，高并发场景下大量重复DNS查询会显著增加延迟并可能触发电信级限流。DNS缓存将解析结果在本地保留一段时间，避免重复查询。

3.5.2 缓存层级

3.5.3 自定义 DNS 缓存实现（Go 示例）

import (
    "net"
    "time"
)

// 简单TTL缓存解析器
var dnsCache = make(map[string]*cachedResult)

type cachedResult struct {
    ips  []net.IP
    expire time.Time
}

func cachedResolver(host string) ([]net.IP, error) {
    // 1. 查缓存
    if r, ok := dnsCache[host]; ok && time.Now().Before(r.expire) {
        return r.ips, nil
    }
    // 2. 真实解析
    ips, err := net.LookupIP(host)
    if err != nil {
        return nil, err
    }
    // 3. 缓存 60 秒
    dnsCache[host] = &cachedResult{
        ips:    ips,
        expire: time.Now().Add(60 * time.Second),
    }
    return ips, nil
}

// 注入 Transport
transport := &http.Transport{
    DialContext: func(ctx context.Context, network, addr string) (net.Conn, error) {
        host, port, _ := net.SplitHostPort(addr)
        ips, err := cachedResolver(host)
        if err != nil {
            return nil, err
        }
        // 直接连接 IP，跳过系统 DNS
        return net.DialTimeout(network, net.JoinHostPort(ips[0].String(), port), 3*time.Second)
    },
}

3.5.4 Java JVM DNS 缓存配置

// 设置 JVM DNS 缓存 TTL（单位：秒）
// 在启动参数中配置：
// -Dnetworkaddress.cache.ttl=60
// -Dnetworkaddress.cache.negative.ttl=10

// OkHttp 默认使用 JVM DNS，可通过自定义 Dns 覆盖
OkHttpClient client = new OkHttpClient.Builder()
    .dns(hostname -> {
        // 自定义 DNS 解析逻辑
        List<InetAddress> addresses = Arrays.asList(
            InetAddress.getByName(hostname)
        );
        return addresses;
    })
    .build();

3.6 综合配置全景图

以下 SVG 展示了四个配置维度的层级关系与关键参数，帮助理解配置全貌：

3.7 综合配置最佳实践

以下推荐配置适用于大多数微服务间 API 调用场景，可根据实际延迟和吞吐调整：