2. HTTP连接生命周期剖析

做高并发服务，选对 HTTP 客户端是第一步。这三个库我都在生产环境里用过，踩过不少坑。今天咱们就掰开揉碎，看看它们的连接池到底怎么工作的。

一、三巨头的基本盘

先给个全景图。这三个库代表了 Python HTTP 客户端的三个时代：

特性	requests	httpx	aiohttp
同步/异步	纯同步	同步+异步	纯异步
底层实现	urllib3	httpcore	自研
连接池默认大小	10（每个host）	10（每个host）	100（全局）
HTTP/2 支持	❌	✅（需额外安装）	✅（需额外安装）
连接池可配置性	中等	高	高

说白了，requests 是「老大哥」，生态最成熟。httpx 是「新贵」，想统一同步异步。aiohttp 是「异步专精」，asyncio 生态的首选。

二、requests：urllib3 的「套壳」哲学

很多人以为 requests 自己有连接池。其实它只是把 urllib3 包装了一层。我刚开始做后端时也这么以为，直到有一次线上连接数暴涨，排查了半天才发现是 urllib3 的锅。

import requests
from requests.adapters import HTTPAdapter

session = requests.Session()
# 调整连接池大小
adapter = HTTPAdapter(
    pool_connections=100,   # 连接池总数
    pool_maxsize=100        # 每个host最大连接数
)
session.mount('http://', adapter)
session.mount('https://', adapter)

这里有个坑，我踩过不止一次：pool_connections 和 pool_maxsize 的区别。前者是池子里能缓存的连接数，后者是能同时打开的最大连接数。如果你只设了 pool_maxsize 没设 pool_connections，高并发下连接池会频繁创建销毁连接。

三、httpx：新一代的「全能选手」

httpx 的设计理念很明确：一套 API，同步异步都能用。它的连接池实现比 requests 更现代化。

import httpx

# 同步用法
with httpx.Client() as client:
    response = client.get('https://example.com')

# 异步用法
async with httpx.AsyncClient() as client:
    response = await client.get('https://example.com')

httpx 的连接池底层是 httpcore 库。它支持连接复用、连接保活、连接超时等特性。我个人比较喜欢它的 limits 参数，配置起来很直观：

limits = httpx.Limits(
    max_connections=100,         # 最大连接数
    max_keepalive_connections=20, # 最大保活连接数
    keepalive_expiry=30.0        # 保活时间（秒）
)

client = httpx.Client(limits=limits)

你想想看，这个设计比 requests 好在哪里？它把「最大连接数」和「保活连接数」分开了。保活连接是空闲时保留的，超过这个数就关闭。这样既能快速响应突发流量，又不会浪费资源。

四、aiohttp：异步原生的「性能怪兽」

aiohttp 是纯异步实现，没有同步包袱。它的连接池是自研的，不依赖任何第三方库。

import aiohttp

connector = aiohttp.TCPConnector(
    limit=100,           # 总连接数
    limit_per_host=10,   # 每个host最大连接数
    ttl_dns_cache=300,   # DNS缓存时间
    enable_cleanup_closed=True  # 自动清理关闭的连接
)

async with aiohttp.ClientSession(connector=connector) as session:
    async with session.get('https://example.com') as resp:
        data = await resp.text()

aiohttp 的连接池有个很实用的特性：连接健康检查。它会自动检测失效的连接，从池子里移除。我在做微服务网关时，这个特性帮了大忙——上游服务重启时，aiohttp 能快速感知，不会把请求发到已关闭的连接上。

五、连接池实现机制对比

咱们用一张图来理解三者的核心差异：

六、选型建议

说了这么多，到底该用哪个？我根据实际项目经验给个参考：

• 传统 Web 应用（Django/Flask）：用 requests。生态成熟，文档多，团队上手快。
• 异步框架（FastAPI/Sanic）：用 httpx 或 aiohttp。如果团队熟悉 asyncio，aiohttp 性能更好；如果希望代码能同步异步切换，httpx 更灵活。
• 高并发爬虫/网关：首选 aiohttp。它的连接池健康检查和自动清理机制，在长时间运行的服务里优势明显。
• 需要 HTTP/2 的场景：httpx 和 aiohttp 都支持，但 httpx 的配置更简单。