2. 问题建模与计算特征分析

算法选型的第一步不是打开代码编辑器，而是把一句模糊的业务诉求翻译成一台“可计算的机器”。所谓问题建模，就是确定这台机器的输入是什么、输出是什么、约束在哪里、目标函数是什么；所谓计算特征分析，就是进一步刻画输入规模、数据分布、实时性要求和内存上限这些决定算法生死的参数。同一句“帮我找出最相似的客户”，在 1 万条数据上可以用暴力两两比较，在 1 亿条数据上就必须换成向量索引或近似最近邻，差别不在代码技巧，而在建模阶段是否把规模这一特征识别出来。

从业务语言到形式化定义

建模的核心动作是把自然语言中的名词、动词、形容词分别映射为数据结构、操作和约束。以“给用户推荐可能感兴趣的商品”为例：名词“用户”“商品”对应两个集合 U 和 I；动词“推荐”对应一个排序操作，输出是每个用户的前 K 个商品；形容词“感兴趣”最含糊，必须落成可计算的目标，例如“点击概率最高”或“与历史购买行为的余弦相似度最大”。这一步若含糊，后面所有优化都失去方向。

形式化之后应写出四元组：输入集合与规模、输出形式、约束条件、优化目标。约束常被忽略却最致命，比如“推荐结果必须在 200ms 内返回”“同一店铺商品不超过 3 个”“冷启动用户也要有结果”。这些约束会直接排除掉一批算法：需要全局迭代收敛的协同过滤难以满足 200ms 硬实时，而基于倒排索引的召回可以。

输入规模：决定复杂度的第一变量

规模不是单一数字，而是一组量：元素个数 n、维度 d、边数 m、查询次数 q、并发数 c。它们共同决定复杂度量级。例如在 n=10⁴、d=128 的向量检索中，暴力计算需要 n×d≈1.28×10⁶ 次乘法，毫秒级可完成；当 n 升到 10⁸，同样维度需要约 1.28×10¹⁰ 次运算，单机已不可接受，必须引入 HNSW 或 IVF-PQ 这类近似索引，用少量召回率损失换取两个数量级的速度提升。

判断规模是否“大”，要结合增长趋势而非当前值。若数据每月翻倍，今天能跑的 O(n²) 算法半年后就会崩溃。因此建模时应记录当前规模、年增长率、峰值规模三个数字，并据此选择复杂度上限。经验上，n≤10³ 可容忍 O(n²)，n≤10⁶ 需 O(n log n)，n≥10⁷ 通常要求 O(n) 或近似算法。

数据分布：被低估的隐形参数

复杂度分析假设最坏情况，但真实性能往往由分布决定。快速排序在随机数据上是 O(n log n)，遇到近乎有序的数据若选错基准会退化为 O(n²)；哈希表在均匀分布下 O(1)，在大量冲突下退化。建模时必须问：数据是均匀的还是长尾的？键值是否集中？是否存在大量重复？

以“统计热门搜索词”为例，若词频服从 Zipf 分布，前 1% 的词占据 60% 以上流量，那么用堆维护 Top-K 比全量排序更划算，且可以配合计数剪枝。反之若分布均匀，剪枝收益有限。分布还影响内存：稀疏数据用哈希或稀疏矩阵，稠密数据用数组或稠密矩阵，选错会导致内存放大数倍。

实时性与内存：两条硬边界

实时性通常以延迟分位数表达，而不是平均值。P99 延迟 200ms 意味着 1% 的请求可以慢，但整体不能拖垮。建模时要区分在线路径与离线路径：在线只做召回和轻量排序，离线做模型训练和索引构建。若把需要全量扫描的算法放在在线路径，即使平均延迟达标，P99 也会因数据倾斜而爆表。

内存限制同样要量化。假设单机可用内存 32GB，向量维度 128，用 float32 存储 1 亿条向量需要 1×10⁸×128×4B≈51.2GB，已超限；改用 float16 降到 25.6GB，仍紧张；再叠加 PQ 量化可压到 3～6GB。这个计算过程应在建模阶段完成，而不是等到部署时才发现装不下。内存还影响数据结构选择：需要频繁随机访问时用数组，需要动态增删时用链表或跳表，需要范围查询时用 B+ 树或线段树。

把特征写成可核对的建模卡片

为了让建模结论可传递、可复核，建议为每个问题产出一张建模卡片，字段包括：问题名称、输入对象与规模、输出形式、约束条件、目标函数、数据分布假设、延迟与内存上限、候选算法及排除理由。下面是一个可直接套用的示例，参数为教学假设值。

问题名称：商品相似度召回
输入对象：商品向量 I，n=2×10^7，d=128，float32
输出形式：每个商品 Top-50 相似商品 ID 列表
约束条件：离线构建索引 ≤ 4h；在线查询 P99 ≤ 50ms
目标函数：召回率@50 ≥ 0.92（对比暴力精确结果）
数据分布：类目长尾，头部 5% 商品占 40% 曝光
内存上限：单机 32GB，索引常驻 ≤ 20GB
候选算法：
  - 暴力精确：O(n²) 不可行，排除
  - KD-Tree：d=128 维退化，排除
  - HNSW：内存约 18GB，P99 约 8ms，保留
  - IVF-PQ：内存约 5GB，召回率约 0.90，备选
结论：选 HNSW，若内存超限则降级 IVF-PQ

这张卡片的价值在于把“我觉得 HNSW 快”变成可验证的判断：内存估算、召回率目标、延迟预算都有数字支撑。当数据规模或硬件变化时，只需重算卡片中的对应字段，就能快速判断原方案是否仍然成立。

最后要强调的是，计算特征分析不是一次性动作。业务增长、数据漂移、硬件换代都会改变特征值，因此建模卡片应随版本迭代更新，并在每次算法替换或参数调整时重新核对。把特征分析变成习惯，算法选型才会从经验驱动转向证据驱动。