课程导入：学习目标、适用人群与AI选股实战全景
欢迎来到《AI选股实战：用机器学习挖掘潜力股》的第一章。在正式开始技术细节之前，我们需要先建立对这门课程的整体认知框架。很多投资者在接触量化投资时，往往陷入两个极端：要么认为AI选股是“点石成金”的黑箱魔法，要么觉得它高不可攀、只属于顶级量化基金。事实上，AI选股的本质是用系统化的方法处理多维度的市场数据，通过统计学和机器学习模型寻找市场中可重复的、非随机的定价规律。本章将帮助你明确学习目标、判断自己是否适合这门课程，并为你勾勒出从数据到策略的完整工程链路。
1.1 学习目标：从“知道”到“做到”的四层能力
本课程不是一堂理论宣讲课，而是一门以项目驱动、以实战为导向的工程课。通过30章的系统学习，你将逐步构建起一套完整的AI选股知识体系与实操能力。具体而言，课程结束后你应该具备以下四个层次的能力：
| 能力层次 | 具体描述 | 对应课程模块 |
|---|---|---|
| 第一层：数据驾驭 | 能够获取、清洗、对齐金融数据（日线、分钟线、财务报表、舆情数据），并构建有效的特征工程管道 | 第2-6章：数据获取、清洗、特征工程 |
| 第二层：模型构建 | 掌握线性回归、逻辑回归、决策树、随机森林、XGBoost/LightGBM、LSTM等模型的原理与选股应用场景 | 第7-18章：从传统ML到深度学习 |
| 第三层：策略设计 | 能够将模型预测结果转化为可交易的策略，包括仓位管理、止损止盈、组合优化与风险约束 | 第19-24章：策略生成与组合管理 |
| 第四层：回测与迭代 | 熟练使用Backtrader/自定义回测框架，理解过拟合、前视偏差、幸存者偏差等陷阱，并建立策略迭代闭环 | 第25-30章：回测、评估与实盘对接 |
需要特别强调的是，“避免过拟合”是贯穿全课程的核心思想。很多初学者在回测中看到漂亮的收益曲线，但实盘却一败涂地，根源往往在于模型过度拟合了历史噪声。因此，我们在每一章的案例中都会刻意引入“样本外测试”和“稳健性检验”的环节，帮助你建立严谨的量化思维。
1.2 课程适用人群：你需要具备哪些基础？
虽然课程名称包含“实战”，但并不意味着零基础也能轻松上手。为了获得最佳学习效果，建议你对照以下条件进行自我评估：
- 编程基础：熟悉Python基本语法（变量、循环、函数、类），了解NumPy和Pandas的基本操作。如果你能熟练使用DataFrame进行数据筛选和聚合，那将非常理想。
- 数学与统计基础：理解均值、方差、协方差、相关系数、正态分布等基本概念。对于机器学习中的损失函数、梯度下降等概念，课程会做复习性讲解，但如果你有线性代数基础（矩阵乘法、特征值），学习曲线会更平缓。
- 金融常识：了解股票、指数、市盈率、市净率、成交量等基本概念。不需要你是金融专业出身，但至少要知道什么是K线图、什么是复权。
- 机器学习入门：如果你完全没接触过机器学习，建议先花一周时间了解“监督学习”和“训练集/测试集”的概念。课程第7章会系统回顾，但有预备知识会轻松很多。
如果你目前只满足“Python基础”和“金融常识”两项，也不用担心。课程在第2章安排了数据处理的强化练习，在第7章安排了机器学习核心概念的快速回顾。但请务必在开课后前两周补齐相关短板，否则后续章节的代码实践可能会感到吃力。
1.3 AI选股的整体流程：从数据到决策的六步闭环
AI选股并非一个孤立的模型，而是一条完整的工程链路。我们将整个流程拆解为六个关键步骤，这也是本课程的核心骨架。理解这个流程，你就掌握了AI选股的“地图”。
- 数据采集与清洗：获取原始数据（如Tushare、Wind、AkShare等数据源），处理缺失值、异常值、复权因子，并统一不同频率数据的时间戳。
- 特征工程：将原始数据转化为模型可用的特征。例如，从日线数据中计算过去5日收益率、波动率、成交量变化率；从财务报表中提取ROE、毛利率等基本面因子；从新闻舆情中提取情感得分。
- 模型训练与验证：划分训练集（如2015-2020年）和测试集（如2021-2023年），训练分类模型（预测涨跌）或回归模型（预测收益率），并通过交叉验证调整超参数。
- 信号生成：将模型对全市场股票的预测结果转化为排序或打分。例如，预测未来5日上涨概率最高的前50只股票作为候选池。
- 策略构建与组合优化：在候选池基础上，加入行业中性化、市值中性化等约束，结合风险模型（如Barra模型）确定每只股票的权重，形成最终的投资组合。
- 回测与迭代：在历史数据上模拟交易，计算年化收益、最大回撤、夏普比率等指标。如果结果不理想，返回第2步调整特征或第3步更换模型，形成迭代闭环。
这六步环环相扣，任何一步的疏忽都可能导致策略失效。例如，如果数据清洗时没有处理“前视偏差”（即使用了未来信息），回测结果会虚高，实盘必然亏损。因此，本课程在每一章都会强调“工程严谨性”的重要性。
1.4 课程项目实战概览：三个递进式项目
为了让你将所学知识融会贯通，课程设计了三个递进式的实战项目。这三个项目并非孤立的练习，而是模拟了一个量化研究员从入门到进阶的完整成长路径。
| 项目名称 | 核心任务 | 涉及技术栈 | 难度 |
|---|---|---|---|
| 项目A：多因子选股 | 构建包含估值、成长、动量、波动率等10+因子的打分模型，筛选出沪深300成分股中的Top 20组合 | Pandas、因子标准化、IC/IR分析、线性加权 | ★★☆ |
| 项目B：LightGBM涨跌预测 | 使用LightGBM模型预测个股未来5日上涨概率，并构建基于概率阈值的交易策略 | LightGBM、特征重要性分析、ROC-AUC评估、早停法 | ★★★ |
| 项目C：LSTM趋势识别 | 使用LSTM神经网络识别股价的短期趋势形态，并与传统技术指标（MACD、RSI）进行对比 | PyTorch、时间序列处理、序列标注、过拟合抑制 | ★★★★ |
以项目B为例，你会经历以下完整过程：首先，从AkShare获取2018年至2023年的日线数据，计算20个技术因子和5个基本面因子；然后，将数据按时间顺序切分为训练集（2018-2021）和测试集（2022-2023），注意避免数据泄露；接着，训练LightGBM分类器，并通过早停法确定最优迭代次数；最后，将模型预测概率大于0.6的股票作为买入信号，在Backtrader中回测，并对比“等权重买入”与“按概率加权买入”两种策略的绩效差异。
这个项目会让你深刻体会到：模型准确率并不等于策略收益率。有时模型AUC达到0.72的策略，其收益反而不如AUC只有0.65但换手率更低的策略。这正是AI选股的魅力所在——它需要你在模型、交易成本、风险偏好之间寻找平衡。
1.5 常见误区与学习心态建设
在正式开始技术学习之前，有必要先破除几个常见的认知误区，这能让你在后续学习中少走弯路。
- 误区一：模型越复杂越好。很多初学者一上来就堆叠LSTM、Transformer，但忽略了数据质量。实际上，对于大多数选股场景，LightGBM等树模型在结构化数据上往往表现优于深度学习，且训练成本更低。
- 误区二：回测收益高=实盘赚钱。回测中常见的陷阱包括：未扣除手续费和滑点、使用了未来函数、幸存者偏差（只回测当前存活的股票）。本课程第25章会专门讲解如何规避这些陷阱。
- 误区三：AI选股是“黑箱”，不需要理解原理。如果你不理解模型为何做出某个预测，就无法在策略失效时进行调试。本课程强调“可解释性”，会教你使用SHAP值、特征重要性等工具打开黑箱。
- 误区四：频繁调整策略参数。实盘中，过度优化参数会导致策略在轻微市场风格变化下失效。正确的做法是设定固定的调参周期（如每月一次），并坚持样本外验证。
最后，请记住一个核心心态：AI选股是一个概率游戏，而非确定性预测。我们的目标是构建一个在长期、大样本下具有正期望值的策略，而不是追求每笔交易都盈利。接受亏损、控制回撤、严格执行纪律，是量化交易者的基本素养。在接下来的29章中，我们将一步步把这些理念转化为可执行的代码和策略。现在，请准备好你的Python环境，我们即将启程。