机器学习
神经网络、决策树、强化学习 — 让计算机学会学习
知识结构
学习路径
搜索算法是 AI 中最基本的问题求解方法——BFS 逐层扩展保证最短路径,DFS 深入探索用栈,A\* 用启发式函数引导方向
线性回归拟合连续值(房价预测),逻辑回归输出概率(分类)。梯度下降是训练它们的最基本优化算法
决策树用 if-else 规则树做分类——每个节点问一个问题,根据答案走不同分支。随机森林用多棵决策树投票,大幅降低过拟合
SVM 在特征空间中找最大间隔超平面——让两类数据离分界线越远越好。核技巧把低维不可分的数据映射到高维使其可分
聚类把数据分成几组——"物以类聚"。k-Means 指定组数迭代优化,DBSCAN 按密度聚类,自动发现任意形状的簇
PCA 把高维数据投影到低维——保留数据"方差最大"的方向。用于降维、可视化、去噪,是机器学习中最常用的无监督方法之一
神经网络(MLP)是多层感知器的堆叠——每层是线性变换+非线性激活函数。反向传播通过链式法则计算梯度,是训练神经网络的核心算法
CNN 用卷积核扫描图像——检测边缘、纹理、形状等特征。池化层压缩尺寸,多层堆叠从简单特征组合成复杂语义。LeNet、ResNet 是经典架构
RNN 通过"记忆"处理序列数据——每个时间步的输出依赖于当前输入和上一步的"隐藏状态"。LSTM 用门控机制解决长序列中的梯度消失问题
Transformer 用自注意力(Self-Attention)代替 RNN 处理序列——每个位置关注所有位置,并行计算效率远高于 RNN。是 GPT、BERT、LLM 的基础架构
生成模型学习数据分布并生成新样本——GAN 用生成器和判别器对抗训练,VAE 用编码器-解码器学习隐空间,扩散模型逐步去噪生成图像
强化学习让智能体在环境中通过"试错"学习——做动作获得奖励,目标是最大化总奖励。Q-Learning 学习动作价值函数,DQN 用神经网络近似 Q 函数
自然语言处理让计算机理解、生成人类语言——从词嵌入(Word2Vec)到预训练模型(BERT、GPT),NLP 经历了从"手动特征"到"大模型"的转变
计算机视觉让计算机"看懂"图像和视频——图像分类识别物体类别,目标检测定位物体位置,语义分割给每个像素分类。YOLO 实现实时检测,SAM 实现通用分割
MLOps 把机器学习模型从"实验"变成"产品"——数据管理、实验追踪、模型部署、监控、持续迭代。和 DevOps 类似但增加了数据、模型版本管理等 ML 特有挑战