最近更新:
分类: AI 线性代数必备
AI 教程网络
专题导读
文章分组
基础、实践、扩展三个阶段,按文章顺序排列。
图文教程
线性代数先不要急着背公式。把向量看成数据,把矩阵看成变换,把方程组看成约束,后面的机器学习会更容易接上。
AI 里的很多计算都可以翻译成线性代数:输入是向量,参数是矩阵,训练是在高维空间里找更好的方向。
向量既可以表示几何箭头,也可以表示一行特征。读 AI 代码时,更常见的是把样本转成特征向量。
矩阵最实用的理解有两个:一批数据的表格,或者把向量变到新位置的变换器。
运算规则背后是含义:加法是合成,数乘是缩放,点积能看相似度,矩阵乘法是在组合关系。
矩阵加法和数乘看起来简单,但它们是理解批量特征更新、权重缩放和线性组合的起点。
矩阵乘法不是逐项相乘,而是行和列的点积。它能表达特征加权、坐标变换和多层网络传播。
转置常用于调整方向和做内积,逆矩阵表示能把变换还原。实际计算里,要特别注意可逆性和数值稳定。
行列式可以理解为线性变换对空间体积的缩放。等于零时,空间被压扁,信息丢失,矩阵不可逆。
行列式性质是为了更快、更稳地计算,也能帮助判断矩阵是否退化、变换是否保留信息。
计算行列式时,低阶可以展开,高阶更适合用行变换化成三角矩阵,再乘对角线。
线性方程描述的是一条线、一个平面或更高维空间里的约束。多个约束叠在一起,就形成方程组。
高斯消元本质是用等价变换把方程组变简单。每一步不改变解集合,只让结构更容易读。
齐次方程组一定有零解,非齐次方程组要先判断是否有解。有解时,通解常写成特解加齐次解。
特征值描述矩阵沿某些特殊方向的缩放程度。它是理解降维、稳定性和深度模型行为的重要入口。
特征向量不是一个固定长度的箭头,而是一条方向。只要方向相同,倍数不同仍然代表同一类特征向量。
特征分解把复杂矩阵拆成方向和缩放两部分。能分解时,很多矩阵运算会变得更直观。
内积把两个向量的关系压成一个数。它能同时连接长度、夹角和相似度,是机器学习里非常常用的工具。
正交基像一套互不干扰的坐标尺。用它表示向量时,投影和重构都会变得清楚。
内积空间让距离、角度、投影这些几何概念可以进入算法。推荐、搜索和回归都离不开它。
SVD 可以把任意矩阵拆成方向、强度和方向三部分。它比特征分解更通用,也更适合实际数据矩阵。
手算奇异值可以从 A^T A 的特征值入手。工程里通常交给数值库,但理解来源能帮助读懂结果。
SVD 的应用核心是保留主要结构、丢掉弱噪声。图像压缩、推荐系统和 PCA 都能从这个角度理解。
机器学习训练常写成矩阵形式:一批样本一次算完预测,再根据误差更新参数。
神经网络的核心计算仍是大量矩阵乘法。理解 shape、权重和梯度,能让深度学习不再只是调库。
状态空间模型用矩阵描述系统如何随时间演化。它把历史状态、外部输入和观测输出放进同一套线性框架。