7 矩阵运算之矩阵乘法与性质

在之前的章节中，我们了解了矩阵加法与数乘的基本概念和操作。矩阵乘法是线性代数中的一项核心操作，它在机器学习和计算机科学中尤其重要。在本章节中，我们将深入探讨矩阵乘法的定义、性质以及相关的应用案例。

矩阵乘法的定义

矩阵乘法是两个矩阵相乘的运算，但并不是所有的矩阵都可以相乘。设有两个矩阵 $A$ 和 $B$，分别为 $m \times n$ 和 $n \times p$ 的矩阵。则矩阵 $A$ 和 $B$ 的乘积 $C = AB$ 将是一个 $m \times p$ 的矩阵。矩阵乘法的定义是：

$$C_{ij} = \sum_{k=1}^{n} A_{ik} B_{kj}$$

这表示矩阵 $C$ 的第 $i$ 行第 $j$ 列的元素是矩阵 $A$ 的第 $i$ 行与矩阵 $B$ 的第 $j$ 列对应元素的乘积之和。

示例

假设有两个矩阵：

$$A = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix}, \quad B = \begin{pmatrix} 5 & 6 \\ 7 & 8 \end{pmatrix}$$

我们计算 $C = AB$：

1. 计算 $C_{11}$：$C_{11} = 1 \cdot 5 + 2 \cdot 7 = 5 + 14 = 19$
2. 计算 $C_{12}$：$C_{12} = 1 \cdot 6 + 2 \cdot 8 = 6 + 16 = 22$
3. 计算 $C_{21}$：$C_{21} = 3 \cdot 5 + 4 \cdot 7 = 15 + 28 = 43$
4. 计算 $C_{22}$：$C_{22} = 3 \cdot 6 + 4 \cdot 8 = 18 + 32 = 50$

因此，矩阵 $C$ 为：

$$C = \begin{pmatrix} 19 & 22 \\ 43 & 50 \end{pmatrix}$$

矩阵乘法的性质

矩阵乘法有一些重要的性质，这些性质在应用中非常有用。以下是一些常见的矩阵乘法性质：

1. 结合律：矩阵乘法满足结合律，即 $(AB)C = A(BC)$。
2. 分配律：矩阵乘法满足分配律，即 $A(B + C) = AB + AC$ 和 $(A + B)C = AC + BC$。
3. 不可交换性：一般情况下，矩阵乘法不满足交换律，即 $AB \neq BA$。
4. 单位矩阵：存在一个单位矩阵 $I_n$，使得对于任意矩阵 $A$（如果 $A$ 是 $n \times n$），都有 $AI_n = I_n A = A$。

结合律示例

考虑三个矩阵：

$$A = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix}, \quad B = \begin{pmatrix} 5 & 6 \\ 7 & 8 \end{pmatrix}, \quad C = \begin{pmatrix} 9 & 10 \\ 11 & 12 \end{pmatrix}$$

我们可以先计算 $(AB)C$ 和 $A(BC)$ 看是否相等。

1. 计算 $AB$：

$$AB = \begin{pmatrix} 1 \cdot 5 + 2 \cdot 7 & 1 \cdot 6 + 2 \cdot 8 \\ 3 \cdot 5 + 4 \cdot 7 & 3 \cdot 6 + 4 \cdot 8 \end{pmatrix} = \begin{pmatrix} 19 & 22 \\ 43 & 50 \end{pmatrix}$$

2. 接下来计算 $(AB)C$：

$$(AB)C = \begin{pmatrix} 19 & 22 \\ 43 & 50 \end{pmatrix} \begin{pmatrix} 9 & 10 \\ 11 & 12 \end{pmatrix} = \begin{pmatrix} 19 \cdot 9 + 22 \cdot 11 & 19 \cdot 10 + 22 \cdot 12 \\ 43 \cdot 9 + 50 \cdot 11 & 43 \cdot 10 + 50 \cdot 12 \end{pmatrix}$$

进行计算，得到：

$$(AB)C = \begin{pmatrix} 209 & 244 \\ 553 & 640 \end{pmatrix}$$

3. 计算 $BC$：

$$BC = \begin{pmatrix} 5 \cdot 9 + 6 \cdot 11 & 5 \cdot 10 + 6 \cdot 12 \\ 7 \cdot 9 + 8 \cdot 11 & 7 \cdot 10 + 8 \cdot 12 \end{pmatrix} = \begin{pmatrix} 99 & 108 \\ 119 & 140 \end{pmatrix}$$

4. 最后计算 $A(BC)$：

$$A(BC) = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix} \begin{pmatrix} 99 & 108 \\ 119 & 140 \end{pmatrix} = \begin{pmatrix} 1 \cdot 99 + 2 \cdot 119 & 1 \cdot 108 + 2 \cdot 140 \\ 3 \cdot 99 + 4 \cdot 119 & 3 \cdot 108 + 4 \cdot 140 \end{pmatrix}$$

经过计算后，我们发现：

$$A(BC) = \begin{pmatrix} 337 & 388 \\ 603 & 712 \end{pmatrix}$$

通过计算可得 $(AB)C \neq A(BC)$，这一点也验证了矩阵乘法的结合律。

实际应用案例

在机器学习中，矩阵乘法具有广泛应用。例如，考虑一个简单的线性回归模型：

$$Y$$