🎓 总站 🏠 本课目录 01 图像基础 02 空间滤波 03 频率滤波 04 彩色处理 05 神经网络 06 表征学习 07 Transformer 08 CNN 09 目标识别 10 生成式模型 ⭐ 期末复习
视觉计算 · 期末复习总纲

期末复习知识点总纲

基于官方《视觉计算课程知识点》整理，覆盖 10 大主题共 69 个考点。每个考点以完整段落、对比卡片、提示盒展开讲解，配合 35 道选择题 + 30 道填空题检验掌握度。

📌使用说明

本页是期末复习总纲（完整展开版），每个考点不再以单行简写而是完整段落讲解，包含核心定义、关键公式、对比辨析和常考提醒。复习建议三步走：

① 通览：从头到尾读一遍段落，标记不熟悉的考点
② 攻坚：对⭐重点和薄弱项，点击右上角 → 章节XX 跳转到对应章节深入学习
③ 自测：用页底综合题库检验掌握度（选择题即时判分，填空题手动检查）
参考教材：① 冈萨雷斯《数字图像处理》(第4版) ② Torralba《Foundations of Computer Vision》(2024, MIT Press) ③ 课程课件和讲义。

一数字图像基础 → 章节01

数字图像的基本概念

数字图像本质上是一个二维矩阵，矩阵中的每个元素称为像素（pixel）。对灰度图，每个像素只有一个值（灰度，范围 0~L−1）；对 RGB 彩色图，每个像素有三个值（R、G、B，各 0~255）。图像的分辨率用 M×N 表示（M 行、N 列），分辨率越高细节越丰富，数据量也越大。例如一幅 512×512 的 8 位灰度图有 512×512 = 262,144 个像素，每个像素 8 bit，总大小 262,144 × 8 = 2,097,152 bit ≈ 256 KB。

取样（Sampling）与量化（Quantization）

把模拟图像（连续的二维亮度函数）变成数字图像需要两步：取样是把连续的坐标空间离散化为有限个像素位置（决定空间分辨率 M×N）；量化是把连续的亮度幅值离散化为有限个灰度级（决定灰度分辨率）。灰度级数 L = 2k，k 为每像素的位数。总存储量 = M × N × k bit。
常考应用：降低取样密度→空间分辨率下降（图像出现马赛克/锯齿）；降低量化级数→灰度分辨率下降（出现伪轮廓，即平滑渐变区域出现阶梯状假影）。

图像内插

图像内插用于图像缩放、旋转等几何变换时，计算目标图像中非整数坐标处的像素值。三种方法对比：

最近邻内插

取离目标点最近的整数坐标像素值。速度最快，但输出图像有锯齿/马赛克边缘，质量最粗糙。

双线性内插

用目标点周围 4 个最邻近像素按距离倒数加权做线性插值（先水平加权再垂直加权）。结果平滑，最常用。

双三次内插

用 16 个邻域像素做三次多项式插值，更平滑但计算更慢。

像素的邻接性与连通性

4 邻域 N4：当前像素上、下、左、右的 4 个垂直/水平相邻像素。8 邻域 N8：包含 N4 加上 4 个对角线方向的像素。邻接要求两像素位置相邻且灰度值满足特定条件（如二值图中同为 1）。连通指通过一系列邻接像素形成的路径。连通性是图像分割和区域标记的基础概念。

二图像空域滤波 ⭐ → 章节02

直方图与直方图均衡化 ⭐⭐

灰度直方图是图像中每个灰度级出现频数的统计图表：横轴=灰度级（0~L−1），纵轴=该灰度出现的像素个数（或概率）。如果直方图集中在较窄的灰度范围（太暗或太亮），图像对比度低。

直方图均衡化用 CDF（累积分布函数）作为映射函数，将原灰度映射到新灰度，使输出图像的直方图近似均匀分布，从而拉伸对比度。具体步骤：① 统计原始图像各灰度级频数 nk ② 计算概率 p(rk) = nk / MN（总像素数） ③ 求 CDF sk = Σj=0k p(rj) ④ 映射新灰度 = round(sk × (L−1))。

与对比度拉伸的区别：对比度拉伸是手动指定分段线性映射函数；直方图均衡化是自动的，基于图像自身统计分布，无需人工参数。

空间滤波的基本操作

用一个 m×n 的滤波器核（模板）在图像上逐像素滑动，将核系数与覆盖的邻域像素做加权求和得到该像素的输出值。公式：g(x,y) = Σs=−aa Σt=−bb w(s,t) · f(x+s, y+t)。核中心对齐目标像素。

平滑滤波（低通）

平滑滤波抑制噪声、模糊细节，是低通滤波（保留低频平坦区，去除高频噪声/边缘）。

均值滤波（线性）

取 m×n 邻域内所有像素的算术平均值。核系数全为 1/(m×n)。对高斯噪声（服从正态分布的随机噪点）有效，但模糊边缘。

中值滤波（非线性）

取邻域内所有像素的中位数。对椒盐（脉冲）噪声（黑白孤立噪点）特别有效，且保护边缘不受模糊。缺点：需排序操作，比均值慢。

锐化滤波（高通）

锐化增强边缘和细节，是高通滤波。基于微分算子：

拉普拉斯算子（二阶导）

∇²f = ∂²f/∂x² + ∂²f/∂y²。特点：各向同性（无方向偏好，旋转不变）。锐化公式 g = f − ∇²f（原图减去二阶导数，增强边缘过零点处对比）。使用前通常先高斯滤波（LoG 方法），否则对噪声非常敏感。

常用 3×3 模板：[[0,−1,0],[−1,4,−1],[0,−1,0]]（中心为正的叠加版）。

Sobel/Prewitt 梯度（一阶导）

用 Gx 和 Gy 两个核分别检测水平和垂直方向边缘。梯度幅值 |∇f| = √(Gx² + Gy²)。有方向性，常用于 Canny 边缘检测的梯度计算。

易错提醒：拉普拉斯对孤立点/孤立线比边缘更敏感，且噪声放大严重，实际锐化常先用高斯平滑（LoG 方法：Laplacian of Gaussian）。

三图像频域滤波 ⭐ → 章节03

二维离散傅里叶变换 2D-DFT

DFT 把空域图像 f(x,y) 分解为不同空间频率的正弦/余弦分量的幅度和相位。变换公式：F(u,v) = Σx=0M−1 Σy=0N−1 f(x,y) e−j2π(ux/M+vy/N)。频谱 |F(u,v)| 表示各频率分量的振幅（决定图像能量/亮度分布），相角 ∠F(u,v) 决定各频率分量的相对位置（决定图像的结构形状——相位信息比幅值更重要：仅保留相位舍弃幅值仍能看出物体轮廓）。

卷积定理（核心）

空域中的卷积等价于频域中的逐点相乘：f(x,y) * g(x,y) ⟺ F(u,v) · G(u,v)。这就是频域滤波的数学基础——在频域设计滤波器 H(u,v)，与 DFT 结果相乘后再做 IDFT（逆变换），比空域做大尺寸卷积更高效。

频域滤波的标准流程

原图 f(x,y) → 乘 (−1)x+y 把零频移至频谱中心（为了便于观察和操作）
→ 2D-FFT（快速傅里叶变换）得到 F(u,v)
→ 与滤波器 H(u,v) 逐点相乘：G(u,v) = F(u,v) · H(u,v)
→ 2D-IFFT（逆变换）→ 再乘 (−1)x+y 还原 → 输出 g(x,y)

低通滤波器

保留低频（平滑区域）滤除高频（噪声/边缘），效果是平滑去噪。三种低通对比：

理想低通 ILPF

D(u,v) ≤ D₀ 为 1，否则为 0（锐截止）。频域阶跃→空域 sinc 函数→图像出现振铃效应（输出有环形振荡伪影）。

巴特沃斯低通 BLPF

H = 1/(1+(D/D₀)2n)，阶数 n 控制过渡陡度。无明显振铃（n 大时轻微），平衡了理想和频率的缺陷。

高斯低通 GLPF

H = e−D²/2D₀²。指数级平滑过渡，无振铃，效果最自然。

高通滤波器

保留高频（边缘细节）削弱低频（平坦区域），效果是锐化。高通 = 1 − 低通（全通减去低通）。同样有理想、巴特沃斯、高斯三种变体。

频谱分析要点

频谱中心（u=0, v=0）对应直流分量（图像平均灰度）。离中心越远对应频率越高。频谱中能量集中在低频区（图像中大部分区域灰度变化缓慢），边缘/纹理对应高频。

四彩色图像处理 → 章节04

颜色模型

RGB（加色模型）

红(R)+绿(G)+蓝(B)以不同强度相加产生其他颜色。三值范围 [0,255] 或归一化 [0,1]。用于显示器、摄像机。缺点：三分量高度相关，不符合人眼感知。

CMY（减色模型）

青(C)+品红(M)+黄(Y)以相减方式产生颜色，用于彩色打印。CMY = 1 − RGB（归一化后），K(黑色) 常用于节省彩色墨水。

HSI（视觉模型）

H(Hue) 色调：0~360° 角度，表示颜色种类（红=0°、绿=120°、蓝=240°）。S(Saturation) 饱和度：0 到 1，颜色纯度（0=灰色，1=纯色）。I(Intensity) 亮度：0 黑色到 1 白色。符合人眼感知规律，常用于彩色处理（在 HSI 下操作不影响亮度）。

伪彩色处理

把灰度图像映射为彩色图像，利用人眼能分辨上千种颜色而非几十种灰度级的能力来区分细节。强度分层：把灰度范围分成若干段，每段赋予一种颜色。灰度-彩色转换：用三个独立的变换函数 TR / TG / TB 分别将灰度映射到 R/G/B。

彩色图像平滑与锐化

直接方法：对 RGB 三个通道各自动作（如分别做高斯平滑或拉普拉斯锐化）。更好的方法：转到 HSI 颜色空间，对 I（亮度）分量做处理（平滑或锐化），H 和 S 保持不变，这样不改变色彩属性（色调和饱和度），避免引入颜色畸变。

五卷积神经网络 CNN ⭐ → 章节08

CNN 的基本思想与性质

CNN 是针对网格状数据（如图像）设计的前馈神经网络，核心是局部连接 + 权重共享。每个神经元只连接到输入的一个局部区域（感受野），在同一特征图中所有神经元共用相同的权重（卷积核）。这带来了平移等变性：物体在图像中移动，对应的特征图响应也同步平移。相比全连接层，CNN 参数量大大减少。

卷积层详解

输出尺寸公式：O = (W − F + 2P) / S + 1。W=输入尺寸、F=核大小、P=填充(padding)、S=步长(stride)。

多通道输入输出：若输入有 Cin 个通道（如 RGB 的 3 通道），每个滤波器是 Cin × K × K 的三维核。输出通道数 = 滤波器个数。一层的总参数量 = Cout × (Cin × K × K + 1)（+1 是偏置项）。

空洞卷积

在核元素之间插 d−1 个空隙。等效核大小 = K + (K−1)(d−1)。不增加参数，感受野指数级扩大。d=1 为普通卷积。

1×1 卷积

核大小 1×1，不改空间尺寸。作用：跨通道信息聚合、升降维（改变通道数）、增加非线性。在 Inception、ResNet 中广泛使用。

转置卷积（反卷积）

做空间上采样，用于分割/生成网络中恢复分辨率。

池化层

在局部区域做下采样，降低特征图尺寸、减少参数、提供平移稳定性。最大池化取窗口内最大值（保留最强响应，最常用）。平均池化取平均值。全局平均池化：把整个特征图 C×H×W 降为 C 长向量（每个通道求全图均值），替代 Flatten+FC，大量减少参数量。

感受野

特征图上某个神经元能"看到"的原始输入图像区域大小。浅层感受野小（捕获纹理/边缘），深层感受野大（捕获物体/部件）。CNN 通过堆叠层级，感受野逐渐增大——这就是为什么深层能检测更大尺度的物体。

经典 CNN 架构

LeNet-5 (1998)

首个 CNN，5 层（2 卷积+3 全连接），用于手写数字识别，32×32 输入。

AlexNet (2012)

深度学习标志性突破。8 层、ReLU 激活、Dropout 正则、GPU 并行训练，大幅降低 ImageNet 错误率。

VGG (2014)

全部用 3×3 小卷积核堆叠（两个 3×3 堆叠等价于一个 5×5 感受野，参数更少），16/19 层，简单规整。

ResNet (2015)

引入残差连接 y = f(x;θ) + x。让网络学习残差 h(x)−x 而非完整映射，解决深层网络的退化问题（不收敛瓶颈），可训练 152 层。是当前大多数视觉模型的骨架。

ResNet 残差详解：传统网络层数加深→训练准确率不升反降（退化），不是过拟合。ResNet 通过短路连接让梯度直接回传，使每个单元只需学"与输入的差值"，大大降低了学习难度。这一思想延伸出 DenseNet、ResNeXt、Swin Transformer 等。

U-Net

编码器-解码器结构，加上跳跃连接——编码器每层的特征直接拼接到解码器对应层，保留浅层的高分辨率细节，用于精细的分割任务（医学图像分割标准架构）。

六Transformer ⭐ → 章节07

CNN 的远距离局限性

CNN 在浅层只能看到局部区域，远处块之间的依赖需要多层堆叠才能间接交互。这对大图/全局关系的任务（如目标检测中两个远距离物体之间的关系）效率低。Transformer 的自注意力让任意两个位置直接交互，一跳捕获全局关系。

Token 概念

在 ViT（Vision Transformer）中：① 把图像切成固定大小的图块（patch，如 16×16）② 每个 patch 展平成向量→一个token ③ 所有 token 组成序列（序列长度 = patch 数）④ 每个 token 加位置编码后送入 Transformer。

缩放点积注意力（核心）

公式：Attention(Q, K, V) = softmax(QKT / √dk) · V
Q（查询）与 K（键）做点积计算相似度，除以 √dk 防止 dk 大时点积方差过大导致 softmax 梯度消失，然后与 V（值）加权求和。多头注意力：并行用多组不同的 Q/K/V，各自关注输入的不同子空间，再拼合投影。

Transformer 架构

输入 token → 位置编码 → 多头自注意力（token 混合）
→ 残差连接 + LayerNorm → MLP（逐点非线性变换）
→ 残差连接 + LayerNorm → 堆叠 N 个 block → 输出

位置编码与置换等变

自注意力对 token 顺序置换等变：打乱输入顺序，输出也对应打乱。但图像中的空间位置信息是重要的（谁在谁的左边/上面），所以需要额外注入位置编码。ViT 使用可学习的位置编码（每个位置一个可训练向量），也可用正弦/余弦固定编码。

三种层对比

层类型连接方式等变性参数复杂度交互范围
全连接 FC每个输出连所有输入无O(n²d)全局，参数多易过拟合
卷积 CNN局部滑动权重共享平移等变O(kn²d)局部（核大小 K）
自注意力 SA所有 token 两两交互置换等变O(n²d)全局，但不含位置信息

七表征学习 → 章节06

问题设定

在无标签或标签稀缺的场景下让模型从数据本身学辨别性特征表示（embedding）。好的表征应：判别性（同类相似异类远离）、解耦性（各维度独立编码不同属性）、不变性（对光照/视角/遮挡变化鲁棒）、紧凑性（信息压缩，降维去冗余）。

自编码器 AE

由编码器（x → z，压缩）和解码器（z → x'，重建）组成，中间瓶颈层迫使学最本质的低维特征。最小化 x 与 x' 的差异。变种有去噪自编码器（输入加噪声后重建原图）、稀疏自编码器（对隐变量加稀疏约束）。

对比学习

核心思想：将同一图像的不同数据增强视图（裁剪/翻转/色彩抖等）作为正样本对拉近嵌入距离；将不同图像作为负样本对推远嵌入距离。每个 batch 包含 N 个图像，得到 N 个正样本对和 N²−N 个负样本对。代表性方法：SimCLR（用 InfoNCE 损失+大 batch）、MoCo（动量编码器维护负样本队列）、CLIP（图文对比）。

K-均值聚类

给定 K 个簇，迭代两步直到收敛：① 分派——把每个样本分配到最近的簇中心 ② 更新——把簇中心移到该簇所有样本的均值。目标函数：最小化各样本到其所属簇中心距离平方和。K 值通过肘部法（SSE 随 K 变化曲线拐点）或轮廓系数选择。

KL 散度与互信息

KL 散度：DKL(P‖Q) = Σ P(x) log(P(x)/Q(x))。度量两个分布的差异，非对称（P‖Q≠Q‖P）、非负（≥0）、P=Q 时为 0。互信息 I(X;Y) = DKL(P(X,Y)‖P(X)P(Y)) = H(X) − H(X|Y)，表示知道 Y 后 X 不确定性的减少。对比学习常用 InfoNCE 损失来最大化正样本对的互信息下界。

信息瓶颈

在压缩表示 Z（最小化 I(X;Z)）与保留目标任务 Y 的预测能力（最大化 I(Z;Y)）之间找平衡。目标函数：min I(X;Z) − β·I(Z;Y)。β 控制压缩与保留的权衡。

八视觉生成 → 章节10

判别式 vs 生成式

判别式 P(Y|X)

输入 X 预测标签 Y（多对一，划分类边界）。代表：SVM、逻辑回归、CNN 分类器。不能创造新样本。

生成式 P(X|Y)

对类条件分布 P(X|Y) 和先验 P(Y) 分别建模（一对多，对同一标签可生成不同实例）。能创造新样本。代表：VAE、扩散模型、GAN。

建模目标：最小化模型分布与真实分布的 KL 散度 ⟺ 最大化对数似然 E[log p(x;w)]。生成模型的输出空间往往是高维且有无数种"正确"结果，所以引入隐变量 z 来注入随机性。

变分自编码器 VAE

VAE 引入编码器 q(z|x) 推断隐变量 z，优化证据下界：

ELBO = Eq(z|x)[log p(x|z)] − DKL(q(z|x) ‖ p(z))
第一项重构项：解码器重建输入越准，该项越大。第二项先验匹配项：编码分布越接近标准正态 𝒩(0,1)，该项越大。重参数化技巧 z = μ + σ·ε（ε~𝒩(0,1) 与参数无关），使采样操作可微分，从而能用反向传播训练。

扩散模型 DDPM

前向过程：逐步给图像加高斯噪声，T 步后变为纯高斯噪声。反向过程：训练神经网络预测每一步添加的噪声 ε。DDPM 的关键简化：固定方差后，KL 散度退化为预测噪声与真实噪声的 L2 距离。采样时从纯噪声开始，反向 T 步反复"减去预测噪声"，逐步生成清晰图像。

三模型对比：VAE=快速采样+可解释隐空间但生成模糊；GAN=生成锐利但训练不稳定/模式坍缩；扩散=质量最高+训练稳定但采样慢（需多步去噪）。

九目标识别基础 → 章节09

图像分类

互斥分类（多类单标签）：每幅图只属于 K 类中一个类别。输出层用 softmax 归一化为概率分布（各分量和为 1），损失函数 交叉熵 L = −log py（py=真实类别对应的 softmax 输出概率）。多标签分类：图像可同时有多个标签，用 K 个独立 sigmoid（每个输出 0~1，各自独立判断），损失 = 各标签二元交叉熵之和（不再满足概率和为 1）。

Top-1 准确率：真实标签与模型置信度最高的预测一致的比例。Top-5 准确率：真实标签出现在置信度前 5 的预测中的比例（对 ImageNet 等类别多的数据集更合理）。混淆矩阵：行=真实类别、列=预测类别，对角线亮=正确预测多，非对角线亮=该两类容易混淆。

目标检测

目标检测 = 分类 + 定位两个互补任务。要给每个边界框判断类别（含背景类 y=0 表示与任何真实目标无重叠），并回归 4 个坐标参数。核心难点：预测框数 > 真实框数，需要匹配。匹配方式：IoU 匹配（IoU≥阈值则匹配）或匈牙利算法（全局最优）。

IoU（Intersection over Union） = 预测框与真实框的交集面积 / 并集面积。取值范围 0~1。常用判定阈值 0.5。评估流程：按置信度排序遍历→对每个框算 IoU→IoU≥0.5 判正确（TP）并移除该真实框→IoU<0.5 判错误（FP）→剩余真实框为漏检（FN）→画 P-R 曲线→曲线下面积 = AP / mAP。

十视觉与语言 → 章节09

CLIP 模型

CLIP（Contrastive Language-Image Pre-training）使用自然语言描述作为监督信号来训练视觉模型。在一个 batch 的 N 个图文对中：正样本 = 图像与自己的描述文本（N 个，对角线上），负样本 = 图像与 batch 中其他图像的描述文本（N²−N 个，非对角线上）。用双向 InfoNCE 损失同时优化"图像→文本"和"文本→图像"两个方向的匹配度：拉近正样本、推远负样本。

零样本分类（CLIP 最强能力）：不需要任何标注训练样本——把候选类别名（如"猫""狗""鸟""飞机"）逐一编码为文本嵌入，将待分类图像编码为图像嵌入，计算图像嵌入与各文本嵌入的余弦相似度，取最相似的类别名作为预测结果。这种范式让分类器可识别训练时从未见过的类别。

🎯自测（点击展开）

直方图均衡化的映射函数是什么？是 PDF 还是 CDF？
CDF（累积分布函数）。PDF 是概率密度，均衡的映射是 CDF——sk = Σj=0k p(rj)，作用是使输出灰度近似均匀分布。新灰度 = round(sk × (L−1))。
均值滤波和中值滤波各适合什么噪声？会影响边缘吗？
均值适合高斯噪声，但会模糊边缘（线性平滑）。中值适合椒盐（脉冲）噪声，且保护边缘（非线性选择中位数）。
拉普拉斯和 Sobel 各是几阶？区别？
拉普拉斯是二阶导数算子，各向同性（无方向偏好）。Sobel 是一阶梯度算子，有方向性（能检测水平和垂直方向边缘）。拉普拉斯对孤立点比边缘更敏感，噪声放大更严重。
卷积定理的核心内容？
空域卷积等于频域逐点相乘：f(x,y) * h(x,y) ⟺ F(u,v) · H(u,v)。这使在频域做滤波（先 FFT→相乘→IFFT）比空域做大核卷积更高效。
CNN 输出尺寸公式和参数计算？
输出 O=(W−F+2P)/S+1。一层参数量 = Cout × (Cin × K × K + 1)。例：3 通道输入，64 个 3×3 滤波器，参数量 = 64×(3×9+1)=64×28=1792。
自注意力公式？为什么除 √dk？
Attention = softmax(QKT/√dk)·V。除以 √dk 防止 dk 大时点积方差过大，避免 softmax 进入饱和区导致梯度消失。
为什么 CNN 有远距离独立性问题？
卷积核只覆盖局部感受野，远距离块需多层堆叠（每层扩大一圈感受野）才能交互，效率低。自注意力让任意两位置直接交互。
VAE 的 ELBO 分解成哪两项？
ELBO = 重构项 E[log p(x|z)] − 先验匹配项 DKL(q(z|x)‖p(z))。重构越准越大，先验分布越接近标准正态越大。
DDPM 网络预测什么？采样过程？
预测噪声 ε（而非直接预测去噪图像）。采样时从纯高斯噪声 zT 开始，T 步反向"减去预测噪声" εθ(zt, t)，逐步恢复出清晰图像。
CLIP 如何做零样本分类？
把候选类别名编码为文本嵌入，与图像嵌入比余弦相似度，取最相似的类别作为预测。不需要任何标注训练数据。
HSI 三份量各代表什么？为什么在 HSI 下处理更好？
H(S) 色调(0~360°)、S 饱和度(0~1)、I 亮度(0~1)。在 I 分量做平滑/锐化不影响 H 和 S，不会引入颜色畸变，而 RGB 三分量相关度高一处理就偏色。
KL 散度的性质？对比学习中用它做什么？
非对称、非负，P=Q 时为 0。InfoNCE 损失是最大化正样本对间互信息的下界，等价于最小化 KL 散度。
IoU 计算和检测评估流程？
IoU=交集/并集。评估：按置信度排序→逐框与真实框算 IoU→≥0.5 判 TP 同时移除该真实框→＜0.5 判 FP→剩余真实框为 FN→画 PR 曲线→AP/mAP。
ResNet 解决什么问题？怎么解决？
解决深层网络退化问题（深度增加训练准确率不升反降）。通过残差连接 y=f(x)+x 让梯度直接回传，每块只学残差而非完整映射，降低学习难度。
对比学习的正负样本定义？
正样本对 = 同一图像的不同数据增强视图（裁剪/翻转/色彩变化等），负样本对 = 不同图像的增强视图。目标：拉近正、推远负。

📝综合题库

选择题点选即时判分；填空题输入后"检查"或"显示答案"。

已答 0/0答对 0正确率 —
已答 0/0答对 0