冈萨雷斯DIP-week1

Hint

待填坑

• [x] 形态学处理的简单实现(暂时鸽))

• [ ] 图像内插实现

• [x] m邻接相关概念没有完全懂

• [x] 关于色彩混合

• [ ] 例6.1到底要说明什么现在还不是很懂

• [x] HSI重点，但是还没弄懂

• [ ] 例6.5 6.6有些不懂

• [ ] 这部分目前均衡化和匹配基本看完了，后面还没有仔细看，需要增补

书本说明

采用第四版电子版(因为有书签)，目测差别不大，可随时和第三版内容对比。

第三版豆瓣：https://book.douban.com/subject/6434627/

第三版目录：

第1章 绪论
前言
1.1 什么是数字图像处理
1.2 数字图像处理的起源
1.3 使用数字图像处理的领域实例
1.4 数字图像处理的基本步骤
1.5 图像处理系统的组成
小结
参考文献
第2章 数字图像基础
引言
2.1 视觉感知要素
2.2 光和电磁波谱
2.3 图像感知和获取
2.4 图像取样和量化
2.5 像素间的一些基本关系
2.6 数字图像处理中所用数学工具的介绍
小结
参考文献
习题
第3章 灰度变换与空间滤波
引言
3.1 背景知识
3.2 一些基本的灰度变换函数
3.3 直方图处理
3.4 空间滤波基础
3.5 平滑空间滤波器
3.6 锐化空间滤波器
3.7 混合空间增强法
3.8 使用模糊技术进行灰度变换和
空间滤波
小结
参考文献
习题
第4章 频率域滤波
引言
4.1 背景知识
4.2 基本概念
4.3 取样和取样函数的傅里叶变换
4.4 单变量的离散傅里叶变换（DFT）
4.5 两个变量的函数的扩展
第5章 图像复原与重建
前言
5.1 图像退化/复原处理的一个模型
5.2 噪声模型
5.3 只存在噪声的复原—空间滤波
5.4 使用频率域滤波消除周期噪声
5.5 线性、位置不变的退化
5.6 估计退化函数
5.7 逆滤波
5.8 最小均方误差（维纳）滤波
5.9 约束最小二乘滤波
5.10 几何均值滤波
5.11 由投影重建图像
小结
参考文献
习题
第6章 彩色图像处理
引言
6.1 彩色基础
6.2 彩色模型
6.3 伪彩色图像处理
6.4 全彩色图像处理基础
6.5 彩色变换
6.6 平滑和锐化
6.7 基于彩色的图像分割
6.8 彩色图像中的噪声
6.9 彩色图像压缩
小结
参考文献
习题
第7章 小波和多分辨率处理
引言
7.1 背景
7.2 多分辨率展开
7.3 一维小波变换
7.4 快速小波变换
7.5 二维小波变换
7.6 小波包
小结
参考文献
习题
第8章 图像压缩
引言
8.1 基础知识
8.2 一些基本的压缩方法
8.3 数字图像水印处理
小结
参考文献
习题
第9章 形态学图像处理
引言
9.1 预备知识
9.2 腐蚀和膨胀
9.3 开操作与闭操作
9.4 击中或击不中变换
9.5 一些基本的形态学算法
9.6 灰度级形态学
小结
参考文献
习题
第10章 图像分割
引言
10.1 基础知识
10.2 点、线和边缘检测
10.3 阈值处理
10.4 基于区域的分割
10.5 使用形态学分水岭的分割
10.6 分割中运动的应用
小结
参考文献
习题
第11章 表示和描述
引言
11.1 表示
11.2 边界描绘子
11.3 区域描绘子
11.4 使用主分量进行描述
11.5 关系描绘子
小结
参考文献
习题
第12章 目标识别
引言
12.1 模式和模式类
12.2 基于决策理论方法的识别
12.3 结构方法
小结
参考文献
习题
附录A 图像压缩编码表
附录B 参考书目
索引

week1(11.6-11.12,2022)

1、数字图像处理

1.1 什么是图像处理

（《数字图像处理（第三版》冈萨雷斯著 第1章）

1.2 图像处理基础概念

（《数字图像处理（第三版》冈萨雷斯著 第2章2.3-2.5节）

1.3 色彩模型

（《数字图像处理（第三版）》冈萨雷斯著 第6章6.1-6.3节）

2、空间域图像增强

2.1 灰度变换与直方图均衡化

（《数字图像处理（第三版）》冈萨雷斯著 第3章3.1-3.3节）

什么是图像处理

什么是数字图像处理

数字图像

任意空间坐标$(x,y)$处的幅值$f$称为图像在该点的强度(灰度)

$(x,y),f$都是有限、离散量—>数字图像

划分

IP->CV的连续体不存在明确边界，人为划分成三种处理：

处理	输入	输出	说明
低级	图像	图像	降噪、对比度增强、锐化等初级操作
中级	图像	从图像提取的特征(边缘、轮廓、目标标识)	分割、识别等
高级	图像	理解信息	与人类视觉相关的认知功能

数字图像处理：输入输出都是图像、用数字计算机处理

历史与起源

起源

• 早期：没有数字计算机，仅涉及数字图像
• 20世纪60年代初：第一台可执行有意义图像处理任务的大型计算机出现(数字图像处理的诞生)

应用历史

• 包括人类解译和求解机器感知两部分
• 应用：空间技术、医学影像(CAT,CT)，考古(增强，修复)，物理学(增强)

应用实例

介绍了很多种成像方式…没有怎么看明白

基本步骤

步骤示意图

图像获取

包括图像预处理(缩放等)

图像增强

• 目的：强调图像的整体或局部特性，例如改善图像的颜色、亮度和对比度等，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，提高图像的视觉效果
• 特点：不存在增强图像的”通用理论”
• 参考：基于深度学习的图像增强综述 - 知乎专栏

图像复原

• 特点：客观的，以图像退化的数学或概率模型为基础

(对比图像增强则为主观的、以主观偏好为基础)

彩色图像处理

重要，后面详细学

小波变换

重要，后面详细学

图像压缩

减少存储量\降低传输带宽

形态学处理(Morphological processing)

• 指一系列处理图像形状特征的图像处理技术。
• 基本思想：利用一种特殊的结构元来测量或提取输入图像中相应的形状或特征，以便进一步进行图像分析和目标识别

• 基础：集合论

• 常用：膨胀、腐蚀、开运算、闭运算等

[坑：这几个都挺有意思，需要实现一下]

图像分割

• 指将一幅图像划分为部分或目标
• 分割越准确，分类越容易成功

特征提取

• 往往出现于分割阶段输出的下一步
• 综述参考：全面综述：图像特征提取与匹配技术 - 极市开发者平台

模式分类

根据目标特征描述为目标赋予标记

图像处理系统

系统结构图

发展特点

• 图像处理硬件与工业标准总线兼容
• 向小型化、通用化、带有专用图像处理硬件与软件方向发展

图像处理基础概念

感知与获取

获取图像的目的：由感测的数据生成数字图像

形成概述

图像形成可以认为是”照射“源和”场景“元素对光能的反射和吸收产生。

这里的照射和场景是广义含义，不仅是可见光源照射三维场景

将照射能量转换为数字图像的传感器：

• 单个成像传感器
• 条带传感器
• 阵列传感器

简单成像模型

用标量函数$f(x,y)$表示二维图像，记亮度(灰度)$L=f(x,y)$。

• 意义：决定于图像源(即不仅仅包括光照，也包括声音、雷达图像等各类)
• 大小：认为与物理源辐射的能量成正比
• 入射分量：$i(x,y)$，入射到被观察场景的照射量
• 反射分量：$r(x,y)$，被场景中物体反射的照射量

$$f(x,y)=i(x,y)r(x,y) \\ where \space 0\leq i(x,y)<\infty,0\leq r(x,y)<1$$

一般认为$f(x,y)$非负、有限，但是在图像的计算和加工过程中可能出现负值(可以通过缩放亮度使得最小的亮度变为0)

记

$$L_{max}=i_{max}r_{max} \\ L_{min}=i_{min}r_{min} \\ L_{min} \leq L \leq L_{max}$$

亮度级(灰度级):$[L_{min},L_{max}]$

• 可以表示为$[0,1],[0,C]$
• 量纲一般不关心！
• $L=0$表示黑色，$L=1$表示白色

取样与量化

基本概念

• 取样：对坐标值数字化，取样方法决定于生成图像时所用的传感器排列
• 量化：对幅值数字化，精度依赖于：
  • 所使用的离散级数
  • 信号中的噪声含量
• 影响数字图像质量的关键因素：
  • 取样样本数
  • 量化离散灰度级

数字图像表示

• 空间域

  图像坐标张成的实平面，其中的$(x,y)$称为空间坐标(空间变量)

  也可以理解成包含图像中像素的平面

• 函数图表示

• 可视灰度阵列

这里显示器显示的灰度与该点处的f值成正比(但未必一致)

• 二位数值阵列

$M\times N$的数值矩阵表示为

$$f(x,y)=\begin{bmatrix} &f(0,0) &f(0,1) &\cdots & f(0,N-1) \\ &f(1,0) &f(1,1) &\cdots & f(1,N-1)\\ &\vdots &\vdots &\ddots &\vdots \\ &f(M-1,0) &f(M-1,1) &\cdots & f(M-1,N-1) \end{bmatrix}$$

矩阵中的单元称为像素(图像单元、图像元素)

像素的位置由二维坐标给定，称为坐标索引

注意坐标系的原点和正方向，这样$x,y$与矩阵和行列对应。

坐标范围为$(M-1,N-1)$，中心位于$(\left \lfloor \frac{M}{2}{} \right \rfloor,\left \lfloor \frac{N}{2}{} \right \rfloor)$

动态范围&存储比特数

• 量化过程可以描述为一种赋值：将灰度值(实数集中的一个实数)赋值给每个特定坐标对$(x,y)$，形成数字图像$f(x,y)$
• 动态范围

灰度级通常取2的整数次幂

$$L=2^k$$

离散灰度级等间隔分布在区间$[0,L-1]$，这一区间(即灰度跨越的范围)称为动态范围

图像系统的动态范围定义为

$$\frac{最大可度量灰度}{最小可检测灰度}$$

上限取决于饱和度，下限取决于噪声[这里着实还没理解，需要后面补充]

• 对比度：图像中最高最低灰度级间的灰度差
• 反差比：图像中最高最低灰度级间的灰度比

可观像素具有高动态范围时称为具有高对比度

• 存储比特数

$$b=MNk$$

• k比特图像：具有$2^k$灰度级的图像

线性索引

原理是从左上角开始先向下再向右扫描图像，依次标号$\alpha=0$到$\alpha=Mn-1$。

与坐标索引的转换关系：

$$\alpha=Mx+y \\ x=\alpha~mod~M \\ y=(\alpha-x)/M$$

空间分辨率&灰度分辨率

• 空间分辨率

指图像中最小可辩别细节的测度,常用单位距离内可分辨的最大线对数或单位距离的点数表示

DPI（英语：Dots Per Inch，每英寸点数）是一个量度单位，用于点阵数字图像，意思是指每一英寸长度中，取样或可显示或输出点的数目。如：打印机输出可达300DPI的分辨率，表示打印机可以在每一平方英寸的面积中可以输出300X300＝90000个输出点。

空间分辨率的测度必须针对空间单位声明才有意义！

• 灰度分辨率

指灰度级中可分辨的最小变化，通常是量化灰度使用的比特数

(例：灰度量化为256级的图像，灰度分辨率为8bit)

受到噪声、饱和度的影响，同时受到人类分析和解释等主观因素影响。

灰度级128/64

灰度级4/2

这一组对比图表明灰度图在灰度级较大的时候会产生明显的伪轮廓(分层现象)。

• 对图像质量的影响

如果图像大小$M=N$，则存储需要的比特数

$$b=N^2k$$

[例子]使用以下三张图片完成一个实验：

改变N(影响大小)，k(影响灰度分辨率)，记录参与试验者的评价即可得到不同类图像的等偏爱曲线

• 随着图像细节程度的减少，曲线倾向于向右上方移动，即细节越少越需要高质量的图形质量(来达到相同的效果)
• 图像细节越丰富，曲线越趋于竖直，即细节丰富的图像只需要较少的灰度级(来达到相同的效果)

图像内插

内插：用已知数据估算未知位置的值，应用于放大、缩小(图像重取样)、旋转、几何校正等。

• 最近邻内插(0阶插值)

以放大图像为例，首先创建一个目标大小的图像，其像素间隔与原图像相同。然后缩小到与原图像大小相同，则每个新图像像素点获得一个在原图像坐标系内的坐标，由于是实数因此需要插值。

设$(i+u,j+v)$($u,v$为实数，$0<u,v<1$)为待求象素坐标，待求象素灰度的值$f(i+u, j+v)$。

根据待求像素落在的区域为其赋值：

$$f(i+u,j+v)=\left\{\begin{matrix} f(i,j),~u<0.5,v<0.5 \\ f(i+1,j),~u>0.5,v<0.5 \\ f(i,j+1),~u<0.5,v>0.5 \\ f(i+1,j+1),~u>0.5,v>0.5 \end{matrix}\right.$$

可以理解成将原图像最近邻灰度值赋值给每个新位置

最邻近元法计算量较小，但可能会造成插值生成的图像灰度上的不连续，在灰度变化的地方可能出现明显的锯齿状。

• 双线性内插、双三次内插

双线性插值(Bilinear Interpolation)：

双线性插值是用原图像中4(2*2)个点计算新图像中1个点，效果略逊于双三次插值，速度比双三次插值快，属于一种平衡美，在很多框架中属于默认算法。

双三次插值(Bicubic interpolation)：

双三次插值是用原图像中16(4*4)个点计算新图像中1个点，效果比较好，但是计算代价过大。

$$v(x,y)=ax+by+cxy+d(Bilinear ~Interpolation) \\ v(x,y)=\sum_{i=0}^3 \sum_{j=0}^{3}a_{ij}x^iy^j(Bicubic ~Interpolation)$$

其中的系数都可以通过近邻点的方程组计算得到。

参考：双线性插值- 维基百科，自由的百科全书

[这里需要自己实现，待填坑]

像素间的基本关系

像素使用小写字母表示(p,q)

相邻像素

上下左右四个方位相邻像素称为4邻域：

$$N_4(p)={(x-1,y),(x+1,y),(x,y-1),(x,y+1)}$$

对角相邻像素

$$N_D(p)={(x-1,y-1),(x-1,y+1),(x+1,y-1),(x+1,y+1)}$$

两者合称为8邻域$N_8(p)$,也就是p的邻域，根据是否包含p分为开\闭邻域。

邻接、联通、区域、边界

【大量概念名词的一节，目前还没完全懂】

m邻接

定义邻接需要首先规定一个灰度值集合V(意即只有值在V中的两个像素pq才是邻接的)

• 4邻接

$$q \in N_4(p) \and p,q\in V$$

• 8邻接

$$q \in N_8(p) \and p,q\in V$$

• m邻接(混合邻接)

$$p,q \in V(前提) \\ q \in N_4(p) \or \\ q \in N_D(p) \and N_4(p)\cap N_4(q) \notin V$$

m邻接作为8邻接的改进，用来消除8邻接时可能导致的歧义性。

【后面关于边缘的一大堆概念还没懂】

距离测度

距离测度需要满足：

$$D(p,q)\geq 0 \\ D(p,q)=D(q,p) \\ D(p,s)\leq D(p,q)+D(q,s)$$

即非负性、对称性、满足类似“两点之间线段最短”这三个性质，可以称之为距离函数(距离测度)

• 欧几里得距离

$$D_e(p,q)=[(x-u)^2+(y-v)^2]^{\frac{1}{2}}$$

等距离线构成一个圆。

• 城市街区距离

$$D_4(p,q)=|x-u|+|y-v|$$

等距离线为菱形轮廓。

• 棋盘距离

$$D_8(p,q)=max(|x-u|,|y-v|)$$

等距离线形成一个方形。

$D_4$$D_8$距离下，距离只和两点坐标有关，与两点间的通路无关。

但是m邻接距离$D_m$为两点间最短通路距离。注意区别！

色彩模型

参看本站：https://thunderbolt215.github.io/2022/12/17/%E5%BD%A9%E8%89%B2%E5%9B%BE%E5%83%8F%E5%A4%84%E7%90%86%E5%9F%BA%E7%A1%80/

灰度变换与直方图均衡化

卷首语，看着很有意思就放过来了

背景

空间域变换表达式

$$g(x,y)=T[f(x,y)]$$

其中T是$(x,y)$邻域上定义的、针对f的算子，对于单幅图像变换的过程是：不断地将邻域中心从一个像素移动到另一个，将算子应用到邻域中的像素，产生一个输出值

如果邻域大小变为$1\times 1$(最小情况)，则称为灰度变换函数

$$s=T(r)$$

s和r代表$g(x,y)$和$f(x,y)$。

灰度变换的例子：

灰度变换

r为处理前的像素，s为处理后的像素，变换T把像素r映射为s

灰度变换的值常储存在表中，r到s的映射通过表实现

常用的灰度变换函数：线性、对数、幂律

图像反转

灰度级为$[0,L-1]$的反转图像表达式

$$s=L-1-r$$

可以用于图像暗色区域中的白色\灰色细节

对数变换

各类灰度变换，待补充

直方图处理

这部分目前均衡化和匹配基本看完了，后面还没有仔细看，需要增补

直方图均衡化