为什么需要ISP

畸变校正

枕形畸变（Pincushion Distortion），又称枕形失真，它是由镜头引起的画面向中间“收缩”的现象。在使用长焦镜头或使用变焦镜头的长焦端时，最容易察觉枕形失真现象。

桶形畸变（Barrel Distortion），又称桶形失真，是由镜头中透镜物理性能以及镜片组结构引起的成像画面呈桶形膨胀状的失真现象。在使用广角镜头或使用变焦镜头的广角端时，最容易察觉桶形失真现象。

黑电平矫正

图像传感器的光电二极管存在暗电流，暗电流是指在没有外部激励的情况下,pn结中仍然存在的微小电流。在无光环境下，图像输出应该是纯黑的，而实际上无光环境下光电二极管仍会存在电流，造成输出并不是纯黑的。ISP对传感器暗电流的处理称为“黑电平矫正”，通常需要减去一定数值的输出。

坏点矫正

图像传感器由于自身工艺、材料瑕疵等会造成输出异常的像素点，统称为坏点。实际包括坏点(Deadpixel)、粘滞点 (StuckPixels) 与亮点 (Hotpixel)，前者是高度曝光下的暗像素点，中者是高度曝光下相同位置出现的彩色像素点，后者为极暗条件下产生的亮点。坏点包括静态坏点和动态坏点，动态坏点与传感器工作温度、增益有关。坏点矫正通常是将像素点的输出与周围像素点作比较，存在明显较大的差异时则被认为是坏点。

视觉需要

颜色校正Color Corret

人眼在可见光波段的频谱响应、监视器的激励响应和图像传感器的频谱响应均存在较大差别，如果ISP按照1:1或线性输出采集的光谱激励，会造成人眼视觉呈现的图像色彩失真。

国际照明委员会（CIE）于1931年首次用纯数学的方法定义了一种颜色空间模型，即CIE 1931 XYZ 颜色空间，它覆盖了人眼所能感知的全部颜色，而且不依赖于任何特定的物理实现。在该模型中，CIE定义了三个函数用于模拟人眼的三种锥细胞对可见光谱的响应曲线，如下图所示：

下图为某款sensor的频谱响应曲线：

为了使得图像输出更贴近人眼的观察效果，需对不同RGB分量进行合适的增益，这种增益同时需要保证对于RGB分量相等的输入可获得相等输出，即不能破坏“白平衡”。

显示器所能呈现的动态范围通常远小于摄像环境的动态范围。因此需要对图像的亮度和对比度进行处理，以便将高动态范围（HDR）的图像转换为低动态范围（LDR）图像，以适应显示设备的能力。