ISP PQ Tool User Guide
Revision History
Revision | Date | Author | Description |
---|---|---|---|
1.0 | 2024/07/09 | Zhirongli | Initial drift |
1.1 | 2024/10/08 | Zhirongli | 更新部分参数描述;新增AEM运动检测;更新CCM插件功能;更新AWB插件功能;版本匹配AsrlspToolV3.2.0.0 |
简介
概述
本文档主要介绍 SpacemiT 图像调试,包含调试工具(Tuning Tool)、定标插件(Calibration Plugins)、图像分析工具(VRF viewer),平台调试辅助等。
缩略语
Name | Description |
---|---|
ISP | Image Signal Process |
VRF / vrf | RAW image with information at the end |
BLC | Black Level Correction |
LSC | Lens Shading Correction |
AWB | Auto White Balance |
AEC | Auto Exposure Control |
AF | Auto Focus |
OTP | One Time Programmable |
AEM | Auto Exposure Monitor |
AFM | Auto Focus Monitor |
CCM | Color Correction Matrix |
CT | Color Temperature |
BPC | Bad Pixel Correction |
CAC | Color Aberration Correction |
LTM | Local Tone Mapping |
PDC | Phase Detection Compensation |
Phase Detection Correction | |
PDAF | Phase Detection Auto Focus |
SE | Special Effect |
EIS | Electronic Image Stabilization |
CDAF | Contrast Detection Auto Focus |
FV | Focus Value |
SAD | Sum of absolute difference |
ROI | Region of Interest |
NR | Noise Reduction |
EE | Edge Enhancement |
HDR | High Dynamic Range |
Qn | Accuracy, 2n is double |
Tuning Tool 概述
Tuning Tool 框架
Figure - ISP Tool 框架
PC 端 tuning tool 安装
调试软件是免安装的压缩文件,解压即可使用,文件名 AsrIspToolVX.X.X.X.rar
解压后包含如下文件:
Figure - ISP Tool 文件
调试环境准备
软硬件需求
-
硬件环境
- 台式电脑或笔记本电脑
- 1GHz 或更快的处理器
- 1GB RAM(32 位) 2GB RAM(64 位)
- 至少 10GB 可用硬盘空间
- 1920 x 1080 屏幕分辨率或更高
- USB 端口
- 集成了 ASR ISP 的终端设备
-
软件环境
- Windows 7 64 位或以上版本的操作系统
设备连接
AsrIspTool 通过 USB 与终端设备连接,通过 ADB 与设备交互。
【注:连接之前设备需先启动 tuning server 线程,即启动 camera】
Tuning Tool 基本操作
Tuning Tool 主界面
双击 AsrIspTool.exe ,启动调试工具,主界面如 Figure 3.1-1 所示
Figure - ISP Tool 主界面
-
menu:菜单功能区
- Open:打开参数文件
- Save:保存参数文件
- SaveAS:参数文件另存为
- IP Address:reserved
- ADB(SN):ADB 方式连接终端设备,支持输入 ADB serial
- Connect:连接终端设备
- Vied:单/水平叠加/垂直叠加 窗口显示
- Format:十进制/十六进制显示切换
- Display:矩阵编辑/行编辑/列编辑模式切换
- Plugins:插件
- Frequency:参数刷新速度调节
- Capture:抓取 VRF 数据(vrf)
- Register:ISP 寄存器读写工具
- I2C:I2C 读写工具
- Push: reserved
- Transfer: reserved
- VRF:看图工具
- DNG:reserved
-
Module list & Filter list:模块列表
-
parameter list:参数列表
-
Log:日志区
Online 基本操作
连接终端设备
打开 tool 之后,在选择 ADB(SN),点击 Connect,连接成功会自动读取当前所有模块的参数,并以 500ms(功能菜单可修改 Frequency)为周期定时刷新只读参数。(多台终端与 PC 相连,可指定 serial)
如果想将可读写参数也定时刷新,将右上角 AutoUpdate 勾选即可(勾选之后 参数不可设置)。
如果想单次读取所有参数,点击右上角 Read 按钮。
Figure - ISP Tool 连接界面
注意:ADB 连接方式只适用于使用 Android 系统的项目,我们主要使用 TCP 网络连接开发板进行 tunning。
参数类型说明
Figure - 参数说明
-
可调参数
- 可勾选参数,如 m_bAutoCalculateAEMWindow
- 可编辑参数,如 m_nPreEndingPercentage
- 可编辑数组参数,如 m_pSubROIPermil,若为二维数组,可切换矩阵/行/列编辑模式
-
只读(灰色)
- 只读,如 m_nAdjacentLumaSAD
-
特别说明
- 在插件或参数列表中修改参数,会标红显示修改的内容,鼠标覆盖时会显示原值。
实时修改参数
- 在模块列表区展开想要调试的模块列表
- 在模块列表区点击想要修改的模块
- 在参数列表区通过滑动条或者直接修改参数值,参数即时生效。
抓取 VRF 图
- 在菜单功能区点击 Capture 按钮
- 选择 RAW,设置保存路径
- 点击 Start Capturing 可生成后缀为 vrf 的原始图像
Register 读写
Figure - Register 读写
-
在菜单功能区点击 Register 按钮
-
设置 Address(寄存器地址)
-
Value(8bit)(寄存器值)
- Read 读寄存器
- Write 写寄存器
-
Value(32bit)(寄存器值)
- Read 读寄存器
- Write 写寄存器
I2C 读写
Figure - I2C 读写
-
在菜单功能区点击 I2C 按钮
-
设置 Device ID (I2C 设备号)
-
设置 Device Address (从设备地址)
-
设置 Address Bytes(寄存器地址位宽)
-
设置 Register Address(寄存器地址)
-
设置 Value Bytes(寄存器值位宽)
-
Value(寄存器值)
- Read 读寄存器 / Batch Read 文件导入批量读寄存器
- Write 写寄存器 / Batch Write 文件导入批量写寄存器批量读写寄存器文件 格式如下,
{Address, Value }
, 批量读写寄存器点击 Batch Read / Batch Write 导入 reg_batch.txt。读取结果会在红色框中显示对应 log,同时会生成同名_read.txt 用于后续查看。
批量读写寄存器文件格式示例
Figure - I2C 批量读
保存参数
- 在菜单功能区点击 Save 按钮
- 选择路径并设置文件名
- 点击保存生成参数文件
打开本地参数文件
在菜单功能区点击 Open 按钮或者直接拖曳对应参数文件到工具对应模块中,该操作将把参数直接写入硬件;
Offline 基本操作
打开本地参数文件
- 在菜单功能区点击 Open 按钮或者直接拖曳参数文件到工具中;
修改参数
- 在模块列表区展开想要调试的模块列表;
- 在模块列表区点击想要修改的模块;
- 在参数列表区通过滑动条或者直接修改 参数值;
- 如果是一维向量,在参数编辑界面点击波形按钮可进入曲线编辑模式;
定标插件
- 在菜单功能区点击 Plugins 下拉菜单选择插件;
保存参数
- 在菜单功能区点击 Save 按钮,输入文件名,参数将保存至本地文件;
ISP 插件
本节介绍 BLC、LSC、AWB、CCM、Curve、Noise、PDC、PDAF 定标调试,以及调试辅助工具 General Information、Raw preprocessor。
标定插件支持 online(连接设备)与 offline(导入参数文件),只有打开对应 Filter 参数时,插件才能打开。
BLC 定标与调试
BLC 定标 VRF 图要求
在全黑环境或将镜头完全遮挡采集 VRF 数据。
BLC 定标步骤
Figure - BLC 定标界面
- 在 BLC 插件中点击 Load 导入 VRF 图;
- 选择 Pipe ID(非单 pipeline 可选);
- 选择 Channel ID;
- 点击 Calibrate,校正结果显示在 Calibrated Result 界面,若结果不理想亦可手动修改 Result;
- 点击 Update,参数将更新到参数列表,若结果不理想,可点击 Cancel 重新校正;
BLC 定标说明
- Calibrated Result panel 显示 4 个通道,10bits 与 8bits 的值,参数保存到文件中会映射到 12bits。
- Channel ID:表示对应 2 ᵅ[倍 gain 下的 BLC 参数,BLC 可随 Gain 调整,从 1x 倍 gain 到 2048 倍 gain,共 12 个等级(见 Gain-BlackValue 示意图);最后一档 manual 在 manual mode 使能时生效,此时 BLC 不随 gain 调整。
Gain – BlackValue 示意图
BLC 调试说明
BLC 参数位于 CDigitalGainFirmwareFilter
- 若 BLC 不随增益变化,将 m_bManualMode 置为 1,此时 BLC 值为 m_pGlobalBlackValueManual
- 若 BLC 随增益变化,将 m_bManualMode 置为 0,此时 BLC 值为 m_pGlobalBlackValue
LSC 定标与调试
LSC 定标 VRF 图要求
在灯箱环境(D65、 CWF、 A 光)或存在 shading 的环境中使用 diffuse 挡住镜头,拍摄若干进光均匀的图片。
LSC 定标步骤
Figure - LSC 定标界面
- 在 LSC 插件中点击 Load 导入 VRF 图;
- 选择 Pipe ID(非单 pipeline 可选);
- 选择 Channel ID;
- 调整补偿的比例 Current Percentage,建议先设为 100%,后期可修改 strength 控制补偿强度;
- 点击 Calibrate,校正仿真结果显示在 Calibrated Image;
- 点击 Update,参数将更新到参数列表,若结果不理想,可点击 Cancel 重新校正;
LSC 定标说明
- Channel ID: 0 为低色温补偿表;1 为中色温补偿表;2 为高色温补偿表;manual 在 manual mode 使能时生效,此时 LSC 不随色温调整。
LSC 调试说明
LSC 可随 CT 或 CorrelatedCT 调整(见 CT-LSCProfile 示意图)
CT 定义: 256*AWB_RGain/AWB_BGain(可通过 AWB plugin 中的 CT 信息/4 获得);
CorrelatedCT 定义:相关色温,光源发出的光与某一色温的黑体辐射光相似的程度
CT – LSCProfile 示意图
LSC 参数位于 CLSCFirmwareFilter
- LSC 需随色温变化,设置合适的 m_pCTIndex,以设置不同色温下的 Shading 表。
【注:LSC 插值依据可选择 AWBFilter 计算结果 CT(在 AWB 插件中读取 CT)或 CCTCalculatorFilter 计算结果 CCT(在 WbFirmwareFilter 中读取 m_nCorrelationCT),推荐使用 m_nCorrelationCT】
CCM 与 CCT 定标与调试
CCM 定标 VRF 图要求
在灯箱环境中使用拍摄 24 色卡,画面中色卡尽量对正,色卡居中,占画面约 1/9。
D65 、CWF 、 A 光是必要的光源。
CCM 定标步骤
Figure - CCM 定标界面
- 在 CCM 插件中点击 Load 导入 VRF 图,VRF 使用 Raw preprocessor 插件补偿 LSC 和 PDF(如存在 PD 像素);
- 在图中框选完整的色卡,保证 24 个 ROI 都落在色块之内,若拍摄图片不正或畸变严重,可点击 start,勾选期望单独调整的 ROI,然后手动拖动 ROI;
- 设定期望校正的饱和度;
- 点击 Calibrate,校正仿真结果显示在 Calibrated Result;
- 选择 Pipe ID(非单 pipeline 可选);
- 选择 Channel ID;
- 点击 Update,参数将更新到参数列表,若结果不理想,可在 Saturation Table 中针对修改某一个 block 的饱和度,然后重新 calibrate;
CCT 定标步骤
Figure - CCM 定标界面
- 定标步骤与 CCM 定标可同时进行, CCT 只需要 A 与 D65;
- CCM Calibrate A 光之后,选择 profile 2850K,点击 UpdateCTMatrix;
- CCM Calibrate D65 光之后,选择 profile 6500K,点击 UpdateCTMatrix;
- 结果将自动更新到 CCTCaluatorFilter 中 m_pCTMatrix_low / high 中;
CCM 定标说明
- Use Internal Curve – Calibration: 无需勾选
- Use Internal Curve – Render: 无需勾选
- Use AGTM: 勾选
- Target:保持 D50
- View Environment:保持 D50
- Calibrated Result: 显示校正之后的仿真结果
- CCM Result: 列出了校正之后的色彩矩阵,此处亦可手动修改,点击 set 设到硬件中;
- Channel ID:0 为低色温 CCM 参数;1 为中色温 CCM 参数;2 为高色温 CCM 参数;manual 在 manual mode 使能时生效,此时 CCM 不随色温调整。
- Make DNG Profile: reserved
- UpdateCTMatrix:更新 CCT matrix
- SaveImage:保存 render 出的图片
CCM 调试说明
CCM 可随色温调整(见图 CCM-色温控制曲线)
CT – CCM index 示意图
CCM 参数位于 CColorMatrixFirmwareFilter
- CCM 需随色温变化,设置合适的 m_pCTIndex,以设置不同色温下的色彩矩阵,推荐使用 CorrelatedCT。
【注:CCM 插值依据可选择 AWBFilter 计算结果 CT(在 AWB 插件中读取 CT)或 CCTCalculatorFilter 计算结果 CCT(在 WbF irmwareFilter 中读取 m_nCorrelationCT)】