通过深度学习和优化策略提升计算成像系统

本文来自ICIP2020,主题是“通过深度学习和优化策略提升计算成像系统”,演讲者是Wolfgang Heidrich教授。

硬件和软件的协调设计需要考虑以下问题:

  1. 计算成像实际上是把真实世界的光学信息编码成数字信息
  2. 数字图片展示过程实际上是把计算信息解码成光学信息

那么,对于数字相机而言,什么是好的光学特性呢?由传统相机可以知道,好的相机必须能够矫正几何畸变、球面像差以及色差。但正是这些特性造成了传统相机体积大并且昂贵的特性。解决办法就是并且那些繁杂的用于矫正的组成部分,只使用简单透镜作为相机的硬件,矫正几何畸变、球面像差以及色差则使用数字计算的方式来实现。

数字相机的优化光学设计也许会与传统设计有很大不同。比如说,限制色差矫正也许会对矫正其他误差有所帮助。柔性的相机成像流程,标准流程是先脱色、降噪,再进行色域匹配、JPEG压缩等生成数字图像。但也可以用上述方法,结合自然图片的先验知识使用算法得到成像。由此可以发展出端到端的优化成像系统。

接下来的发展有四个方面。一是复杂光学的可微前向模型,比如说衍射、绕射、元表面等;二是具体应用的成像系统,比如人脸检测相机、自动驾驶汽车以及隐私保护光学监视器等;三是其它成像模式,比如说同步加速器的X光纳米成像。四是非线性光学神经网络。

附上演讲视频: