【新智元导读】本文是美国国家研究院健康临床中心（NIH-CC）吕乐在GTC DC上的演讲整理，主题有关利用深度学习和深度神经网络进行医学影像分析。
放射医学中的深度神经网络：预防和精确医学的角度
深度学习和深度神经网络对医学成像或医学影像分析有帮助吗？（答案是肯定的）
- 淋巴结应用程序包(52.9%→85%, 83%)
- 胰腺应用程序包 (~53%→81.14%，在遗传相似系数中)
- 肺(间质性肺病)应用程序包 + DL读取胸部X射线
复杂性和模块性
为什么以前的以及当前的计算机辅助诊断（computer-aided diagnosis，CAD）系统没有特别成功？
- 机器决策对于人类医生来说不好接受：优秀的医生讨厌使用它；不太优秀的医生会困惑，不知道如何使用 →人机协作的决策过程
- 使机器决策更易于理解对于协作系统来说非常关键 → 学习中级属性或嵌入？
预防医学：人类医生做不到的是什么（数百万的人口规模，至少这是不经济的）：人口风险分析
精确医学：a）精确医学中的新的生物标记物，能够更好地协助人类医生做出更精确的判断；b）用于诊断/治疗系统的患者水平相似性检索系统
应用的焦点：癌症成像
三类关键问题：
- 计算机辅助检测（CADe）和诊断（CADx）
- 医学图像分析中的语义分割
- 大型放射学影像数据库中的交替或联合文本/影像深度挖掘
自动淋巴结检测
- 由于淋巴结外观、位置和姿态的变化很大，检测很困难。
- 加之淋巴结与周围组织的对比度低。
浅层模型：使用线性分类器的二级层次结构的2D视图集合
HOG: Histogram of Oriented Gradients + LibLinear on recognizing 2D Views
淋巴结检测FROC的性能
多通道HOG特征图构造
单一模板结果
分类
混合模型的检测结果
深度模型：通过综合表征的卷积神经网络预测的随机集
卷积神经网络架构
实验结果
我们的结果与前人研究的结果比较
转移学习的可视化
微调后更好的本地化
失败的例子
可推广？ 通过微调AlexNet，对1186例患者（或2372 CTC体积）使用更深的CNN的结肠CADe结果
语义分割：自上而下还是自下而上的范式？
更准确的成像使用淋巴结体积作为生物标记，而不是基于直径的RECIST标准？
使用Holistically-Nested神经网络和CT成像中的结构化优化的自动淋巴结聚类分割
多尺度“缩小”R-ConvNet
DeepOrgan：通过双通道编码的R2-ConvNet
82 CT扫描的4倍CV性能
高于平均值的例子
用于自动胰腺分割的Holistically-Nested网络的空间聚合
更准确，更快？
通过多标签深度学习的整体ILD预测
使用深度神经网络学习阅读胸部X光片
使用MeSH的阅读结果更准确，标注更“像人类”
在大型放射学数据库（780K / 62K患者）交替文本/影像深度挖掘的自动影像解释
大规模放射数据库中的交替文本/图像深度挖掘？
无监督循环深度Pseudo-task优化
五级层级分类
层级分类样本
LDPO-PM框架
场景识别数据集
结果：监督分类的学习特征
