计算机视觉研究院专栏
Column of Computer Vision Institute
据最新消息,受暴雨影响,河北地铁全线网车站停运,纯电公交停运,机场取消、延误航班超200架次,途径的多个高速路段全线禁止所有车辆上站。在人工智能时代,我们需要通过AI来检测洪水或泳池内溺水的人,及时做到拯救工作。
01
前景概要
连日来,受5号台风“杜苏芮”及其减弱低压影响,河北省部分地区出现极端强降水天气过程,降雨时间长,累计雨量大,影响范围广,石家庄、邢台、保定等9个设区市和雄安新区发生洪涝灾害。经统计,截至8月1日12时,此次强降雨造成河北省87个县(区)540703人受灾。其中因灾死亡9人(保定市4人,邢台市5人),因灾失踪6人(保定市2人,邢台市4人),灾害造成的经济损失正在统计中。
继续关注河北防汛救灾情况。受强降雨和上游来水影响,河北先后启用七处蓄滞洪区,有序分泄河道洪水,兰沟洼蓄滞洪区就是其中一个。随着白沟河河道水位回落,旁边的兰沟洼蓄滞洪区挖出了一条退水口,洪水源源不断流向河道。最新数据显示,六个小时蓄滞洪区内水位下降20厘米左右;保定涞水县三坡镇下庄村全村被山洪围困,多数房屋的一层被淹。山洪退去后,镇上调来大型机械帮助村民清理淤泥。看直播,关注河北多地汛情最新情况。
今天我们首先以泳池为例,技术发展越先进,可以应用到一切场景。公共游泳池中的水下溺水检测是一项具有挑战性的任务。为了检测溺水游泳者,需要一种可实现的高精度实时检测系统。
今天分享中,有研究者提出了一种新颖的基于相机的溺水检测算法。输入视频序列是从水下摄像机获得的。警戒区内的移动物体将通过背景减法从背景中提取。采用基于帧间的去噪方案来消除水中的复杂干扰。实验结果表明,该算法无需大量计算即可更准确地检测溺水者。
02
背景
正至夏季,游泳是一种流行的下班后运动和娱乐活动。尽管配备了专业救生员,但仍有少数人因未及时救援而在溺水事故中重伤甚至死亡。一般情况下,救生员可以发现水面附近发生的事故,并立即营救溺水的游泳者。然而,水下的盲点很难用人眼观察清楚。因此,自动溺水检测系统对于确保游泳池的安全是必不可少的。除了专利中报道的基于摄像头的溺水检测系统外,大多数现有的自动溺水检测系统仍停留在理论框架中。然而,根据新框架的实验结果,所有这些基于相机的溺水检测系统都需要大量计算,或者在游泳池复杂的光照条件下仍然不够准确。水波和气泡的反射会造成严重干扰,导致误报率高。
03
新框架
实时背景重建和前景检测广泛应用于运动物体检测。在新的系统中,研究者使用水下摄像机监控游泳池。没有游泳者的游泳池的图像作为背景。为应对游泳池内不同的光照条件,背景图像应随着光照环境的变化而更新。游泳池的主流背景建模方法包括统计平均、时间中值滤波器和高斯混合模型。
高斯混合模型(GMM)是一种流行的背景建模算法,在许多论文中都有提及。然而,GMM需要大量的计算,不适合实时监控。它也容易受到光照变化的影响。在游泳池多变的光照条件下,时间中值滤波器也容易受到光照变化的影响。因此,统计平均方法被用于背景重建。统计平均的优点是不需要大量的计算,并且在建模过程中对光照变化有很强的鲁棒性。
目标检测
视频序列中的帧可能由背景区域和前景对象组成。通过背景减法,可以从背景中提取那些前景对象。对于第 i 行第 j 列监控帧 P(i,j) 的每个像素和相应的背景模型 B(i,j),P(i,j) 和 M 之间的欧几里得距离 Ed(i,j) (i,j) 描述如下:
基于帧简去噪
持续时间获取。游泳池的水下环境以各种光照条件为特征。水池的瓷砖底部会导致水面上波动的复杂反射,导致进入警戒区的游泳者与反射干扰有关。为了消除反射干扰,不需要从前景图像中擦除反射,但排除其干扰影响,这意味着我们只需要确保反射不会被归类为溺水者,而反射被归类无关紧要作为前景对象。
根据观察,我们发现波动引起的反射是由于水流而产生的动态变化。因此在前景的反射域中,像素的强度以一定的频率交替变化为明暗,导致二值前景图像中相应的连通区域持续时间很短,形状不稳定,而溺水的游泳者移动缓慢甚至水中的静电。因此,那些代表溺水者的连接区域是低速移动或静止的,二值前景图像中相应的连接区域是静止的,并且持续时间长。
为了区分溺水的游泳者和反射,研究者使用二值前景图像中每个连接区域的持续时间信息。方案详情如下:
Step 1:
Set ROI for connected area in frame #n
Step 2:
上图就是为ROI中最大的连接区域设置外部矩形。
ROI 和外部矩形的样本
Step 3:
每当满足:
时,ROI的专用计数器Co将增加 1,这意味着该连接区域的持续时间正在增加。否则,Co将被设置为零,ROI将被删除。
Step 4:
重置第#n+1帧中的ROI。(请注意,由于物体移动,ROI 的位置略有变化。)
分类
正如上面持续时间获取部分提到的,溺水游泳者图像和反射图像之间最可改进的区别是它们的持续时间。研究者使用持续时间获取中提供的方法来获取所有前景连接区域的Co代表的持续时间信息。
04
实验及可视化
监控视频序列样本帧
测试帧(左列)及其前景(右列)
05
后言
其实这个技术也是有点陈旧,目前的技术都是目标检测+人体姿态识别,这个可能会更加精准有效!
转载请联系本公众号获得授权
往期推荐
🔗
- PE-YOLO:解决黑夜中的目标检测难点
- YOLO-S:小目标检测的轻量级、精确的类YOLO网络
- Yolo算法的演进—YoloCS有效降低特征图空间复杂度(附论文下载)
- InternImage:探索具有可变形卷积的大规模视觉基础模型
- 首个全量化Vision Transformer的方法FQ-ViT,AI大模型落地不远了!
- YoloV8与ChatGPT互通,这功能是真的强大!
- GPT理解的CV:基于Yolov5的半监督目标检测
- Consistent-Teacher:半监督目标检测超强SOTA
- Sparse R-CNN:稀疏框架,端到端的目标检测(附源码)
- RestoreDet:低分辨率图像中目标检测
- 中国提出的分割天花板 | 精度相当,速度提升50倍!
- All Things ViTs:在视觉中理解和解释注意力