基于AI智能分析网关平台SkeyeVSS的端-边-云一体化视频融合预警解决方案

一、方案背景

当前各大监控厂商提供的视频资源管理平台解决方案均面临以下问题:

  • 不同单位在视频平台建设中以所属领域为单位,设备品牌众多,存在的标准不一,各监控系统之间也没有统一标准;
  • 各单位视频平台建设分散、统筹性差,没有进行统一规划、统一部署,各平台之间的数据共享不足,数据孤岛现象严重;
  • 各单位视频系统功能应用单一,接入网络环境复杂,并存在平台重复性建设等问题。
  • 需要大量人员值守监控,费时费力,响应反应慢,效率低下。

二、方案介绍

为解决以上问题,需构建视频汇聚平台,将原来分散在不同部门、不同系统的视频资源进行整合、汇聚、治理,结合各应用场景,接入汇聚区直机关、区级重点单位以及辖区内需联网的公共区域视频资源、社会单位视频资源和社会群众自建视频资源等不同类型、不同链路、不同技术要求的社会视频监控资源,做到数据先汇聚,再分享,将零散的社会视频汇聚到一个统一的端-边-云一体化架构平台,平台开放服务接口,实现数据共享。

进而实现基于中心视频融合平台的连起来、存起来、管起来、控起来、智能起来等功能,有利于对社会视频资源前端点位进行规范化管理,全面掌握重点单位和重点部位视频监控系统建设数量、质量和点位布局,提升对社会视频资源的管控能力。

1. 端-边-云一体化关系

  • 端:是终端设备,如手机、lbs定位器、各类传感器、摄像头等;
  • 边:是云计算的边缘侧,分为基础设施边缘和设备边缘;边涉及的概念是云的子集;
  • 云:是传统云计算的中心节点,是边缘计算的管控端;

2.平台一体化部署方式

在云、边协同的集群上部署应用:适合实时性要求较高、比较重视隐私、与云连接的网络质量没有保障、网络带宽受限的场景,如5G视频接入、无人驾驶、车联网、智能家居、工业互联网、医疗互联网、智慧监控等。

3.边缘计算网关:与云平台分工协作

边缘计算网关是指在靠近物理设备或视频数据源的一侧,通过视频采集、网络传输、分析计算、视频存储、关联应用等核心能力为一体的AI平台,就近提供最近设备端视频分析服务。核心理念是将数据的存储、传输、计算和安全交给边缘节点来处理,其应用程序在边缘侧发起,可以产生更快的网络服务响应,满足各行业在实时业务、应用智能、安全与隐私保护等方面的需求。

4.云的时代:提供数字信息存储与应用服务

互联网的前20年是消费互联网的天下,云计算也从一个新兴概念转变为一个落地应用,飞速发展。当历史的车轮驶入21世纪20年代,产业互联网成为了这个时代新的焦点。众多企业将“云”作为转型的抓手,计算的中心化,几技术资源的中心化,AI、大数据、IoT等技术落地到各行各业都需要通过云计算这个基础设施。

云计算提供数字信息存储与应用服务。然而,面对海量数据计算、新兴计算场景、小数据实时处理等方面的挑战,单一的云计算显得尤为吃力,这时候需要新技术来突破 。

三、SkeyeVSS视频融合云平台

SkeyeVSS国标视频融合云平台基于端-边-云一体化架构,具有海量视频接入、汇聚与管理、处理及分发等视频能力,部署轻量简单、功能灵活多样,平台可支持多协议(GB28181/RTSP/Onvif/海康SDK/Ehome/大华SDK/RTMP推流等)、多类型设备接入(IPC/NVR/监控平台),在视频能力上,可实现视频直播、录像、回放、检索、云存储、告警上报、语音对讲、集群、智能分析以及平台级联等。

(1)联起来

SkeyeVSS平台连接各地视频监控网络,将散落的各区域、各部门不通系统的监控摄像头资源、RTSP/RTMP/HTTP/ONVFI等视频资源连接汇聚到中心平台,实现统一的视频共享平台;

此外,还可以通过GB28181协议、EHome协议主动接入设备和监控平台,并级联到上级平台,实现无视空间地域的全国互联互通;

(2)存起来

SkeyeVSS平台支持视频内容中心集中化结构化存储,平台支持7*24h录像,提供录像、检索、回放、云存储、云报警关联等功能,结构化摘录视频内容的信息可包含如时间、地点等信息进行统一存储,并对接入的视频进行录像备份,实现数据的分布式存储和备份,保障了视频资源的可靠性、安全性及可追溯性,为执法、追溯提供凭证。

(3)管起来

平台提供非结构化的视频数据与结构化的业务数据诸如AI智能分析结果、报警上报信息、设备接入状况、设备运行状态、带宽使用情况、存储空间状态监测业务等建立关联关系,从而方便形成对应视频信息和视频增值分析、报警、设备关联监测业务等的迅速调用和灵活检索。

(4)智能起来

平台实现对视频内容、视频结构化信息的智能分析,实现结构化摘录信息与相应时间、信息的智能分析和应用;当前端设备在检测到事先规定的特殊事件发生时,发送告警信息到平台;平台可以接收到设备上传的外部告警、视频信号丢失、离线、镜头遮挡和动态检测告警等信息。平台抓取所有设备记录的告警状态与信息,将设备的告警级别、告警方式、告警类型、告警时间都统一展示出来,可根据设备告警信息进行视频截取,获取告警时刻的视频截图。

四、AI边缘计算网关平台

目前在视频监控领域应用较为广泛的AI技术有:智能检测与分析技术(人脸检测与识别、物体识别、行为识别、目标追踪等)、图像及视频处理技术(视频图像处理、视频结构化等)。在场景上,视频监控的应用范围也在逐步扩展,从之前的安防逐渐拓展到交通、旅游、金融、司法、教育、生产制造、城市管理、环保等更多领域,例如:生产车间的质检智能检测、旅游景区客流分析、城市管理中的AI人脸检测、公安部人脸识别系统等等,无一不和AI相关。

1、介绍

边缘智能分析网关是由OPENSKEYE视频云团队研发的智能硬件产品,可支持AI视频智能分析功能,通过对视频监控场景中的人脸、人体、安全帽、口罩等进行抓拍、检测与识别,对异常情况进行智能提醒和通知,可广泛应用于客流统计、安防监控、周界防范、企业安全生产、公共防疫等场景。

智能边缘计算网关力求打造一个开放式、可扩展、二次开发升级的智能型AI终端,硬件基于国产ARM架构的芯片,不低于2T算力的NPU,具备更低的功耗,更高的性能,同时扩展多路外围接口,如RS232、485、CAN等,系统采用嵌入式Linux操作系统,提供更稳定的运行环境。

智能分析网关针对行业视频智能分析需求,可提供丰富、完善、专业的平台功能,满足用户的多样化、个性化、场景化方案需求。利用AI、物联网、云计算、大数据等技术,可满足基于视频服务的数据感知、智能检测、智能分析、智能告警等需求。

2、功能

(1)口罩佩戴检测

利用口罩特征分析算法,对监控区域内的人员是否佩戴口罩进行实时检测,如餐饮后厨、工厂车间、公共场合防疫等,可根据业务需求对未正常佩戴的情况进行自动告警提示,并截取图片进行保存。

(2)安全帽检测

通过实时视频监测和预警在岗工人是否正确佩戴安全帽,若检测到异常,则立即向平台发出告警,支持语音联动、声光装置进行提醒。

(3)人体行为检测

基于AI算法,可对监控场景中是否存在行人进行检测,并给予精确定位、追踪,可实现人群流量统计、行人追踪、定位等功能,具有广泛的应用场景,如:行人闯入检测、越界检测、人群密集检测等。

(4)区域入侵检测

利用AI深度学习算法,对设定的监控区域进行入侵实时监测,当视频画面中的指定区域检测到人员,则进行入侵报警,并抓拍图片,上传至平台,平台则可以将告警信息通过消息、语音等方式发送给相关管理人员。

(5)算法扩展

可针对多元化应用场景进一步拓展更多AI算法。

(6)数据感知

基于RTSP/ONVIF协议,将分散在各现场的设备统一接入,基于视频图像实现数据感知、智能检测与识别、分发等服务。

代码语言:txt
复制
1)RTSP/ONVIF协议接入
代码语言:txt
复制
轻量化接入、传输、处理与分发能力,支持RTSP / ONVIF协议接入设备,支持接入多路高清视频流,支持分发RTSP / RTMP / FLV / HLS / WebRTC视频流格式。
代码语言:txt
复制
2)支持上行级联
代码语言:txt
复制
提供RTMP、CDN推流、GB28181国标级联能力。
代码语言:txt
复制
3)实时高清视频直播,覆盖全终端
代码语言:txt
复制
支持实时传输720P和1080P的高清视频,可实现远程PC端(Windows / Mac / Linux)、手机端(Android / iOS)、微信端及电子大屏观看,可满足用户的多样化场景需求。支持PTZ云台控制,包括焦距缩放、方向控制等。
代码语言:txt
复制
4)对接各类传感器
代码语言:txt
复制
支持对接各类传感器,如温湿度传感器、烟感、水浸等传感器,实现数据智能化感知。

(7)智能预警

可对前端设备上传的检测异常情况进行告警,如视频信号丢失、遮挡、危险区域闯入、周界入侵、未正确佩戴安全帽、未佩戴口罩等,并可联动声光及语音装置进行提醒。告警消息可通过语音、短信、消息通知、微信等方式推送给工作人员。

(8)数据分析

设备采集的数据经AI智能检测分析后,在平台直观展示智能识别的人、物体、行为等违规行为和结果,打造可视化、综合化、智慧化的数据融合分析、管理与展示平台。

  • 人体检测数据实时分析,如:人流量统计;
  • 设备接入状况、运行、宽带、存储空间等状态监测信息;
  • 常告警信息提示,如:入侵、安全帽未戴、口罩未戴等。
  • 平台还可展现设备接入状况、运行、宽带、存储空间等状态监测,设备监控画面、告警上报等信息。

(9)灵活拓展

平台部署简单、功能可灵活易拓展、提供标准http restful api接口,轻松与第三方集成:

  • 支持自定义各类软件程序,通过应用管理,自定义各类App;
  • 支持开发语言:Java、C&C++、Go、Lua、Python、.NET等;
  • 提供JDK环境、Docker环境、Python环境等,到手即可对接。

将SkeyeVSSS视频融合平台与AI智能分析边缘计算网关结合使用,可以实现基于端、边、云架构的AI智能检测分析及算力的精细化调度等能力,可实现的智能检测技术有:人脸检测与识别、车辆检测与识别、车牌识别、烟火识别、安全帽识别、区域入侵检测等。

OPENSKEYE视频云正在积极探索基于AI、边缘计算、大数据、5G等新兴技术的企业发展战略,并进一步形成多元化的产品和业务布局,为用户提供更丰富、便捷、智能的产品服务。