今天看见朋友圈看见大疆的教育新产品的视频内容:
就是这个
为了抢全网第一个云体验,赶紧打开电脑写一篇,至于用不用的到,日后再说吧~
新品的渲染图真的好看
主要功能是理解图像内容:比如识别这是啥~
一套开箱即用的训练平台
一个自动识别物品并且结账的demo
看这个改装程度,是EP
加到飞机上面进行穿杆
我不记得这个地方的接口是什么来着
与以前的扩展接口兼容的
主要算力是这个方案,让我们想想是不是K210呢~
看看K210的参数还是很靠近的,至于是不是,我这里也不敢说什么,有机会可以拆机的话,是可以验证的。
打卡
这个没有什么好说的,就是这个320x240,不想是QVGA的分辨率,任务类型是目标检测。
这个V2模型的特点是:
由于YOLOv2模型中只有卷积层和池化层,所以YOLOv2的输入可以不限于416x416大小的图片。为了增强模型的鲁棒性,YOLOv2采用了多尺度输入训练策略,具体来说就是在训练过程中每间隔一定的iterations之后改变模型的输入图片大小。由于YOLOv2的下采样总步长为32,输入图片大小选择一系列为32倍数的值:
输入图片最小为320x320,此时对应的特征图大小为10x10(不是奇数了,确实有点尴尬),而输入图片最大为608x608,对应的特征图大小为19x19,在训练过程,每隔10个iterations随机选择一种输入图片大小,然后只需要修改对最后检测层的处理就可以重新训练。
相机参数也有了,这个地方需要注意的是,摄像头是全局快门,为了高速的捕捉场景。
比较有趣的是视频流走的SPI
屏幕是LCD的
回到之前,通用的是NXP的片子,然后,摄像头和算力在一起,最后是一个LCD的触摸屏幕。
这个NXP的片子很强,我拿来跑OpenMV,这次腾讯的比赛也是这个板子:
很强
感觉不会很便宜,我这里盲猜个价格吧,2500?
我们接下来看看个文档
数据帧的结构
字段的意思
更多的数据格式的信息在一开始有写明:
AI模块设计了一些和其它模块通信的协议,相当于是你接触不到它内部的实现,只是暴露了一些接口出来。可以从命令的名称推测出来一些东西,比如AI模块的视频流传输使用的是SPI,信息是串口推送,至于这个高速,可能就是波特率高一些。
这些名称有具体的说明在文档的下面:
这里选择一个感兴趣的命令看下,SPI通过14pin中的接口走
REQ:请求,RSP:响应,PUSH:推送,这是命令码表的传输方向和回复信息。
看这个发包频率,2Hz
高速串口的说明这里也有
看看图像的采集模式,如果这个捕捉的命令是由触摸屏给的,那么就是走的USB接口,也就是说AI和NXP是通过USB连接(可能说错了),后面就是串口的传输了,看这个说法,是有多组串口的。
我们可以算一下这个东西
我们可以算算视频流的大小~
这些是已知的数据
也就是一秒60FPS,传输数据150KB大小
一分钟就是9MB
我觉得是是因为LCD的屏幕刷新频率高,串口传输的话这个数据量可能不是很ok,所以走了USB。
云体验到此结束,有机会试试实物~
https://www.nxp.com.cn/products/processors-and-microcontrollers/arm-microcontrollers/i-mx-rt-crossover-mcus/i-mx-rt1064-crossover-mcu-with-arm-cortex-m7-core:i.MX-RT1064?#design-resources
https://www.jianshu.com/p/87645a11b510
https://canaan-creative.com/developer
https://www.dji.com/cn/ai-module#23802