当YoloV8与ChatGPT互通,这功能是真的强大!后期打通语音试试

01

简介

ChatGPT(全名:Chat Generative Pre-trained Transformer),是OpenAI研发的聊天机器人程序,于2022年11月30日发布。ChatGPT是人工智能技术驱动的自然语言处理工具,它能够通过理解和学习人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本、文案、翻译、代码,写论文等任务。

现在的ChatGPT都是输入文字、图片或者语音,那如果将检测网络或者更上层一点的东西,把视觉与ChatGPT对接,会不会有不一样的火花?

02

尝试与设计

注册OpenAI账号并创建API密钥:首先需要注册OpenAI账号,并在Dashboard中创建API密钥以便后续使用。

安装OpenAIPythonSDK:

可以通过pipinstallopenai命令来安装OpenAIPythonSDK,这样就可以在Python代码中使用ChatGPT进行对话了。

调用API进行对话:可以使用SDK中提供的completions方法来调用API进行对话,需要传入API密钥和输入文本,API会返回生成的回复文本。

集成到应用中:可以将ChatGPT集成到应用中,例如网站或移动应用程序,使用户可以与ChatGPT进行对话。集成方式有很多种,可以根据具体应用场景选择合适的方式。

需要注意的是,ChatGPT是基于大规模的语言模型训练而成的,对话过程中可能会出现一些不准确或不恰当的回复。因此,在实际应用中需要谨慎评估ChatGPT的表现,并根据实际情况进行调整和优化。

YoloV8搭建

下载库——ultralytics

代码语言:javascript
复制
 pip install ultralytics

运行测试

代码语言:javascript
复制
yolo predict model=yolov8n.pt source='https://ultralytics.com/images/bus.jpg'

接下来就是打通视觉模型和ChatGPT的交流,先看一个例子!首先从网上下载一段视频,然后开始进行Sao操作:

准备好素材就开始表演!

先进入搭建好的系统中,进行启动:

然后就开始进入新的世界了

然后接入视频并启动Yolov8实时检测:

然后这边我对其说:

代码语言:javascript
复制
Lock the area on the right for real-time detection

此时一直在实时检测中:

然后输入有一个屏幕被打开,进行了检测可视化展示:

前面感觉检测的效果不是很好,就重新输入一段指令:

代码语言:javascript
复制
Direct detection of fire extinguishing stages

由于整体检测网络没有怎么优化训练,直接检测,效果不理想,但是与ChatGPT的联动还是有效果,这种有没有联想到流浪地球的MOSE。

这种能力如果全面打开,是不是在现实生活中,实时视频中,和ChatGPT对话,比如看中视频中的一键衣服,是不是GPT就可以自己去网上搜索,给出最优惠价格的链接(GPT帮用户去比价),然后把链接推送给用户。这些都是一种可能,也是GPT真正应该落地的应用。