chatgpt图片处理插件 Code interpreter插件让chatGPT睁开眼睛?!

AI资讯1年前 (2023)发布 fengdao
41 0

我们上周分享了的重磅插件code ,错过的点下面文字链接跳转复习:重磅!开放code 插件,从此数据分析及作图有手就行!

通过上篇推文大家已经看到了code 插件在科研数据处理中的强大之处,动动嘴就可以让为你打工,进行数据整理和可视化甚至统计分析!

video ID:

同样的,我们在上篇推文末尾给大家埋了一个伏笔,就是说code 插件不仅允许我们上传数据表格到进行数据分析可视化,而且还可以上传更多类型的文件,包括图片、视频、音频等格式。

相信看到这里,很多聪明的的小伙伴已经敏锐地察觉到了code 在科研图片类数据处理中也可能有潜在用武之地!

本篇推文将一个模式化的图片(如下图)为大家展示一下code 是否真的让睁开了双眼,能够看到我们图片中信息并给出正确反馈

图片插件是什么意思_chatgpt图片处理插件_图片插件app

我们使用上图所示测试图片(命名:微信图片_218.png;将不同大小、颜色的圆点放在一张图片),通过code 上传输入给(如何上传,参考上篇推文),然后针对图片进行提问,评估GPT的反馈

当我们上传完成后,可以看到已经接收到信息,并反馈得到一张名为‘微信图片_218.png’的图片,并且可以帮我们针对该图片进行分析和操作。

为了评估是否真的能看到图中信息,我们先提第一个问题如下图。

通过反馈结果,看到调用了code 插件,回答图片中包含7个圆,非常正确!

接着我们再升级一个难度,继续第二次提问如下图。

图片插件是什么意思_图片插件app_chatgpt图片处理插件

通过反馈,我们看到准确辨别出来图片中包含2个大小不同的黄色的圆,甚至圆的半径比例(没有现实比例尺作参考,所以只能给个相对比例)也给我们做了测量!

上面的测试可能太简单,没问题,我们直接再上一个难度—逻辑运算+计算!

通过反馈,可以看到code 插件真正让睁开了双眼,可以帮我们看到并正确提取图片中的信息!

虽然这里测试用的是最简单的模式图片,但已经让我们能够联想到科研中有不少图片类数据需要进行数据提取,比如荧光定位、细胞计数、染色定量定性等等应用场景。code 如果能应用到这些场景中,将极大提升我们的科研效率分析结果的统一性和可信度。

Code 帮助识图的底层原理是调用中的等图像处理库来完成。出于安全性考虑,目前code 暂时不允许联网,因此只能用一些简单的内置的图像处理库,所以当我们实际使用中当然还会发现一点点不足,比如个别颜色识别失误等。相信后续code 实现联网,就将具有随时下载最新最前沿的图像处理库,届时才是在科研图片类数据处理中大放异彩的时刻,我们共同期待!

© 版权声明

相关文章

暂无评论

暂无评论...