chatgpt提取视频内容插件 chatGPT插件分享之VoxScript:实时检索整合多平台信息

AI资讯1年前 (2023)发布 fengdao
32 0

产品简介:

,作为 store现有的八款热门插件之一,产品简介为“实现对字幕、金融数据、谷歌搜索结果等多元内容的查询。”

插件的检索功能覆盖以下平台:

:获取搜索结果。

:获取的搜索结果。

:提取视频信息,包括元数据、评论、字幕等。

、 Gists、、.co:获取这些平台的文本内容。

股票和加密货币市场:提供特定股票或加密货币的新闻、财务数据和历史价格信息。

网站:读取特定网站的内容。

由此可见,有其广泛的检索能力,涵盖多元化的信息来源,实现对多平台信息的精准提取和整合。

产品体验:

首先,让我们理解一下的基础能力。上有一个很有名的视频,作者是桥水基金的创始人瑞.达里奥,视频时长30分钟左右,视频名称叫做“经济机器是如何运行的”。

如果,我复制这个网站上的视频链接给到gpt-4,让它帮我总结一下视频的内容,它目前的能力是做不到的。如下图反馈:

但是,如果我如果把同样的需求给到,让它帮我总结这个视频的内容,它会很容易的给到输出结果:

chatgpt提取视频内容插件_chatgpt提取视频内容插件_chatgpt提取视频内容插件

由此可见,具有可以让“观看”视频的能力,借助这一点我们再根据自己的需求与的能力相结合,会产生很多可能性。

比如针对上面的那个视频,我想将视频的内容总结成一篇博客文章。并提出以下要求,博客文章的读者是初中生,所以文字要尽可能易于理解,同时字数小于500字。以下是它的输出:

我们还可以让多“观看”一些视频,再进行作业。比如,我要求在上找到关于“实现原理”的5个视频,然后综合这些视频提到的内容,帮我总结一篇知识汇报文章,并用的格式输出。以下是的输出结果:

除了可以“观看”的视频内容,还可以“搜索”并“浏览”搜索结果。同样,再根据自己的需求同时借助的能力,我们的面前会有非常多的想象空间。

比如,我想让检索权威网站,生成3条本周最新发生的与“AI”相关的新闻。每条新闻包括新闻标题、新闻内容总结、新闻发表时间以及每条新闻的来源。以下是生成结果:

这会对于我们关注科技或者其他行业动态,收集相关的资料非常有帮助。

除了“观看”的视频,“搜索”并“浏览”网页外,还可以获取特定股票或加密货币的新闻、财务数据、历史价格等信息。借助这个能力,我们可以结合的能力,帮助我们生成我们想要的股票信息或者其他信息。

比如,我想让帮我根据过去半年苹果的官方新闻和股价走势,预测一下未来苹果的前景。以下是它的输出结果。

以上体验可以看出,可以帮助我们“观看”视频,“浏览”网页内容,还可以获取股票的新闻、财务数据、历史价格等信息,最终结合我们的需求输出自己想要的内容。

产品实现逻辑:

首先,通过精准地理解用户的需求,成功定位到能够满足此需求的插件。依托强大的自然语言理解技术,将用户需求转化为所需的参数,并通过的进行调用。

chatgpt提取视频内容插件_chatgpt提取视频内容插件_chatgpt提取视频内容插件

其次,依据提供的参数,针对特定网站,如,等,进行信息检索,以获取符合需求的内容,并将此内容返回给。

最后,在充分考虑返回内容以及用户需求的基础上,生成并返回最终结果。

以“帮我找5个如何快速瘦身的视频,并将每个视频总结成不超过500字的概要”为例,在接收到用户请求后,会在用户已启用的插件中寻找能满足此需求的插件。在确定使用后,会审视在该请求场景下的的参数需求。在此情境下,的入参包括(搜索词)和(视频数量上限)。经过处理,参数值整理为“1. 搜索词:如何快速瘦身;2. 视频数量上限:5”并被传入的接口。在接收到请求后,在网站进行搜索,并选择排序前五名的视频,随后将视频字幕、视频标题、视频标签等信息返回给。在收到这些信息后,根据用户的原始需求进行处理,编写成优美、简洁的回答,最后返回给用户。

产品评价:

作为当前当前八款热门插件之一,我觉得在一些场景,解决了用户的一些痛点,给用户带来了一些便利性。

第一:帮助用户高效筛选视频或网站内容。比如我们想通过视频或网站学习,可以帮助我们高效的筛选学习内容,我们可以通过我们想学习的主题去搜索或,同时让总结返回结果的视频或网页。我们通过的总结就可以快速了解到哪些视频或网页是我们需要的,而不需要每个结果都去看一遍。

第二:帮助用户快速生成结果信息。如果我们想写一篇博客文章或者需要做一次知识分享,一般的路径为,我们首先需要提前在网上收集资料,然后将收集好的资料人工整理好。有了插件,我们只需将目标主题交由处理,它会搜索网上的有效资料,并根据我们的要求生成最终的结果。尽管按照此方法,生成的结果可能不完全符合我们的需求,但我们可以在此基础上进行进一步的整理,这无疑将节省大量时间。而且,即使的输出无法直接使用,它至少也能给我们提供一些启发。

第三:帮助用户做投资决策。可以获取股票的新闻、财务数据、历史价格等信息。一个资深的投资者可以利用这些数据去完成在自己投资策略下的公司筛选,我认为这是很高效的。比如,“请帮我找出在新能源行业过去半年股价下跌超过20%的公司名单”。结合的能力可以轻而易举的做到。当然,用好这个能力还是需要专业的投资知识和投资经验,但是确实为做投资决策提供了一些便利。

除此之外,产品也存在一些需要改进的地方。我认为它最大的问题在于,官方介绍并不清晰。其官方介绍指出:“ of , data , and , and more!”。这可能导致用户误以为它可以搜索字幕,而且我看了一些用户评价也表示它可以搜索字幕,估计也是受此误导。这导致我在体验这个产品时走了一些弯路。最终,结合我自己的体验和的反馈,我确认它当前并不支持字幕搜索。同时,作为的热门插件,网上关于的使用教程非常少,现有的教程也都过于简单。我认为,我这篇文章可能是目前针对插件介绍最全面的一篇。许多人都希望官方可以出一些使用教程,我认为这与官方介绍写的不清晰有着很大关系。

个人思考:

在写这篇文章时,我简单了解了一下插件的开发过程。之前我认为,用户的请求和最终给用户的回复都需要插件方调用的接口来完成。而实际上,用户的需求和最终给用户的回复都是自身完成的,中间调用插件只是用了插件提供的数据。而开发一款插件,在插件产品本身能力具备的前提下,只需要给提供一个规范,模型自己会看到的描述字段,在调用时会自动通过用户的自然语言描述去匹配相应字段,预估插件方不会有太大的开发成本。

同时,我认为 可能是一个历史上从未出现过的平台模式,为什么这么说呢?

在PC互联网时代,搜索引擎比如百度、承担了互联网的入口,用户想要上网找服务都需要先经过这些平台,通过这些平台我们会最终找到服务的提供者,最终服务提供者来提供我们想要的服务。总体来说,百度、谷歌这些公司提供了互联网入口,但并没有完成互联网可完成的服务闭环,比如“生成服务订单”。

而到了移动互联网时代,大多数情况下,互联网的入口都变成了手机APP,大家需要什么服务,一般不会再去搜索百度了,而是直接找到服务提供商的APP完成结果。在这种模式下,互联网的入口相对分散,存在于各个APP中。这种情况确实完成了互联网可完成的闭环服务。然而,这个模式的问题在于,你必须知道哪个APP可以提供你所需的服务,记住哪些APP提供哪些服务,同时在多个APP提供相同服务时,你还需要花费时间进行比较。

而的平台模式,有可能演变成超级平台模式。互联网的入口和服务闭环都由来提供,各个服务商或者当前模式下的互联网平台,都只是一个数据提供方。比如我想买一个好看的帽子,我用淘宝、京东还是拼多多呢?可能会说,你无需纠结,只需要告诉我你的需求,我将直接在全网搜索并返回最优的结果。如果你的需求描述得足够详细,你甚至无需自己挑选,订单也可以通过调用服务商接口直接完成。这一模式提供了一个全新的视角,看待互联网的入口和服务闭环,我认为这会是前所未有的,而且这也会极大的减少信息差,提升社会运行效率。

当然,这只是一个理论设想,实际执行可能会遇到很多挑战。众多大型平台都可能立志于完成这一任务,就如同现在多个平台都在研发大模型一样。谁能率先做出优质的大模型并吸引大部分用户,谁就更有可能实现这个设想。同时,我们肯定也不能排除政府会对这件事情感兴趣。

© 版权声明

相关文章

暂无评论

暂无评论...