我的生成式AI应用——智能输入(SmartFill)

文摘   2024-05-15 08:24   日本  

最近,开发了一个基于生成式AI的小工具,这款小工具的作用是:无侵入性地提升用户输入效率。主要使用场景是重复性输入的表单,原始信息内容与将要输入的表单内容对不齐,这时,SmartFill就会分析这些内容,然后自动填写到页面表单上。源内容可以是文本,语音,图片等多媒体信息。

我给他起了个名字叫SmartFill,它的无侵性主要是通过加载Chrom插件来实现的。下面简单说一下使用过程。

第一步:登录,用邮箱来获取验证码,确定用户,以便保存配置,后期使用时登录后可直接使用。

(图一)

第二步:配置,插件会自动获取用户页面上所有需要输入的表单,只需要给每个表单添加Pormpt属性,这个属性主要是用来指导AI获取数据的提示信息。Prompt可以灵活编写,主要根据它数据的来源来写,也可以进行转换,提取,计算等工作。

当表单很多时,可以通过“Index:0”等按钮来定位,以使能更快速找到输入表单。

url配置是用来确定该用户使用SmartFill的页面,这个url因使用不同变化时,可以只保留不变部分,变化部分用{*****},这个固定的字符串替换,如图所示。

子标记仅是当同样的url有多种输入格式时用来区分的标识。

目前配置后有个人工开通过程,一是目前是试用阶段,二是毕竟接入的AI都要花钱。

(图二)

第三步:使用,现在以微软日本地址为例,下面url是日本微软的地址页面:https://www.microsoft.com/ja-jp/mscorp/branch

A、文本:打开url,复制地址信息,粘贴后即可提交,如下图所示,信息就会自动输入页面表单中。

(图三)

B、图片:如图四是对上面Url页面的切图,同样,我们可以把这张图片上传,SmartFill会分析图片,获取文字,然后对页面表单进行填写,如图五。

(图四)

(图五)


B、语音:通过长按语音,用自然语言表述,可以更快速地录入,特别适合长文本输入;当然,可以用语音来调整某个表单的值,表现也不错。

(图六)


配置中每个表单的Prompt不是一蹴而就的,需要经过几次调整会渐入佳境。

SmartFill的Chrome插件在来的路上,如果不走丢的话,敬请期待……

桂迹
分享原创,记录痕迹!
 最新文章