AI编程,其实已经不是啥稀奇事儿了。很多大公司已经在内部开始规模化地使用AI来编程。
但我今天听一位内部的小伙伴说:虽然已经能用AI编程了,但工作依然很累。在我追问之下,他表示AI虽然会写代码,但并不会测试。
举个例子,我用AI写完了一个网页,但我打开这个页面之后,发现它并没有满足我的要求,UI是乱的,甚至功能都可能用不了。
这是因为绝大部分的AI模型都只有文字交互的能力,只能通过一些接口来确认自己做好的网页能不能用。
但人类是通过交互页面来完成操作的,这就和AI产生了本质的区别。AI测试后判定通过的页面,在人类实际使用中却未必能达到预期。
这个时候我又追问,不是有很多多模态大模型嘛,可以用GUI的方式来测试。
但GUI测试有两大致命问题,导致它在大公司内部并无法使用:
1.成本太高:所谓GUI,就是让AI长出眼睛,去模拟人类的视觉能力查看页面,这就导致页面每滑动一下,十几张图片就传输出去了。
仅仅是测试这一个环节,Token的消耗往往就占到了整条流水线的50%以上,太烧钱了,公司负担不起。
2.隐私问题:使用线上的多模态大模型,就必须将数据上传到云端模型中去处理,如果涉及一些隐私项目,那肯定是不让用的。
但最近,明略科技正式开源了两个项目:Mano-P(端侧GUI智能体)+Cider(加速推理框架)。
不仅解决了上面提到的GUI测试问题,更是把本地AI的性能推向了一个新的高度。
Mano-P(端侧GUI智能体)
端侧,GUI,智能体。
“端侧”代表了这款模型是部署在本地的,不用担心数据被上传到网络的隐私风险。
“GUI”代表了它的能力,也就是靠视觉来进行交互。
而“智能体”,就代表它可不只是用来验证编程结果的,无论是网页、3D应用还是各种桌面软件,它都能像真人一样,看懂界面并模拟人手直接点击。
假如你是个程序员,你就可以在使用AI写完代码后,再用Mano-P去完成点击、输入、验证等测试流程。在发现BUG后,再自动反馈给上游进行修复,直到交付一个完全可用的页面,形成一个全自动的工作闭环。
这个时候就有人要问了:阿枫,我很担心本地模型的性能问题,算力不够会不会不够聪明?
这个大家也不需要担心哈,这一点才是Mano-P真正厉害的地方。
在M4 Pro芯片上,它的4B量化模型预填充速度能达到47…