AI终于能“看图学艺”了:给个网页或视频,它就能学技能
2026-07-08
这件事跟你有啥关系?
你让AI帮你修照片,它说“调整对比度让主体突出”,结果修出来可能根本不是你要的效果——因为它根本不知道你觉得什么才算“突出”。现在有一项新技术,可以让AI像人一样“看图学艺”:你给它一个网页教程或B站视频的链接,它就能自己把里面的关键截图、前后对比图整理成一套“带图说明书”。下次你再让它做类似任务,它就能参考这些图片,知道“调暗到什么程度才算合适”,结果会准得多。
为什么纯文字不够用?
现在的AI技能大多只靠文字描述,但很多任务的关键信息根本说不清楚:
- 图片编辑:文字写“让背景柔和”,但柔和到什么地步?有没有参考效果?
- 操作软件:文字写“点开设置里的高级选项”,但“设置”可能是个齿轮图标,也可能藏在头像菜单里,不给我截图我怎么知道?
- 视频教程:你看别人录的操作视频能秒懂,但总结成文字后,界面长啥样、按钮变化细节全丢了。
这些“看了才明白”的知识,过去塞不进AI的说明文档。现在的新方法(叫Skill-Omni)就是专门解决这个问题的。
它是怎么做到的?
你只需提供两种东西之一:
- 一个网页链接:比如一篇图文教程,系统会自动提取里面有用的截图,过滤掉广告图和装饰图,把步骤和图片重新组合成AI能用的技能。
- 一个B站视频链接:系统会从视频里挑出关键画面(比如按某个按钮前后的界面变化),再配上文字说明,变成AI可调用的经验。
生成之后,AI在使用这些技能时,不会把图片一股脑全塞进脑子(那样会卡死),而是需要时才去读对应的图片,就像人查资料一样。
哪些场景最有用?
简单说:凡是“光靠文字说不清楚”的任务都适合。比如:
- 用Photoshop修图、做设计
- 自动操作桌面软件或网页(比如填写复杂表单)
- 把软件教学视频变成AI能复用的操作指南
- 企业把自己内部的SOP(标准工作流程)配截图,变成AI知识库
未来还能做什么?
现在AI已经能从屏幕上的图片和视频里学经验了,下一步还要扩展到“物理世界”——比如让AI看物体抓取的热力图,学习怎么稳稳拿起东西,让机器人也能“看图练手”。