AI纪元网6月15日报道丨世界知名人工智能研究公司OpenAI在今年3月份公布了GPT-4大模型的重磅升级，该版本的大模型具备了图像输入与图像辨识的表达能力，能够理解梗图（读懂梗图的笑点）、解答数学几何问题、解答物理力学问题，甚至能够阅读论文，仍记得这一消息当时震惊了许多人。

换句话说，就是ChatGPT之前只会说话，现在拥有了眼睛。然而，OpenAI表示图像输入功能仍处于测试预览阶段，尚未向公众开放。不过最近在国外社区Reddit上的一位网友却发现他的BingChat账号悄悄增加了一个上传图片的入口，疑似微软开始灰度测试NewBing聊天机器人的图片识别能力。并且BingChat竟然可以通过识图回答问题。

此前，微软透露BingChat使用的正是GPT-4大模型，并在上个月的更新日志中提到将为Bing加入多模态支持。综合这些信息来看，BingChat很可能正在逐步开发并向用户开放识图功能的测试。

该网友进行了大量的测试，让我们一起来看看被称为「长了眼睛」的BingChat有多厉害吧。

网友将这张梗图上传到BingChat进行测试，BingChat并没有认出这是VGA接口，因此也无法理解其中的笑点。但是，BingChat还是可以将照片解读出来，甚至提供线缆的品牌和更详细的资料。这可能是BingChat的一个偶然误差，或者是微软在实际应用GPT-4时进行了更多限制和调整，导致回答的偏差。

网友还上传了一张关于机器学习的梗图漫画，这次BingChat能够准确地回答出图片中的内容和笑点。

同样，BingChat对一张关于在汽车上烫衣服的梗图的分析也非常到位。

BingChat的识图精度似乎相当高，网友还上传了一张《任天堂大乱斗》游戏的角色图，要求BingChat识别其中的所有角色。结果显示，BingChat在12个角色中认出了7个，这说明对于二次元的问题，它还存在一定的困难。

OpenAI在发布GPT-4时还展示了通过手绘图编程网页的案例，这位网友也手画了一张图来测试BingChat。虽然代码的部分被省略了，但可以看出基础的网页雏形已经搭建完成。

识图功能的加入为BingChat增添了许多实用的用途。毕竟，有些现实世界中的内容（如公式、图表）很难用文字来清晰表达，这时候通过一张图向AI提问就能得到答案。

加入视觉识别后，BingChat甚至可以充当初中、高中甚至大学老师的角色，帮助学生解答复杂的数理化问题。如果将识图功能推广开来，或许能在一定程度上解决教育资源不均衡的问题。

用户还可以利用BingChat进行基础的医疗诊断，节约就医所需的金钱和时间，充分展现了AI对大众的普惠价值。

然而，尽管NewBingChat聊天机器人能够基本理解现实世界的内容，但它的回答终究只能作为参考，不能被当作专业意见。因此，要完全向公众开放识图功能，微软仍需要进行大量的限制和调试，以确保公众不会因为错误的AI回答而导致安全问题的发生。此前微软的BingChat在文本生成与语义理解上均有都有不俗的成绩，让我们拭目以待多模态能力的全面开放吧！