多模态(Multimodal):能看、能听、能说的模型
不只是"能传图片",而是把文字、图片、声音放进同一个理解空间里。这决定了它能做哪些以前做不了的事。
一句话定义:多模态模型能同时处理文字、图片、音频、视频等不同类型的输入,并在同一个语境里理解它们。
一个比喻:以前的 AI 只能读你的文字描述;现在的 AI 能直接看你拍的照片,然后跟你讨论照片里发生了什么。
它带来的实际变化
不只是"能传图",而是三件以前做不到的事:
- 看图说话:拍一张菜单、一张报错截图、一张手写笔记,直接问它。
- 图文混排理解:给它一张 PPT 截图,它能指出排版问题和文字错误。
- 跨类型转换:文字 → 图、图 → 文字、语音 → 文字 → 摘要。
日常最能用的四个场景
| 场景 | 怎么用 |
|---|---|
| 看不懂的东西 | 拍下来问:"这是什么,有什么用" |
| 报错截图 | 传图问:"这个错误是什么原因,怎么修" |
| 表格截图 | 传图问:"把这个表转成可复制的文字" |
| 手写笔记 | 拍下来让它整理成结构化要点 |
第三个场景特别实用:很多资料只有图片版,转文字能省大量时间。
它的三个局限
- 细节会丢。 图片里的细小文字、密集表格,它经常看错或漏读。关键数字一定要自己核。
- 它不看"像素",看"理解"。 你问"图里有几个字",它可能数不对;你问"这张图在说什么",它答得好。
- 视频能力弱于图片。 长视频基本只能抽帧理解,别指望它看完一小时的会议录像给你逐段分析。
你在哪会遇到它
- 手机 App 里的"拍照提问"
- 支持上传图片的对话助手
- 语音输入 + 语音播报
- 各种"图片转文字""图片转表格"的功能
一个使用建议
让它先描述,再提问。
先描述这张图里有什么(不要评价),然后回答我的问题:这张报表里哪个季度环比下降最多?
先描述能让你立刻看出它有没有看错,避免在错误的理解上继续对话。