AI百科网 AI教程
AI百科

多模态(Multimodal):能看、能听、能说的模型

不只是"能传图片",而是把文字、图片、声音放进同一个理解空间里。这决定了它能做哪些以前做不了的事。

一句话定义:多模态模型能同时处理文字、图片、音频、视频等不同类型的输入,并在同一个语境里理解它们。

一个比喻:以前的 AI 只能读你的文字描述;现在的 AI 能直接看你拍的照片,然后跟你讨论照片里发生了什么。

它带来的实际变化

不只是"能传图",而是三件以前做不到的事:

  1. 看图说话:拍一张菜单、一张报错截图、一张手写笔记,直接问它。
  2. 图文混排理解:给它一张 PPT 截图,它能指出排版问题和文字错误。
  3. 跨类型转换:文字 → 图、图 → 文字、语音 → 文字 → 摘要。

日常最能用的四个场景

场景怎么用
看不懂的东西拍下来问:"这是什么,有什么用"
报错截图传图问:"这个错误是什么原因,怎么修"
表格截图传图问:"把这个表转成可复制的文字"
手写笔记拍下来让它整理成结构化要点

第三个场景特别实用:很多资料只有图片版,转文字能省大量时间。

它的三个局限

  1. 细节会丢。 图片里的细小文字、密集表格,它经常看错或漏读。关键数字一定要自己核。
  2. 它不看"像素",看"理解"。 你问"图里有几个字",它可能数不对;你问"这张图在说什么",它答得好。
  3. 视频能力弱于图片。 长视频基本只能抽帧理解,别指望它看完一小时的会议录像给你逐段分析。

你在哪会遇到它

  • 手机 App 里的"拍照提问"
  • 支持上传图片的对话助手
  • 语音输入 + 语音播报
  • 各种"图片转文字""图片转表格"的功能

一个使用建议

让它先描述,再提问。

先描述这张图里有什么(不要评价),然后回答我的问题:这张报表里哪个季度环比下降最多?

先描述能让你立刻看出它有没有看错,避免在错误的理解上继续对话。

下一步