早期大型语言模型只能处理文本。如今，”多模态”（Multimodal）能力已成为前沿 AI 模型的标配：GPT-4o 可以理解图像并回答图像内容相关的问题；Gemini 1.5 Pro 支持长达 1 小时的视频理解；Claude 3 可以分析图表和手写内容。这一跨模态理解能力正在将 AI 的应用边界从文字工作者延伸到视觉、听觉工作的各个领域。
## 主流多模态模型能力对比
**GPT-4o（OpenAI）**：真正的”一体化”多模态模型，原生支持文本、图像、音频输入和输出（包括实时语音对话）。图像理解能力包括：场景描述、数学公式识别、图表分析、医学影像解读（初步）、手写文字识别。在多模态基准测试中持续处于顶尖位置。
**Gemini 1.5 Pro（Google）**：上下文窗口达到 1M token（可处理约 1 小时视频或 1 百万字文档），视频理解是其独特优势。可以在长视频中定位特定事件、分析视频中的行为和场景。
**Claude 3（Anthropic）**：图像理解能力强，特别是文档解析（PDF、表格、手写内容）、科学图表分析和代码截图理解。200K 上下文配合图像输入适合处理大量图文混合文档。
**Qwen-VL、InternVL（中国）**：阿里巴巴和上海人工智能实验室的多模态模型，在中文文档理解和中文场景识别方面有特殊优势。
## 实际应用场景
**医学影像辅助分析**：GPT-4o 和 Med-Gemini 等医疗特化模型在X光、CT、病理切片分析上展示了接近或达到专科医生水平的诊断能力（特定任务上）。2024 年，Google 的 AMIE 系统在皮肤病诊断上超越了多位专科医生。需注意：AI 医学影像分析仍处于辅助工具阶段，不替代临床判断。
**产品设计与视觉分析**：将设计稿截图发送给 AI，要求分析用户体验问题、对比竞品界面、生成设计改进建议——已成为部分设计团队的实际工作流。
**文档自动化**：批量处理扫描合同、表格、收据、发票，提取结构化信息，准确率远超传统 OCR + 规则系统。
**代码截图理解**：将错误截图或 UI 截图发送给 AI 进行调试分析，比手动描述更快速准确。
**教育应用**：学生拍摄手写作业或教材图片，AI 讲解题目、识别错误；教师生成基于图像内容的测验题目。
## 技术挑战
**幻觉问题**：多模态 AI 在图像理解中的幻觉（描述图中不存在的内容）比纯文本任务更难检测，因为用户难以在高速浏览时逐一验证。
**视频理解局限**：长视频理解虽然 Gemini 1.5 Pro 取得了进展，但细粒度时序分析（如体育动作分析）仍不成熟。
**3D 和空间理解**：将 2D 图像理解扩展到 3D 场景理解（如机器人抓取）仍是挑战。
参见[Claude AI 能力解析](https://sunqi.org/claude-ai-capabilities-zh/)；[AI工作流实战](https://sunqi.org/ai-productivity-workflow-zh/)；[OpenAI GPT-4o 技术报告](https://openai.com/research/hello-gpt-4o)。
—
