微软用GPT

要点:微软AzureAI推出的MM-Vid整合了GPT-4V与专用工具，能解读长达一小时的视频并为视障人士提供解说。MM-Vid通过将长视频分解成连贯叙述，结合GPT-4V的多模态理解能力，实现对真实世界视频的全面理解。实验证明MM-Vid在任务如问答、多模态推理、人物识别、音频描述等方面表现出色，具备在交互式环境中持续接收流视频帧输入的能力。