首个多模态开放世界检测大模型MQ

要点:1.MQ-Det是首个多模态开放世界检测大模型，通过融合文本描述和视觉示例查询，提升了目标检测精确率7.8%。2.MQ-Det的设计包括门控感知模块和视觉为条件的掩码语言预测训练策略，使其兼容现有检测大模型且具备多模态查询能力。3.实验结果表明，MQ-Det在LVIS基准数据集上取得显著的性能提升，支持finetuning-free和小样本检测，展现了多模态查询目标检测的潜力。