上海AI实验室开源图文混合创作大模型浦语灵笔
要点:
浦语灵笔是基于书生·浦语大语言模型的多模态创作模型,能够接受视觉和语言输入,生成图文并茂的文章。
浦语灵笔具有强大的多模态理解能力,能够进行流利的中英文图文对话,准确识别图像内容,尤其是中国文化相关的知识。
浦语灵笔已开源其中的智能创作和对话及多任务预训练版本,并提供免费商用,支持多种类型文章的图文生成。
上海人工智能实验室(上海AI实验室)近日推出了首个图文混合创作大模型书生·浦语灵笔(InternLM-XComposer),该模型能够根据用户提供的主题或图片,自动创作出图文并茂的文章,为大模型落地应用提供更多可能。
浦语灵笔是基于书生·浦语大语言模型(InternLM)的多模态扩展,书生·浦语是上海AI实验室今年7月以来陆续开源的7B(InterLM-7B)及20B(InternLM-20B)版本的大语言模型,为业界提供了完整的大模型研发与应用基座,以及全链条工具体系。
项目地址:https://github.com/InternLM/InternLM-XComposer
浦语灵笔不仅能够进行流利的中英文图文对话,准确理解图像内容,还具备了图文并茂文章创作的全新能力。
用户仅需提供主题或图片,便可一键生成涵盖历史沿革、主要景点文物介绍等方面的长篇文章,并在适当位置自动插入与文字信息对应的图片。除自动配图能力外,浦语灵笔还提供了配图推荐和更换功能,根据用户实际需求定制图文内容。
目前,浦语灵笔已支持科普文稿、营销广告、新闻稿件、影视评论、生活指南等类型文章的图文并茂生成,并将逐渐开放更多能力,适应更多样化任务需求。
浦语灵笔为图文文章创作设计了“三步走”的算法流程。首先,根据用户输入的主题或图片,浦语灵笔利用其强大的写作能力,创作出文采斐然的文章。其次,浦语灵笔自动分析文章内容和段落布局,规划需要插图图片的位置,并生成对图片内容需求的描述。最后,采用从粗筛到精选的配图策略,利用多模态大模型强大的图像理解能力,从海量图库中选择出最符合文章上下文内容和整体图像风格的图片,完成文章的自动配图。
浦语灵笔出色的图文创作效果,得益于其多任务预训练模型(InternLM-XComposer-VL-7B)强大的多模态理解能力。
研究人员采用5个主流的多模态大模型评测对InternLM-XComposer-VL-7B进行了详细测试,包括MME Benchmark、MMBench、MMBench-CN、Seed-Bench和CCBench等中英文评测。
评测结果显示,在上述5项评测中,浦语灵笔均体现出卓越性能,尤其是在中国文化理解方面,表现出深厚的知识积淀。
浦语灵笔现已开源,同时上线GitHub、Hugging Face及魔搭社区(ModelScope),欢迎开发者下载试用。
抖音直播严肃整治机构不良经营行为 违规二次将清退处理
抖音直播发布《关于严肃整治机构不良经营行为的公告》称,自2023年6月起,抖音直播对存在侵害未成年人权益、色情导流、诈骗、涉黑产、诱导过度消费相关违法违规不良经营行为的机构进行严厉打击,共处置255家机构。0001旗舰焊门员!卢伟冰:Redmi K70E实力被低估 8.05mm厚度最为赞叹
快科技12月10日消息,前不久,RedmiK70系列发布,共有K70E、K70、K70Pro三款机型,售价1999元起。据了解,RedmiK70E定位为新一代旗舰焊门员”,官方宣称全面提升旗舰性能体验新基线。”日前,小米集团合伙人、总裁,国际部总裁,Redmi品牌总经理卢伟冰微博发文,称K70E是一部实力被低估了的手机,其光芒被K70和K70Pro遮挡”。站长网2023-12-10 08:56:210001你用过么?闲鱼宣布用户数已突破5亿
快科技5月23日消息,今天,闲鱼官方召开2023产品升级发布会,会上,闲鱼公布了多项平台数据。根据官方公布数据,截至目前,闲鱼的用户数已经突破5亿,其中95后的比例占到了43%,00后的比例则占到了22%。由此来看,闲鱼目前的社区氛围高度年轻化,大量仍在学校或刚出社会的年轻人,会将闲鱼作为主要的二手交易平台。这一点也充分展现在了闲鱼的热点交易内容上。站长网2023-05-23 22:07:310000浙大提出SIFU模型 单图即可重建高质量3D人体模型
要点:浙江大学ReLER实验室提出的SIFU模型是一种单图即可重建高质量3D人体模型的侧视图条件隐函数模型,在几何与纹理重建测试中达到SOTA。SIFU模型通过引入人体侧视图作为先验条件,并结合扩散模型进行纹理增强,成功解决了传统方法中在2D特征转换到3D空间和纹理预测阶段的问题,提高了重建精度和效果。站长网2024-01-18 14:14:390000Humane AI Pin:AI辅助设备搭载GPT-4,引入“信任灯”技术
要点:1.Humane的AIPin是一款AI辅助设备,搭载了GPT-4,并配备了“信任灯”。2.该AIPin将于11月9日发布,被列为Time杂志“2023年最佳发明”之一,具备多种功能,如通话、语音翻译和食品信息识别。3.该设备可磁性附着在衣物上,通过混合使用专有软件和OpenAI的GPT-4来提供功能,同时配备“信任灯”指示录音状态。站长网2023-10-25 18:38:200000