微软发布Phi-3 Vision等最新大模型系列
微软发布了其最新的大型语言模型系列,Phi-3,包括Phi-3Vision、Phi-3Small7B和Phi-3Medium14B型号。这些模型在性能上与当前领先的大型模型相媲美,同时在特定领域提供了一些独特的优势。
Phi-3Medium14B 型号的性能与Mixtral8x22B和Llama370B相当,甚至超过了Command R 104B和GPT3.5。这表明微软的这个模型在大型模型领域具有较强的竞争力。
Phi-3Small7B 型号虽然规模较小,但其性能依然超过了Mistral7B和Llama38B,这使得它在需要处理大量数据但计算资源有限的场景下具有潜在的应用价值。
Phi-3系列模型支持的上下文长度为4K和128K,这为处理长文本数据提供了灵活性。模型规模方面,Medium版本为14B参数,Small版本为7.5B参数,而Vision版本则为4.2B参数。
在训练数据方面,微软使用了4.8T(万亿)令牌对模型进行训练,训练过程持续了42天,使用了512个H100GPU。训练数据集包含了10%的多语言数据,并且采用了经过严格过滤的数据和合成数据,特别是科学和编程教材,这可能有助于模型在这些领域的特定任务上表现更好。
微软还为Phi-3系列引入了一个新的分词器,拥有10万词汇量,这有助于模型更好地理解和生成语言。此外,Phi-3模型的权重兼容AWQ、INT4、ONNX和transformers,这为开发者提供了在不同平台上部署和运行模型的灵活性。
总体而言,微软的Phi-3系列模型在大型语言模型领域展现了强大的性能和灵活性,为研究人员和开发者提供了新的工具和可能性。随着这些模型的发布,我们可以期待在自然语言处理和相关领域出现新的创新和应用。
模型地址:https://top.aibase.com/tool/phi-3-vision-128k-instruct
360智脑-视觉大模型发布 周鸿祎:多模态大模型与物联网结合是风口
站长之家(ChinaZ.com)6月1日消息:周鸿祎在5月31日晚间的三六零智慧生活集团视觉大模型及AI硬件新品发布会上,发布了专业视觉及多模态大模型“360智脑-视觉大模型”。360智脑视觉大模型基于10亿级互联网图文数据进行清洗训练,并针对安防行业数据进行微调,融合千亿参数的"360智脑"大模型,从视觉感知能力角度进行打造。站长网2023-06-01 16:39:400000把“老外”变“老铁”,快手找到方法论了吗?
过去我们常说社区产品的问题是变现,但靠着电商业务,快手找到了支点。一季度快手不仅营收增长了,净利润也大幅提高,其中营收同比增长16.6%,来到了294亿元,净利更是大超预期,一季度赚了41亿元。0000Meta 将推出第一代自研人工智能运算芯片 MTIA v1
Meta公司的AI工作负载无处不在,为诸多应用提供基础支持,如内容理解、动态信息流、生成式AI和广告排名等。得益于其与Python的无缝集成、急切模式编程和简明的API,PyTorch可以运行这些工作负载。其中,DLRMs对于提升Meta产品和服务的用户体验至关重要。硬件系统必须在模型的规模和复杂性不断增长的情况下,提供越来越多的内存和计算资源,同时保持效率。站长网2023-05-23 15:13:110000AI日报:会颠勺的国产机器人Astribot S1来了;Synthesia推能读懂文字情绪的数字人;OpenVoice V2版本发布;DeepFacelive让你在直播中实时换脸
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/1、Synthesia推出新型数字人Expressive-1正式版能看懂你文字里的情绪站长网2024-04-27 17:42:570001教育部:严禁学校引导学生指定渠道购买电子产品
站长之家(ChinaZ.com)5月14日消息:为进一步提升基础教育管理水平,确保学校安全稳定,近日,教育部办公厅发布了《关于开展基础教育“规范管理年”行动的通知》。该通知旨在通过明确“三项规范整治重点”和“十二条负面清单”,聚焦学校管理中存在的关键问题,切实筑牢教育安全防线,并强化师德师风建设。站长网2024-05-14 15:28:410000