微软发布Phi-3 Vision等最新大模型系列
微软发布了其最新的大型语言模型系列,Phi-3,包括Phi-3Vision、Phi-3Small7B和Phi-3Medium14B型号。这些模型在性能上与当前领先的大型模型相媲美,同时在特定领域提供了一些独特的优势。

Phi-3Medium14B 型号的性能与Mixtral8x22B和Llama370B相当,甚至超过了Command R 104B和GPT3.5。这表明微软的这个模型在大型模型领域具有较强的竞争力。
Phi-3Small7B 型号虽然规模较小,但其性能依然超过了Mistral7B和Llama38B,这使得它在需要处理大量数据但计算资源有限的场景下具有潜在的应用价值。

Phi-3系列模型支持的上下文长度为4K和128K,这为处理长文本数据提供了灵活性。模型规模方面,Medium版本为14B参数,Small版本为7.5B参数,而Vision版本则为4.2B参数。
在训练数据方面,微软使用了4.8T(万亿)令牌对模型进行训练,训练过程持续了42天,使用了512个H100GPU。训练数据集包含了10%的多语言数据,并且采用了经过严格过滤的数据和合成数据,特别是科学和编程教材,这可能有助于模型在这些领域的特定任务上表现更好。
微软还为Phi-3系列引入了一个新的分词器,拥有10万词汇量,这有助于模型更好地理解和生成语言。此外,Phi-3模型的权重兼容AWQ、INT4、ONNX和transformers,这为开发者提供了在不同平台上部署和运行模型的灵活性。
总体而言,微软的Phi-3系列模型在大型语言模型领域展现了强大的性能和灵活性,为研究人员和开发者提供了新的工具和可能性。随着这些模型的发布,我们可以期待在自然语言处理和相关领域出现新的创新和应用。
模型地址:https://top.aibase.com/tool/phi-3-vision-128k-instruct
电子烟交易管理细则发布:企业可自定内销电子烟出厂和零售价
国家烟草专卖局近日宣布,将对电子烟交易管理细则进行修订,并印发相关通知。根据通知,国务院烟草专卖行政主管部门将建立一个全国统一的电子烟交易管理平台,以规范电子烟市场的交易行为。站长网2024-09-04 20:34:160000B站UP主花式整活:为了教你学英语 AI都开始讲谐音梗了
为了教人学英语,AI都开始讲谐音梗了。5月17日,B站UP主“johnhuu”发布了一条标题为“英文谐音梗”的视频,迅速引发了广泛关注。站长网2024-05-22 20:33:100005人工智能生物制药公司BPGbio 与 VELL Health 宣布合作
BPGbio与VELLHealth宣布合作,为圭亚那的糖尿病患者推出全面健康应用程序。这一创新倡议是圭亚那全国糖尿病诊所试点项目的一部分,旨在通过利用移动技术、数据科学和整体健康方法改善医疗保健。站长网2023-07-27 17:45:050000Win11新Bug致CPU占用率过高!微软承认并表示正在修复
快科技6月16日消息,近日Windows11用户遭遇了一个新的系统Bug,该问题导致CPU占用率异常高,不过根据用户反馈和微软论坛上的讨论,这一问题已被微软官方确认。据悉,该Bug与微软自家的CrossDeviceService”(跨设备服务)有关,这项服务主要用于帮助用户在不同设备间同步和共享文件。0000从“卖蚊子”到“多巴胺穿搭”,这届年轻人为“情绪”买单
爱因斯坦不会想到,在2023年,他的“脑子”会被标价五毛钱,月售2万个。6月,28岁的淘宝店主悠悠(化名),在自己的鞋店跟风上架了一款“爱因斯坦的脑子”,却意外迎来了开店以来的最爆流量,一个月赚到了1万块的纯利润。从2021年开店至今,悠悠认真选品时没得到结果,没想到无心插柳却踩中了风口。站长网2023-07-27 14:05:400000