MosaicML和Together推出可商用开源大模型 性能不输LLaMA
站长网2023-05-08 10:07:084阅
虽然Meta的LLaMA已经成为开源AI重要力量,但由于其只可用于研究用途,而且申请麻烦而被业界诟病。现在,MosaicML和Together推出可商用开源大模型,性能不输LLaMA。
MosaicML的MPT系列模型支持84k tokens超长输入,并用FlashAttention和FasterTransformer方法针对训练和推理速度做过优化。其中70亿参数版在性能测试中与LLaMA打个平手。
除了MPT-7B Base基础模型外还有三个变体。MPT-7B-Instruct,用于遵循简短指令。MPT-7B-Chat,用于多轮聊天对话。MPT-7B-StoryWriter-65k ,用于阅读和编写故事,支持65k tokens的超长上下文,用小说数据集微调。
Together的RedPajama系列模型在5TB的同名开源数据上训练而来,除了70亿参数基础模型外,还有一个30亿参数版本,可以在5年前发售的RTX2070游戏显卡上运行。
据了解,MosaicML由前英特尔AI芯片项目Nervana负责人Naveen Rao创办,致力于降低训练神经网络的成本。RedPajama由苹果前高管Vipul Ved Prakash,斯坦福大模型研究中心主任Percy Liang,苏黎世联邦理工大学助理教授张策等人联合创办。
这些开源大模型的推出,标志着开源大模型生态有了寒武纪大爆发的早期迹象。这将有助于降低人工智能技术的门槛,促进人工智能的发展。也将有助于加强人工智能技术的透明度和可解释性,避免人工智能技术被滥用。
0004
评论列表
共(0)条相关推荐
美图发布视觉大模型MiracleVision 盘中股价涨超15%
截止发稿,美图公司港股股价涨超15%。据了解,在今日的美图影像节上,美图发布了7款新产品,从生活娱乐场景拓展到生产力场景,涉及设计、视频生产等多个专业领域。站长网2023-06-20 17:58:140000魅族21手机正式发布:售价3399元起 首发搭载Flyme 10.5
魅族在2023年秋季无界生态发布会上正式发布了魅族21手机,这款手机采用了无界美学设计,并搭载了第三代骁龙8处理器,售价3399元起。魅族21采用了6.55英寸三星OLED旗舰直屏,支持1920Hz高频调光、120Hz刷新率,峰值亮度1800nits,色彩管理万级调光,并获得了SGS低蓝光认证、HDR10认证、帧享ZREAL认证。站长网2023-11-30 16:16:270000特斯拉中国:FSD自动驾驶国内落地正在推进中
快科技11月23日消息,一波三折,特斯拉FSD完全自动驾驶这回真的要在国内落地了。据报道,特斯拉中国在接受采访时就FSD进入中国一事进行了回应,称目前确实正在推进中。”数日前,我国四部门联合发布《关于开展智能网联汽车准入和上路通行试点工作的通知》,《通知》中正式对L3/L4自动驾驶的准入规范进行了具体要求,并完善了相关规则,同时,也开启了对首批企业的遴选工作。站长网2023-11-23 20:12:360000让马斯克和扎克伯格跳“科目三”,这可能是最懂社会摇的AI视频工具
AI视频领域又火了一款工具。只需上传一张照片,就能让马斯克跳TikTok社会摇。(强烈推荐配合视频食用,注意⚠️有音乐)这段视频由最近悄悄走红的MagicAnimate生成。这一股扑面而来的社会摇味儿,背后原因无他,靠着短视频发家的字节跳动也下场做起了AI视频生成工具。0005擅自收集图片数据!AI抓取工具img2dataset困扰着图片网站
img2dataset是一款自动在互联网上搜索图像数据并用训练于人工智能图像生成器的免费工具,不过这款工具引发了网站所有者的担忧。站长网2023-04-26 10:26:280000