苏黎世大学研究员开发SwissBERT多语言模型 针对瑞士小语种
站长网2023-07-18 19:02:050阅
瑞士苏黎世大学的研究人员开发了一种名为 SwissBERT 的多语言语言模型,用于瑞士的四种官方语言。
之前,瑞士研究人员在多语言任务上面临困难,因为每种语言都需要单独的语言模型,而且其中一种语言甚至没有独立的神经语言模型。SwissBERT 通过组合这些语言的文章并隐式利用新闻中的实体和事件来创建多语言表示,解决了这一问题。
SwissBERT 模型是基于跨语言模块化(X-MOD)转换器进行改造的,该转换器已经在81种语言上进行了预训练。研究人员通过训练自定义的语言适配器将 X-MOD 转换器应用于他们的语料库中。他们为 SwissBERT 创建了瑞士特有的子词词汇表,生成的模型包含多达1.53亿个参数。
该模型在任务上的表现良好,例如命名实体识别和检测用户对瑞士政治的评论中的立场。在评估模型在罗曼什语上的能力时,发现 SwissBERT 在零样本跨语言迁移以及单词和句子的德语-罗曼什语对齐方面远远优于未使用该语言进行训练的模型。然而,该模型在识别 OCR 处理的历史新闻中的命名实体方面表现不佳。
通过微调下游任务,该模型在未来的研究和非商业用途中可能具有潜力。
论文:https://arxiv.org/pdf/2303.13310.pdf
项目介绍:https://vamvas.ch/introducing-swissbert
模型网址:https://huggingface.co/ZurichNLP/swissbert
0000
评论列表
共(0)条相关推荐
AI视野:剪映推出AI音色克隆功能;小红书AI文案生成器上线;HeyGen支持和AI进行视频聊天;Fotor在海外爆火
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/🤖📱💼AI应用剪映推出AI音色克隆功能【AiBase提要:】⭐只需录制5秒声音即可完成克隆,效果非常接近原声⭐目前,该功能还在小规模测试,只有10%的用户可以体验站长网2024-01-25 15:51:300006HomeCourt:用AR技术让篮球训练变得更有趣
HomeCourt是NBA的官方合作伙伴,利用增强现实(AR)技术实时捕捉动作,并智能分析来帮助提高篮球训练技能。用户可以通过手机或平板电脑的摄像头追踪运动,记录表现和统计数据。官网地址:https://www.homecourt.ai/此外,HomeCourt还提供各种互动训练和挑战游戏,增加训练的乐趣。利用AR技术,训练就像玩视频游戏一样,包括虚拟目标、音频提示、奖励级别、积分和徽章。站长网2023-12-18 17:04:130000亚马逊将允许卖家粘贴链接,以便AI可以制作产品页面
亚马逊最新发布了一项生成人工智能功能,允许卖家仅通过复制粘贴外部网站链接即可生成对应商品的亚马逊产品页面,包括文字描述和图片。亚马逊全球销售合作伙伴体验副总裁玛丽·贝丝·威斯特摩兰在博客中表示,这一功能旨在帮助卖家节省将商品从其他网站导入亚马逊所需的时间。站长网2024-03-14 09:58:090001tldraw发布病毒式应用 使用GPT-V自动生成网页代码
近日,tldraw发布了一款引人注目的病毒式应用程序,为用户提供了一种全新的软件设计体验。这款应用程序允许用户利用类似绘画的界面迅速设计软件,并通过其强大的GPT-V引擎自动生成相应的Web代码。这一创新功能不仅表现出色,生成的代码健壮可靠,而且还支持自然语言指令,为用户提供了更加灵活和便捷的操作方式。站长网2023-11-23 12:10:050001AI概念股大幅增长之后,投资大牛向投资者发出警告
纳斯达克(Nasdaq)宣布将对纳斯达克100指数进行特殊调整,因为苹果、微软、谷歌的母公司Alphabet、亚马逊、英伟达和特斯拉等股票的快速增长导致它们在指数中的权重突破了50%。预计指数将被重新调整,以将它们的影响降低到约40%。站长网2023-07-12 09:10:020000