3B

智源研究院近期提出了一项新技术，通过数据浓缩技术获得高质量训练数据，从而提升多模态小模型的性能。具体来说，他们将LAION-2B压缩成2M核心集，得到更丰富的预训练数据，同时精选数据集进行指令微调，训练出性能强劲的小模型。这一技术路线带来了新一代多模态小模型Bunny系列，其中Bunny-3B表现出色，在多个基准上超越了其他近期热门模型，与大模型相媲美。

StabilityAI在昨晚发布了其最新的代码模型升级版本——StableCodeInstruct3B。这一开源项目是继之前工作的延续，暗示着SD3模型的开源发布应该能够顺利进行，尽管后续模型的发展情况还不太明朗。

**划重点:**-🚀StabilityAI发布StableLMZephyr3B，3B参数的大语言模型，优化用于聊天应用，包括文本生成、摘要和内容个性化。-🔍新模型比之前的7B模型更小更快，可在更广泛的硬件上部署，资源占用更低，同时提供快速响应。-🌐使用直接偏好优化（DPO）训练，结合优化的数据集，StableLMZephyr3B在性能评估中表现出色。

StabilityAI发布了最新的语言模型StableLM3B，该模型是为便携式数字设备设计的，参数规模为30亿，比行业通常使用的70亿参数模型要小，具有更高的性能和可移植性。StableLM3B具有较小的体积和高效性的优势，需要更少的资源和较低的运行成本，使其对大多数用户来说更加可承受。与此同时，它的能效更高，减少了能源消耗，具有环保特性。

美东时间10月2日，著名开源平台Stability.ai在官网宣布，推出开源大语言模型StableLM-3B-4E1T。（开源地址:https://huggingface.co/stabilityai/stablelm-3b-4e1t）据悉，StableLM3B是一款主要面向手机、笔记本等移动设备的基础大语言模型，在保证性能的前提下，极大降低了算力资源的要求。