量子位 | 公众号 QbitAI
Stability AI开年第一个大模型来了！
名为Stable Code 3B，参数27亿，专为写代码而生。
Stable Code 3B可理解处理18种不同的编程措辞，高下文长度100K token。
且它对硬件哀求也不高，用MacBook Air等普通条记本电脑也能离线运行。
性能方面，Stable Code 3B规模比CodeLLaMA 7B小60%，但性能却大差不差。
BigCode评估中，在包含多种编程措辞的MultiPL-E数据集上，Stable Code 3B与类似大小的模型比较，都拿下了SOTA性能。
Stable Code 3B刚上线，有网友反馈已经在插件中用上了：
效果非常好！
体积小，兼容各种硬件且运行速率非常快。
在此之前，Stability AI去年8月份就已发布了一个初代版本Stable Code Alpha 3B，Stable Code 3B是其进化版。但开拓团队表示，Stable Code 3B是首个紧张版本，基于Stable LM 3B根本模型打造，并增加了多项附加功能。
个中就包括支持中间补充（FIM）等新功能，并利用RoPE（旋转位置嵌入）方法，将高下文长度从16000 token拉长至100000 token。
Stable Code 3B整体架构类似于LLaMA，是一个仅解码器模型，利用Flash Attention 2算法。
支持以下18种编程措辞：
C、CPP、Java、JavaScript、CSS、Go、HTML、Ruby、Rust、Markdown、Shell、Php、Sql、R、Typescript、Python、Jupyter-Clean、RestructuredText
下面是对性能比较的补充。
面对比自己大两倍多的CodeLLama 7B，Stable Code 3B的性能也差不多能与其打个平手，在Python、CPP措辞上乃至略胜一筹。
在类似大小的模型中，Stable Code 3B表现突出。
不过也有吐槽声
虽然Stable Code 3B收到了一波好评，但也有不少网友认为“没有太多新东西”、“没有那么好”。
此外，它仅支持英语和编程措辞，也是让大家有些许失落望。
对此，你怎么看？
参考链接：[1]https://huggingface.co/stabilityai/stable-code-3b[2]https://twitter.com/StabilityAI/status/1747348018884493623
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态
