关闭广告

小扎官宣Code Llama重量级更新,新增70B版本,但还有能力限制

机器之心Pro10347人阅读



机器之心报道

编辑:蛋酱、陈萍

功能更强大的 Code Llama 70B 模型来了。

今天,Meta 正式发布 Code Llama 70B,这是 Code Llama 系列有史以来最大、性能最好的型号。



我们正在开源一个全新的改进版 Code Llama,包括一个更大的 70B 参数模型。编写和编辑代码已成为当今人工智能模型最重要的用途之一。事实证明,编写代码的能力对于人工智能模型更严谨、更合理地处理其他领域的信息也非常重要。我为这一进展感到自豪,并期待着将这些进展纳入 Llama 3 和未来的模型中。

Code Llama 70B 提供与之前发布的 Code Llama 型号相同的三个版本:

  • CodeLlama - 70B,基础代码模型;
  • CodeLlama - 70B - Python,专门面向 Python 的 70B;
  • Code Llama - 70B - Instruct 70B,它针对理解自然语言指令进行了微调。

Code Llama 最初是 Meta 在 2023 年 8 月推出的工具,免费用于研究和商业用途。

据 Meta AI 博客文章的介绍,Code Llama 70B 可比其他版本处理更多查询,这意味着开发人员可以在编程时向其提供更多提示,并且可以更加准确。

在 HumanEval 基准测试中,Code Llama 70B 的准确率达到了 53%,优于 GPT-3.5 的 48.1%,进一步接近 OpenAI 论文报告中 GPT-4 的 67%。



Code Llama 基于 Llama 2 构建,可帮助开发人员根据提示创建代码并对人工编写的代码进行调试。发布之初,Meta 表示,Code Llama 的开源协议与 Llama 2 一样,免费用于研究以及商用目的,Code Llama 70B 也是如此。

当时 Code Llama 系列模型有三个版本,参数量分别为 7B、13B 和 34B。并且支持多种编程语言,包括 Python、C++、Java、PHP、Typescript (Javascript)、C# 和 Bash。

Meta 提供的 Code Llama 版本包括:

  • Code Llama,基础代码模型;
  • Code Llama-Python,Python 微调版;
  • Code Llama-Instruct,自然语言指令微调版。

其中,后面两个模型专注于特定的编码语言。现在这个模型大家族又加入了 Code Llama 70B,在代码任务上又提升了一个台阶。



Code Llama 70B 是在 1TB 的代码和代码相关数据上训练而成,托管在代码存储库 Hugging Face 上。

Meta 表示,其较大的型号 34B 和 70B 模型可返回最佳结果并提供更好的编码帮助。

但在开发者的使用体验中,Code Llama 70B 仍然存在明显不足。

比如有人发现,对于生成质数的请求,Code Llama 70B 无法完成:







也有人说,这一限制是为了避免某些不好的用途,比如生成非法质数。非法质数可以被用来表示一些禁止拥有或散布的资料,而依照美国的数位千禧年著作权法,散布这类程式是非法的。



参考链接:https://www.theverge.com/2024/1/29/24055011/meta-llama2-code-generator-generative-ai

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

小S两女打扮性感为大女庆生!12岁妹妹穿露肩装,热吻擦边博流量

文艺圈娱乐号 浏览 10821

跑男团到泰国请群演扮粉丝?同一群人举四家灯牌

萌神木木 浏览 14526

继续引援!TA:切尔西激活水晶宫边锋奥利斯3500万镑解约金

直播吧 浏览 12051

这条绝美的“奶油裙”超适合夏天

In风尚 浏览 16228

冬日打造温柔小姐姐的穿搭,造型好洋气

静儿时尚达人 浏览 10661

斯基拉:狼队中场努内斯越来越接近加盟曼城,转会费5500万欧

直播吧 浏览 12031

一艘英国油轮遭胡塞武装袭击 上面装着俄罗斯燃料

财联社 浏览 10459

奥联电子钙钛矿项目负责人履历是否造假?胥明军本人这么解释!

证券时报 浏览 17079

四座版 岚图梦想家私人定制版将于粤港澳车展上市

网易汽车 浏览 9179

穿上就让人自信倍增的经典款鞋子

瑞丽伊人风尚 浏览 12891

被问及美方是否寻求逮捕普里戈任 美国务院回应

每日经济新闻 浏览 79645

媒体:要避免“台海一战”中美也许可以这样谈

观察者网 浏览 16967

广厦险胜北控!两帅不兴奋,朱俊龙功臣待遇,肘子苦笑,晓宇暖心

篮球资讯达人 浏览 17259

实拍陆军直升机跨昼夜实弹射击演练

环球网资讯 浏览 13948

女孩身着动漫装被地铁安检员拦下"教育" 上海地铁回应

极目新闻 浏览 68585

桑德兰总监:迪亚洛不会再次为我们效力了,他应该在一级联赛踢球

直播吧 浏览 13177

导演万玛才旦离世细节曝光:从发病到离世仅3小时

叶公子 浏览 16398

AI创企Stability AI团队换血,高管“被迫”离职

智东西 浏览 13314

1-6,3-6!朱琳连丢两盘不敌世界第一,温网惨遭一轮游

ALL体育 浏览 13408

胡锡进宣布进入A股:希望能盈利 李大霄提了个建议

每日经济新闻 浏览 13655

茅台调价之后五粮液跟涨,它还将提升直销渠道占比

界面新闻 浏览 10111
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1