近日，华为诺亚方舟实验室语音语义实验室联合华为云PaaS技能创新实验室基于PanGu-Alpha研制出了当前业界最新的模型PanGu-Coder [1]。与业界标杆Copilot 背后的Codex[2]以及谷歌的AlphaCode等[3][4]比较，PanGu-Coder在代码天生的一次通过率（PASS@1）指标上不仅大幅超越同等规模的模型，乃至超越了参数量规模更大的模型。在支持的措辞上，除英文外，PanGu-Coder在中文上同样有出色的表现，在未来也可以更好地做事利用中文的开拓者。在内测中还创造：PanGu-Coder不但熟习常见算法，还能闇练地利用各种API，乃至可以求解高档数学问题。相信经由不断打磨，PanGu-Coder将逐步成为编程职员的聪明助手。
2. 演习数据PanGu-Coder利用了380GB的原始Python文件，通过MD5校验，限定文件大小、代码长度以及AST解析等办法对原始文件进行了洗濯、去重等事情，终极得到了147GB的数据用作模型演习阶段的输入。
为了提升函数级代码天生的效果，每个Python文件中的代码语料均按照函数级的办法进行了重新组织。例如：如果某个函数的定义之后紧接着对付函数的自然措辞注释，该注释将被放置到函数定义之前，形整天然措辞到代码的配对数据，并用以构建演习数据集。
PanGu-Coder将演习分为了两个阶段：第一阶段利用了全量的代码数据进行演习;第二阶段选择了更符合目标任务的自然措辞和代码对作为演习数据对模型进行调优。
3.1 模型架构图1 PanGu-Coder的模型构造
由于PanGu-Alpha所采取的的自回归Transformer架构所具备强大的文本天生能力，在PanGu-Coder的演习中也沿用了此模型架构用于代码天生任务，其架构如图1所示。同时，PanGu-Coder也沿用了PanGu-Alpha的中英文多语词表，从而同时具备支持中英文输入的能力。
3.2 演习方法受课程学习（Currilum Learning）启示，PanGu-Coder采取了两阶段演习的办法进行演习：1）在原始语料上，采取传统的自回归措辞建模（Causal language modeling，CLM）进行演习;2）在经由筛选的语料上，仅对<自然措辞，代码>平行句对样本，采取创新的代码自回归措辞建模（Code-CLM）进行演习。
图2 PanGu-Coder的两阶段样本构成办法
PanGu-Coder的两阶段样本示例如图2所示。图2（左）为第一阶段演习样本，图2（右）为第二阶段样本。在第一阶段的演习中，PanGu-Coder具备了自然措辞和代码交错的措辞模型的能力，而第二阶段样本则帮助PanGu-Coder在通过自然措辞进行代码天生的任务上得到了更好的适配。
图3 PanGu- Coder： Code-CLM 丢失函数
在第二阶段的演习中，PanGu-Coder采取了专门为代码天生而设计的Code-CLM作为其丢失函数。如图3所示。在演习过程中，Code-CLM仅保留代码部分的Loss打算结果，同时忽略了自然措辞部分的Loss。Code-CLM丢失函数的采取，让PanGu-Coder更专注于学习天生代码序列的同时减少了自然措辞序列带来的滋扰，使得PanGu-Coder的第二阶段演习数据与演习目标都更靠近代码天生任务的真实场景。
4. 实验结果4.1 模型天生的通过率模型的一次天生通过率（PASS@1）是代码措辞天生模型最主要的能力衡量指标。PanGu-Coder采取了OpenAI发布的HumanEval以及Google发布的MBPP两个函数级代码天生任务的数据集作为评测目标。表1给出了HumanEval中一个非常大略的例子。PanGu-Coder天生的代码须要通过单元测试（Unit Tests）才被认为天生精确。
表1 HumanEval 示例
在HumanEval数据集上，与业界标杆Codex（OpenAI）以及包括AlphaCode（Google Deep Mind）、CodeGen（Saleforce）、 INCoder（Meta）等模型比较，PanGu-Coder在3亿和26亿模型上的一次通过率PASS@1均达到最优。值得一提的是，3亿参数的PanGu-Coder模型（PASS@1=17.07%）超越了Codex （PASS@1=16.22%）靠近7亿参数的模型结果，基本持平了谷歌10亿的模型（表2）。在MBPP数据集上， 26亿参数的模型超越了META INCoder 靠近70亿参数的模型效果（表3）。其余，在演习的充分程度上，PanGu-Coder是所有模型中所用数据量以及打算量最小（train tokens）的模型。这一结果充分解释了PanGu-Coder数据集构建策略和分阶段演习设计的合理性，并展示了采取这种办法能够在函数级代码天生这一最主要场景上达到业界最优。
表2 PanGu-Coder在HumanEval上的一次通过率以及十次通过率
表3 PanGu-Coder在MBPP上的一次通过率以及十次通过率
为进一步提升模型函数级代码天生的能力，PanGu-Coder网络了包括CodeContest、CodeSearchNet、APPS在内的业界已公开的大规模函数级数据集对模型进行微调（Fine-tune），得到了PanGu-Coder-FT。实验结果表明，微调模型在MBPP以及HumanEval上的表现到了明显提升（表4）。
表4 PanGu-Coder： 3亿模型Fine-tune结果
实际编码过程中，常日在实现一个函数之前，会预先设计多少测试用例来测试函数实现结果。在HumanEval 164个函数描述中，有130个问题描述中包含了预设的测试用例。为验证基于测试用例的代码天生的有效性，PanGu-Coder在进行多次天生（200次）的情形下利用这些测试用例对天生的代码进行了过滤，并统计了过滤后代码的通过率。从终极结果可以看出，利用测试用例对天生的代码进行过滤可以极大地提升通过率，个中3亿的模型可以达到41.52%。
表5 PanGu-Coder： 3亿模型测试用例过滤结果
4.2 工具内测PanGu-Coder模型已集成到了华为云的代码开拓赞助工具中，可以在IDE中利用自然措辞描述天生函数级的Python代码，或者根据高下文进行补全。
如下是内测过程中产生的几个实际的例子。
(1) 常见的数据构造算法
Input： 利用冒泡排序的方法对数组进行排序。
输出：
（2） SQL查询功能
Input： 利用mysql， 从表 “AI research” 的所有记录， 选择地址为“喷鼻香港科学园” 的记录，并显示结果.
输出：
(3) 利用机器学习工具创建文本分类器
输入：创建文本二进制感情分类器 。
输出：
(4) 高档数学题1: 求微分
输入：利用共和函数，利用导数的定义查找函数的导数。f（x）= （x2-1）/（2x-3）。
输出：
(5) 高档数学题2，求概率分布
输入：从区间 [0， θ] 上的均匀分布天生数字 x。人们决定测试H0 ： θ = 2 与HA ： θ = 2 通过谢绝 H0 如果 x ≤ 0.1 或 x ≥ 1.9.利用仿照，打算 I 类缺点的概率。
输出：
5. 展望
PanGu-Coder是基于华为的预演习措辞模型PanGu-Alpha演进而来的代码天生模型，在模型演习的高效性以及函数级天生与补全性能上均达到领先的业界水平。目前PanGu-Coder已经集成在华为云的代码开拓赞助工具中进行内测。同时PanGu-Coder也在不断的迭代与演进，以支持更多的编程措辞、供应更好、更快的天生能力。
文章来自 PaaS技能创新Lab，PaaS技能创新Lab从属于华为云，致力于综合利用软件剖析、数据挖掘、机器学习等技能，为软件研发职员供应下一代智能研发工具做事的核心引擎和聪慧大脑。我们将聚焦软件工程领域硬核能力，不断构筑研发利器，持续交付高代价商业特性！
加入我们，一起首创研发新"境界"！
PaaS技能创新实验室主页链接：https://www.huaweicloud.com/lab/paas/home.html
参考文献：[1] Christopoulou， Fenia， et al. “PanGu-Coder： Program Synthesis with Function-Level Language Modeling”。arXiv preprint arXiv：2207.11280 （2022）.
[2] Chen， Mark， et al. “评估在代码上演习的大型措辞模型。arXiv 预印本 arXiv：2107.03374 （2021）.
[3] Li， Yujia， et al. “利用 AlphaCode 天生竞赛级代码”。arXiv 预印本 arXiv：2203.07814 （2022）.
[4] Nijkamp， Erik， et al. “A conversational paradigm for program synthesis”.arXiv 预印本 arXiv：2203.13474 （2022）.
华为云博客_大数据博客_AI博客_云打算博客_开拓者中央-华为云
