dashphpmanual中文技巧_达摩院开源半监督进修框架Dash刷新多项SOTA

作者：达摩院

本文先容机器学习顶级国际会议 ICML 2021 吸收的 long talk (top 3.02%) 论文 “Dash: Semi-Supervised Learning with Dynamic Thresholding”。

一、研究背景

监督学习（Supervised Learning）

我们知道模型演习的目的实在是学习一个预测函数，在数学上，这可以刻画成一个学习从数据 (X) 到标注 (y) 的映射函数。
监督学习便是一种最常用的模型演习方法，厥后果的提升依赖于大量的且进行了很好标注的演习数据，也便是所谓的大量带标签数据 ((X,y))。
但是标注数据每每须要大量的人力物力等等，因此效果提升的同时也会带来本钱过高的问题。
在实际运用中常常碰着的情形是有少量标注数据和大量未标注数据，由此引出的半监督学习也越来越引起科学事情者的把稳。

半监督学习（Semi-Supervised Learning）

半监督学习同时对少量标注数据和大量未标注数据进行学习，其目的是借助无标签数据来提高模型的精度。
比如 self-training 便是一种很常见的半监督学习方法，其详细流程是对付标注数据 (X, y) 学习数据从 X 到 y 的映射，同时利用学习得到的模型对未标注数据 X 预测出一个伪标签

，通过对伪标签数据 (X,

)进一步进行监督学习来帮助模型进行更好的收敛和精度提高。

核心办理问题

现有的半监督学习框架对无标签数据的利用大致可以分为两种，一是全部参与演习，二是用一个固定的阈值卡出置信度较高的样本进行演习 (比如 FixMatch)。
由于半监督学习对未标注数据的利用依赖于当前模型预测的伪标签，以是伪标签的精确与否会给模型的演习带来较大的影响，好的预测结果有助于模型的收敛和对新的模式的学习，差的预测结果则会滋扰模型的演习。
以是我们认为：不是所有的无标签样本都是必须的！

二、论文 & 代码

论文链接：https://proceedings.mlr.press/v139/xu21e/xu21e.pdf代码地址：https://github.com/idstcv/Dash技能运用：https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary

这篇论文创新性地提出用动态阈值（dynamic threshold）的办法筛选无标签样本进行半监督学习（semi-supervised learning，SSL）的方法，我们改造了半监督学习的演习框架，在演习过程中对无标签样本的选择策略进行了改进，通过动态变革的阈值来选择更有效的无标签样本进行演习。
Dash 是一个通用策略，可以轻松与现有的半监督学习方法集成。
实验方面，我们在 CIFAR-10, CIFAR-100, STL-10 和 SVHN 等标准数据集上充分验证了其有效性。
理论方面，论文从非凸优化的角度证明了 Dash 算法的收敛性子。

三、方法

Fixmatch 演习框架

在引出我们的方法 Dash 之前，我们先容一下 Google 提出的 FixMatch 算法，一种利用固定阈值选择无标签样本的半监督学习方法。
FixMatch 演习框架是之前的 SOTA 办理方案。
全体学习框架的重点可以归纳为以下几点：

fixmatch 的优点是用弱增强数据进行伪标签的预测，增加了伪标签预测的准确性，并在演习过程中用固定的阈值 0.95（对应 loss 为 0.0513) 选取高置信度（阈值大于即是 0.95，也便是 loss 小于即是 0.0513）的预测样本天生伪标签，进一步稳定了演习过程。

Dash 演习框架

下图比拟了演习过程中的 FixMath 和 Dash 选择的精确样本数和缺点样本数随演习进行的变革情形（利用的数据集是 cifar100）。
从图中可以很清楚地看到，比拟 FixMatch，Dash 可以选取更多精确 label 的样本，同时选择更少的缺点 label 的样本，从而终极有助于提高演习模型的精度。

我们的算法可以总结为如下 Algorithm 1。
Dash 是一个通用策略，可以轻松与现有的半监督学习方法集成。
为了方便，在本文的实验中我们紧张将 Dash 与 FixMatch 集成。
更多理论证明详见论文。

四、结果

我们在半监督学习常用数据集：CIFAR-10，CIFAR-100，STL-10 和 SVHN 上进行了算法的验证。
结果分别如下：

可以看到我们的方法在多个实验设置上都取得了比 SOTA 更好的结果，个中须要解释的是针对 CIFAR-100 400label 的实验，ReMixMatch 用了 data align 的额外 trick 取得了更好的结果，在 Dash 中加入 data align 的 trick 之后可以取得 43.31% 的缺点率，低于 ReMixMatch 44.28% 的缺点率。

五、运用

实际面向任务域的模型研发过程中，该半监督 Dash 框架常常会被运用到。
接下来给大家先容下我们研发的各个域上的开源免费模型，欢迎大家体验、下载（大部分手机端即可体验）：