量子位 宣布 | 公众年夜众号 QbitAI
在拍照时我们常常会碰着这样的苦恼：由于设置的快门韶光太长，快速运动的物体会在身后产生严重的拖影。
除非是为了分外的艺术效果，一样平常来说这张照片就报废了。
然而来自MIT的研究职员却见告我们，拍糊了的照片不要扔，丢给这个神经网络，还你一份运动视频。拖影里包含的信息实在可以找回丢失的韶光维度。
他们提出的模型可以从运动模糊的图像中重新创建视频。论文第一作者说：“我们能够规复这个细节险些就像魔术一样。”
不仅如此，作者还表示，这种模型不仅可以办理韶光维度上的丢失，还能挽救空间维度上的丢失。未来这种技能乃至可能从2D医学图像中检索3D数据，只用一张X光片得到CT扫描的信息。
目前这篇论文已经被打算机视觉顶会ICCV 2019收录。
规复视频并不随意马虎
照片和视频常日会将时空折叠到更低维度上，我们将之称为“投影”（projection）。
比如拍摄X光片，是把3D图片投影到一张2D底片上，这是空间上的投影。永劫光曝光，让星星在照片上留下常常的轨迹，这是韶光上的投影。
投影过程中会丢失信息，下面的向量投影中，我们就丢失掉了另一个维度的信息，而且完备无法规复。
但是大多数物体的尺寸常日比其在图像中拖影的尺寸小得多，研究职员可以通过投影的旗子暗记天生恢复原貌的概率模型。
之前，也是来自MIT一项研究，用一种“角落摄影机”的算法可以检测到拐角处的人。在这样的场景中，由于边缘遮挡物的存在，场景的反射光会沿空间维度塌陷。
但是这种算法并不完善，目前仅能根据模糊图像规复一些大略的线条。而最新的这项研究则可以较清晰地规复物体的原貌。
从模糊中规复原形
MIT的研究职员网络了一个由35个视频组成的数据集，个中有30个人在指定区域中行走。他们将所有视频折叠成用于演习和测试模型的投影。
模型从投影中精确地重新规复了人行走过程中的24帧。而且该模型彷佛理解到，随着韶光而变暗和变宽的像素可能对应于一个人在靠近相机。
此外，他们还在人脸数据集FacePlace上进行了测试，从旁边摆动高度模糊的图像中规复出五官样貌。
如果图像中有两个物体在运动，该算法也能处理。
研究职员让两个MNIST手写体数字相互运动，图像乃至模糊到连一样平常人也看不出里面是什么，但AI模型不但推断出了数字的笔画形状，还剖析出了两个数字的运动方向。
事理
实现从2D投影到规复3D时空的的网络架构如下图所示：
该网络有三个参数化函数：qψ(·|·) 表示变分后验分布，pφ(·|·) 表示先验分布，gθ(·, ·)表示反投影网络。z在演习时从q网络中采样，在测试时从p网络中采样。
对付后验分布的参数编码器q，个中包含一系列3D跨度卷积运算符和Leaky RELU激活函数，以得到μψ和σψ两个分布参数。
条件先验编码器p以类似的办法实现，由于没有韶光维度信息，它只有2D跨度卷积。
对付反投影函数gθ(x, z)，它利用UNet型的体系构造打算x的每个像素特色。UNet分为两个阶段：在第一阶段，运用一系列2D跨度卷积算子提取多尺度特色；第二阶段运用一系列2D卷积和上采样操作，合成x和更多数据通道。
传送门
干系宣布：
https://www.eurekalert.org/pub_releases/2019-10/miot-rd101619.php
论文地址：
https://arxiv.org/abs/1909.00475
— 完 —
诚挚招聘
量子位正在招募编辑/，事情地点在北京中关村落。期待有才华、有激情亲切的同学加入我们！
干系细节，请在量子位"大众年夜众号(QbitAI)对话界面，回答“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技能和产品新动态
