技术

 2018-12-21  273

Dance motion generation是近年来兴起的研究,由音乐去自动生成排舞动作,是Dance motion generation的进一步发展和应用。Listen to Dance出自首尔大学的Music & Audio Research Group,实现了音乐到编舞的生成。专业舞蹈者在长期舞蹈创作中学习到了音乐和舞姿之间的联系和搭配,可以说是一种视觉和听觉建立的深层次的联系,这种关联在大数据支持下计算机是有理由去实现的。

Read More
技术

 2018-12-18  151

视觉和听觉的同步性和相关性是两者在时空发生时就已经建立的天然联系,人类的认知往往是通过视觉和听觉协同建立的,我们看到溪水流淌,脑中不由自由的就会产生溪水潺潺的声音。视觉信息是可以辅助我们判断声音发生和所在位置,同时声音也能指导视觉关注。The Sound of Pixels便是利用视觉去指导混合音频的分离和定位。

Read More
技术

 2018-12-12  137

视觉和听觉存在着紧密的关联,同时空下视觉和听觉不仅在语义上存在着一致性,在时序上也是对齐的。失聪患者可以利用视觉信息做出判断,盲人也可以利用听觉信息做出判断,而一般正常人对事物的决策往往是结合视觉和听觉协同完成的。NIPS2018的Cooperative Learning of Audio and Video Models from Self-Supervised Synchronization正是通过对视觉和听觉信息做同一性判断,在整体上优化视觉特征和听觉特征提取网络,在独立模态下也提高了各自的任务准确率。不同于我们之前说的Look,Listen and Learn,这篇论文不仅仅在语义上判断视觉和听觉的一致性,还在时序上做了严格对齐判断。

Read More
技术

 2018-12-07  272

GAN实现数据的从无到有是通过随机噪声z作为输入,在生成对抗下实现逼真数据的生成。这个过程是从全局的角度上直接生成数据样本, 很难分析具体的z对生成带来的影响。我们只知道在随机噪声z的作用下生成的数据样本和真实数据样本在分布上是随着网络的优化而逐渐相近的。为了进一步刻画数据的几何特性和数据样本的流形。 由齐国君团队在2018 CVPR上发表的Localized GAN通过局部坐标系来参数化不同位置的数据变换的局部几何, 缓解了GAN生成多样性不足的同时,还实现了在半监督分类的优化。

Read More
技术

 2018-12-04  563

2014年5月GAN诞生了,这篇文章中并没有出现Adversarial Trainin这个词,而对抗训练(Adversarial Training) 是在2014年10月被提出。虽然Adversarial Training是在GAN之后被提出,但是这两篇文章都是由Goodfellow创作,而且具体来说Adversarial Training 是包含GAN的。Goodfellow解释为训练一个GAN涉及训练对抗样本的分类器,其中分类器是判别器,对抗样例来自发生器。可以将GAN训练看作是更普遍的对抗训练类别的特例, 在对抗训练下还有很多改进的方案,其中比较知名的是VAT(Virtual Adversarial Training:A Regularization Method for Supervised and Semi-Supervised Learning)简称为虚拟对抗训练, 本文将对VAT作进一步解读。

Read More

subscribe via RSS

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏一下,你说多少就多少

打开微信扫一扫,即可进行扫码打赏哦