换个角度看GAN:另一种损失函数

  • 时间:
  • 浏览:2
  • 来源:uu快3IOS下载_uu快3app下载_和值

前文所述的损失函数在分类、回归及图像分割等任务中的表现相当不错,而针对输出具有多模态分布的情况表,则效果堪忧。

GAN 作为新的损失函数

显式损失函数的局限

掌握神经网络后,.我歌词 .我歌词 就能只有构建三个多多 神经网络以逐步逼近上文所述的猫狗分类函数,而无需显式地表达该分类函数。

由于着将判别器(同样也是神经网络)作为损失函数来训练生成器网络(与 Alpha-GAN 的编码器),没办法 用什么损失函数来训练判别器呢?

原文发布时间为:2019-1-2

本文作者:机器学习算法与Python学习

本文来自云栖社区战略企业合作伙伴“ 机器学习算法与Python学习”,了解相关信息能只有关注“guodongwei1991”微信公众号

在原版 GAN 中仅有四种 损失函数——判别器网络 D,其自身却说我另四种 神经网络。

在数学中,.我歌词 .我歌词 能只有把函数当做机器,往机器中输入一或多个数字,它会相应地生成一或多个数字。

模型会输出四种 黄色的鸟,这是最小化红色与暗蓝色距离的最安全选泽,即便模型在训练过程中从未观察到一只黄色的鸟。

……

KL 散度:用于衡量四种 分布之间的差异

而在 Alpha-GAN 中,模型有 3 种损失函数:输入数据的判别器 D、用于已编码潜变量的潜码判别器 C,以及传统像素级 L1 损失函数。其中,D 和 C 并否是显式损失函数,而却说我其近似──神经网络。

某些均化效应在某些实例中会由于着非常糟糕的结果。以预测视频下一帧任务为例,下一帧的由于着性非常多,你你要的是能输出「其中某一帧」的模型。有然后 ,由于着采用 L2 或 L1 训练模型,模型将平均所有由于着结果,生成一张十分模糊的均化图像。

接下来,输入是与刚才实验这类 的一只黑白色的鸟;真实图像是一只相同的红色的鸟。

将 GAN 本质上视为四种 应学的损失函数,假如这篇文章促使帮助.我歌词 .我歌词 理解 GAN 的简洁和力量。

梯度

判别器的任务是区分真实数据分布和生成数据分布。用监督法律土土办法训练判别器时,标签可随意使用,却说我采用二元交叉熵等显式损失函数训练判别器就很简单。

观察 GAN 中的梯度变化,就非常容易发现改变其轨迹的新思路。由于着显式损失函数的梯度无法在三个多多 神经网络间(判别器和生成器)回流,却能只有在三个多多 神经网络间回流,没办法 它能被应用在何处?由于着梯度无法通过传统损失函数回流,却可在什么神经网络之间直接来回呢?从基本原理出发,.我歌词 .我歌词 很容易发现未被探索的路径以及未被解答的什么的问題。

通过下面的 GAN 架构和 Alpha-GAN 架构,你能观察地更清晰。如图,白色框代表输入,粉色框和绿色框代表你想构建的网络,暗蓝色框代表损失函数。

本文将在适合的相关背景下讨论中间的观点,并向.我歌词 .我歌词 阐述 GAN 某些「应学」(learned)损失函数的简洁优美之处。

由于着.我歌词 .我歌词 促使用数学公式表示函数,这很好。可由于着.我歌词 .我歌词 只有或尚未想明白咋样将你要的函数写成一系列加减乘除(譬如分辨输入是猫图像还是狗图像的函数)又该咋样呢?

Jeremy Howardf 老师曾在生成对抗网络(GAN)课程中说过:「……本质上,GAN 却说我另四种 损失函数。」

关于神经网络逼近价值形式的好坏,损失函数承担着十分重要的作用。对于神经网络构建人员来说,针对具体任务去理解和选泽恰当的损失函数是最重要的技能。

L2 损失(平方误差):与 L1 这类 ,但对于异常值更加敏感

输入是黑白色的鸟,真实图像是相同的暗蓝色的鸟。

神经网络来拯救.我歌词 .我歌词 了。万能逼近定理表明,三个多多 具有充足隐藏单元且足够大的神经网络能只有计算「任何函数」。

以黑白图片着色任务为例。

神经网络须要损失函数告知它目前性能的好坏,但没办法 任何显式损失函数促使很好的完成此项工作。

Dice 损失 (IoU) :用于分割任务

但由于着判别器是生成器的损失函数,这代表判别器的二元交叉熵损失函数的每段梯度同样会被用于更新生成器网络。

却说我,由于着.我歌词 .我歌词 用神经网络模型替代显式损失函数,由于着咋样?恭喜,你发现了 GAN。

结论

由于着实际上没办法 黄色鸟,却说我你知道模型匮乏逼真。

神经网络的显式损失函数

采用 L2 损失函数计算模型的输出颜色与真实图像的像素级差异。

L2 损失函数试图最小化模型的输出颜色与红色的差异。

通过传统损失函数与神经网络的集成,GAN 使将神经网络作为损失函数来训练另一神经网络成为由于着。三个多多 神经网络间的巧妙交互使得高度神经网络促使正确处理某些先前无法完成的任务(如生成逼真图像)。

L1 损失(绝对误差):用于回归任务

目前,设计更好的损失函数也是活跃度极高的研究领域。譬如,论文《Focal Loss for Dense Object Detection》介绍了四种 名为「Focal loss」的新型损失函数,用于正确处理单阶段目标检测模型的不平衡性。

从函数逼近的高度看神经网络

基于 L2 损失函数的反馈,模型已学习出一只这类 的鸟,但模型应该输出四种 与红色及暗蓝色都接近的颜色。模型会为啥么做?

交叉熵误差:通常用于分类任务

由于着无法用公式表达,另一三个多多们能只有合适 逼近函数呢?

首先,.我歌词 .我歌词 先介绍相关背景知识:

目前由于着有却说我损失函数,对于损失函数的选泽依赖于具体任务。然而,所有损失函数具有三个多多 一起价值形式──它须促使以精确的数学表达式表示损失函数。

嗯,却说我有四种 既无需显式数学表达式,又促使直接逼近神经网络损失函数的法律土土办法,该多好。譬如神经网络?

为了获得更好的函数逼近能力,神经网络首先须要知道其当前性能有多差。计算神经网络误差的法律土土办法被称为损失函数。

首先,你并我却说我知道繁杂函数的精确数学表达式(比如函数的输入是一组数字,输出是一张狗狗的逼真图像),却说我你使用神经网络逼近此函数。