东莞市盛裕绒艺玩具有限公司

东莞市盛裕绒艺玩具有限公司

D88尊龙集团官方认证APP

13559981608
联系方式
全国服务热线: 13559981608

咨询热线:15156572965
联系人:刘媛
地址:广州市天河区龙口科技大厦1902室

【自编码】变分自编码大杂烩

来源:D88尊龙集团官方认证APP   发布时间:2019-06-26   点击量:360

1.变分自编码

         变分是数学上的概念,大致含义是寻求一个中间的函数,通过改变中间函数来查看目标函数的改变。变分推断是变分自编码的核心,那么变分推断是要解决的是什么问题??

问题描述如下,假如我们有一批样本X,这个时候,我们想生成一批和它类似的样本,且分布相同,这个时候我们该怎么办呢?

1.如果我们知道样本的分布的情况下,这个事情就好办了,先生成一批均匀分布的样本,通过分布的具体形式与均匀分布之间的关系,生成一批新的样本。

2.如果我们不知道样本分布的情况下,仍然可以通过一些方法得到类似的样本,例如MCMC过程,Gibbs-Sample等

更加详细的推断和过程,可以在LDA数学八卦来寻找答案。

        神经网络拥有拟合出任意函数的特点,那么使用它来拟合我们的数据分布可以不?答案是肯定的,AutoEncoder的就是为了尽可能拟合原始数据而服务的,但是一般的AutoEncoder在工程中大部分只是被用来作为降维的手段,并没有产生新样本的功能,那就是VAE(变分自编码)的能解决的问题了。

1.1 变分推断

限于本人数学造诣只是二把刀,下面的论断大部分来自网上相关博客,引用已经写在下面,有疑问,大家勿喷。下面的公式来自于 VARIATIONAL INFERENCE  & DEEP LEARNING: A NEW SYNTHESIS

 

公式的推倒主要使用了贝叶斯公式和詹森不等式,有兴趣的同学可以尝试一下。下面我们只分析这个结果,以及用途。

变分推断给出了一个下界,我们可以通过最大化$L_{heta,phi }(x)$ 来同时获得$phi ,heta $的最优解,从而获得需要逼近的数据分布。比较有趣的是$D_{KL}(q_{phi }(z|x)||p_{heta }(z|x))$决定了两个“距离”:

 KL散度决定了先验假设的分布和真实分布的相似性。$L_{heta,phi }(x)$ 和最大相似似然函数$log p_{heta }(x)$之间的间隔。

所以最大化KL散度既能使得$q_{phi }(z|x)$趋近于真实的分布$p_{heta }(z|x)$,又使得$L_{heta,phi }(x)$和$log p_{heta }(x)$的“间隔”变得更小。

1.2 VAE的学习过程

如上面幅图显示的如此,VAE包含两部分:Encoder和Decoder,前者又被成为推理模型,后者又被成为生成模型。正常来说$q_{D}(x)$的分布是比较复杂的,而映射之后的z空间在比较简单(通常假设为我们常见的分布,像高斯分布),生成模型学习一个联合分布$p_{heta }(x,z)=p_{heta }(z)p_{heta }(x|z)$,该联合分布分解为两部分,首先是z空间的先验分布$p_{heta }(z)$和随机解码器$p_{heta }(x|z)$。

上面这张图给出了模型训练的伪代码,值得注意的是下面两点:

在实际工程当中,我们经常假设z服从高斯分布,从理论上讲可以是任何分布,也可以是均匀分布,但是均匀分布在训练过程中计算KL散度可能得到无穷大值。中间采样的过程是怎么加入到神经网络的BP算法中的?这个地方是作者采用了 reparemerization 的方法,在实际训练中$z=g(varepsilon ,phi ,x)$满足该分布,其中$varepsilon$是独立于$phi$和x的,经常把$varepsilon$ 看作原始分布的一种噪音,这样随机独立的噪音可以与模型训练无关,我们只关注于$phi$和x,抽样的过程则是不同$varepsilon$ 的由z分布生成的样本。

1.3 比较常见的VAE模型

隐含变量z服从高斯分布,对应的目标函数变成

中间的抽样过程如下图所示:

 

训练模型时值得注意

生成模型$p_{heta }(x|z)$也经常假设一种分布,如果是二值的数据的话,我们经常假设为伯努利分布;如果是真实的数据的话,经常假设为高斯分布。生成模型的输出,都是独立的,也就是说神经网络的最后一层的每个输出不能使用softmax这种彼此互斥的输出的函数。输入模型的数据建议归一化一下,因为网上有些代码中会使用mse作为对$p_{heta }(x)$的等价,其实拟合的输出是高斯分布的情况(具体证明参见Pattern Recognition and Machine Learning 第5.2章节),对于非归一化的数据,mse倾向于优化变化范围大的列。归一化之后,可以使用binary_cross-entropy (这里使用的是多输出的情况)。

1.4 网上的例子

https://github.com/keras-team/keras/blob/master/examples/variational_autoencoder.py

https://github.com/tensorflow/probability/blob/master/tensorflow_probability/examples/vae.py

第一个着重于实践,是使用keras来写的,后者是使用tensorflow写的,比较符合数学上的公式推导,我们来一起分析一下代码的重点部分

def make_encoder(activation, latent_size, base_depth): """Creates the encoder function. Args: activation: Activation function in hidden layers. latent_size: The dimensionality of the encoding. base_depth: The lowest depth for a layer. Returns: encoder: A `callable` mapping a `Tensor` of images to a `tfd.Distribution` instance over encodings. """ conv = functools.partial( tf.keras.layers.Conv2D, padding="SAME", activation=activation) encoder_net = tf.keras.Sequential([ conv(base_depth, 5, 1), conv(base_depth, 5, 2), conv(2 * base_depth, 5, 1), conv(2 * base_depth, 5, 2), conv(4 * latent_size, 7, padding="VALID"), tf.keras.layers.Flatten(), tf.keras.layers.Dense(2 * latent_size, activation=None), ]) def encoder(images): images = 2 * tf.cast(images, dtype=tf.float32) - 1 net = encoder_net(images) return tfd.MultivariateNormalDiag( loc=net[..., :latent_size], scale_diag=tf.nn.softplus(net[..., latent_size:] + _softplus_inverse(1.0)), name="code") return encoder

首先是encoder,encoder部分的最后一层的大小是2*lant_size,其中在构建高斯分布的时候,0~ lant_size个输出作为了Mean,后lant_size个输出作为了方差。

def make_decoder(activation, latent_size, output_shape, base_depth): """Creates the decoder function. Args: activation: Activation function in hidden layers. latent_size: Dimensionality of the encoding. output_shape: The output image shape. base_depth: Smallest depth for a layer. Returns: decoder: A `callable` mapping a `Tensor` of encodings to a `tfd.Distribution` instance over images. """ deconv = functools.partial( tf.keras.layers.Conv2DTranspose, padding="SAME", activation=activation) conv = functools.partial( tf.keras.layers.Conv2D, padding="SAME", activation=activation) decoder_net = tf.keras.Sequential([ deconv(2 * base_depth, 7, padding="VALID"), deconv(2 * base_depth, 5), deconv(2 * base_depth, 5, 2), deconv(base_depth, 5), deconv(base_depth, 5, 2), deconv(base_depth, 5), conv(output_shape[-1], 5, activation=None), ]) def decoder(codes): original_shape = tf.shape(codes) # Collapse the sample and batch dimension and convert to rank-4 tensor for # use with a convolutional decoder network. codes = tf.reshape(codes, (-1, 1, 1, latent_size)) logits = decoder_net(codes) logits = tf.reshape( logits, shape=tf.concat([original_shape[:-1], output_shape], axis=0)) return tfd.Independent(tfd.Bernoulli(logits=logits), reinterpreted_batch_ndims=len(output_shape), name="image") return decoder

在decoder中我们看到,输出都是彼此独立的,且是伯努利分布。

approx_posterior = encoder(features)//数据进行encoder处理,得到高斯分布的参数approx_posterior_sample = approx_posterior.sample(params["n_samples"])//从得到的高斯函数中抽样,并没有使用重参数的方法decoder_likelihood = decoder(approx_posterior_sample)//将抽样的样本输入给decoder,得到伯努利分布的输出distortion = -decoder_likelihood.log_prob(features)//得到-logp(x)latent_prior = make_mixture_prior(params["latent_size"], params["mixture_components"])//得到一个标准的多维高斯分布,主要是为了计算KL的时候使用if params["analytic_kl"]: rate = tfd.kl_divergence(approx_posterior, latent_prior) else: rate = (approx_posterior.log_prob(approx_posterior_sample) - latent_prior.log_prob(approx_posterior_sample))//该方法是指另外一种衡量生成分布和高斯分布之间距离的形式 avg_rate = tf.reduce_mean(rate) tf.summary.scalar("rate", avg_rate) elbo_local = -(rate + distortion) elbo = tf.reduce_mean(elbo_local) loss = -elbo

上述则是loss函数的组成了,其中features就是原始输入。

 

注:

输入的数据是binarized_mnist,所以输出用的伯努利分布,伯努利之前的输出层并没有任何激活函数。

2.VAE条件自编码

3.使用VAE做异常检测

4.使用VAE做聚类

 

待续

相关产品

COPYRIGHTS©2017 D88尊龙集团官方认证APP ALL RIGHTS RESERVED 备案号:360