在人工智能领域,生成式模型是一种重要的算法,被广泛应用于各种应用中,如语音识别、图像生成、自然语言处理等。基于深度学习的生成式建模的方法主要有自编码器(AE)、变分自编码器(VAE)、生成对抗网络(GAN)等三大种,每种模型都有其独特的特点和优势。
自编码器(AE)是最基础的生成式模型之一,其主要思想是通过一个编码器将输入数据压缩到低维隐空间中的隐向量,然后通过一个解码器将压缩的隐向量进行解压得到生成数据。在训练过程中,AE会将生成数据和真实数据进行比较并更新参数,以使得生成数据和输入的真实数据尽量相近。虽然AE能够模仿输入的数据,但由于其缺乏多样性和创新性,因此其应用场景有限。
变分自编码器(VAE)是AE的进化版本,其主要变化是在编码器后产生的隐向量的概率分布能够尽量接近某个特定的分布,即编码器的直接输出的是所属正态分布的均值和标准差。根据均值和方差采样得到隐向量z,这样就可以根据采样的随机性生成具有多样性的生成图像。由于VAE能够生成具有多样性的图像,因此其应用场景更为广泛。
生成对抗网络(GAN)是近年来较为流行并有效的生成式方法。GAN主要由生成器和判别器构成,两者分别有自己的一个独立的网络结构,通过对抗训练的方式交替优化。在训练过程中,生成器生成的图像会交给判别器进行判别,判别器最大化真实样本的输出结果,最小化假样本的输出结果,而生成器则相反。由于GAN具有生成多样性和创新性的能力,因此其应用场景也更为广泛。
在大公司参与方面,可以看到微软向OpenAI投资了10亿美元,并帮助他们开发模型;谷歌在2014年收购了Deepmind。这些大公司参与部署生成式人工智能模型的主要原因是,为了能够估计这些模型的参数,必须拥有极其庞大的计算能力,以及在数据科学和数据工程方面高度熟练且经验丰富的团队。因此,只有这些公司,在收购的初创公司和与学术界合作的帮助下,能够成功部署生成式人工智能模型。在大公司参与初创企业方面,可以看到微软向OpenAI投资了10亿美元等。