华泰证券-【华泰金工林晓明团队】相对生成对抗网络RGAN实证——华泰人工智能系列之三十六-200922

　　林晓明 S0570516010001 SFC No. BPY421 研究员 李子钰 S0570519110003 研究员 何康 S0570520080004 研究员 报告发布时间：2020年9月22日 摘要 RGAN引入相对损失函数，提高训练稳定性，可应用于金融时间序列模拟 本文介绍GAN的一类重要变式——相对生成对抗网络（RGAN），并将其应用于金融资产时间序列的生成，发现RGAN在生成数据的真实性上优于原始GAN。GAN的绝对判别器直接将某一类样本作为输入，判定该样本是否真实；而RGAN的相对判别器将真假样本对作为输入，以其中一个样本作为基准，计算另一个样本相对基准更加真实的程度，再给出判定结果，使得判别器更稳健，生成对抗网络训练更稳定。使用GAN和RGAN生成上证综指日频和标普500月频收益率序列，结果表明GAN无法复现出真实序列的长时程相关等特性，RGAN则有显著改善。 相对损失函数使生成器能够影响整个损失函数，克服原始GAN的缺陷 RGAN能克服原始GAN模型的缺陷。原始GAN的生成器不能影响真样本的判定结果，只能影响一半的损失函数。这导致判别器不具备“输入样本一半为假”的先验知识，并且生成器的训练过程无法最小化JS散度。RGAN引入先验知识，并且使生成器能够最小化JS散度。此外，若允许生成器影响真样本的判定结果，损失函数梯度会向基于IPM的GAN靠近，从而拥有一些基于IPM的GAN所具备的优良性质，判别器训练过程中真样本的影响不会下降过快。相对判别器对真样本的判定以假样本作为基准，因此生成器能够影响真样本的判定结果，克服上述由绝对判别器带来的缺陷。 RaGAN对基准样本的判别器原始输出进行平均，减少梯度随机性 实践中一般采用RGAN的改进形式RaGAN。RGAN的算法选取随机样本对，判定其中一个样本比另一个样本更真实的程度。上述随机样本选取导致相对判定的结果存在较大的不确定性，进而增加损失函数梯度的随机性。相对平均生成对抗网络（RaGAN）先对一组基准样本的判别器原始输出进行平均，再取其均值作为基准，从而降低了梯度的随机性，同时也没有增加算法的时间复杂度。 RGAN和RaGAN生成序列表现接近，相比GAN在部分场景有显著提升 实证部分我们检验在SGAN、LSGAN、HingeGAN这三种GAN上应用相对损失函数和相对平均损失函数的效果。测试过程中，我们保持基准GAN和相对GAN的网络及参数基本相同，并采用多项统计指标评价生成质量。结果表明，部分指标上基准GAN、RGAN和RaGAN均有优良表现；另一部分指标上，基准GAN表现不佳，RGAN和RaGAN相比于基准GAN则有显著提升。例如上证综指日频数据集上，SGAN生成序列的长时程相关性不明显，相应的RSGAN和RaSGAN则有显著改进。 风险提示：RGAN生成虚假序列是对市场规律的探索，不构成任何投资建议。RGAN模型可能存在黑箱问题，训练不收敛不同步，以及模式崩溃问题。深度学习模型存在过拟合的可能。深度学习模型是对历史规律的总结，如果市场规律发生变化，模型存在失效的可能。 研究导读 本文是华泰金工生成对抗网络（GAN）系列的第三篇，关注GAN的重要变式——相对生成对抗网络（Relativistic GAN，简称RGAN）。RGAN将原始GAN中的绝对判别器改成相对判别器，把绝对损失函数改成相对损失函数。这种“相对”的思想使RGAN在训练过程中更稳定，且RGAN对网络结构的要求相比GAN更不敏感，整体表现相比GAN更优秀。本文将相对损失函数应用于三种非相对GAN，对比采用相对损失函数的RGAN和未采用相对损失函数的GAN在模拟金融数据方面的表现。 原始GAN模型的生成器只能提高生成样本被判别器判为真的概率，但不能改变真实样本被判为真的概率。我们将证明“降低真实样本被判定为真的概率”对于提升生成序列质量十分重要。相比之下，引入相对损失函数的RGAN则充分利用真假样本的信息，其生成器既可提高生成样本被判为真的概率，又可降低真实样本被判为真的概率，弥补了GAN的缺陷。 RGAN的相对损失函数以样本点作为比较基准，存在较大随机性。相对平均生成对抗网络（Relativistic average GAN，简称RaGAN）对RGAN进行改良，把样本群体作为比较基准，能够降低RGAN算法中的随机性。同时，RaGAN没有增加算法的复杂度，因此实际操作中比RGAN更常用。 本文分为理论和实践两部分。理论部分将分析经典GAN模型绝对损失函数存在的缺陷，引出RGAN相对损失函数和相对判别器的概念，再进一步介绍其变体RaGAN。实践部分将三种非相对GAN的损失函数改成相对损失函数进行对比，结果表明在网络结构和参数基本相同的情况下，RGAN的表现优于GAN。 SGAN的缺陷 广义GAN 本文涉及GAN的较多变体，为便于区分，我们先给出广义GAN的定义，再基于这一定义进行分类。在《人工智能31：生成对抗网络GAN初探》（20200508）一文中，我们提到生成器和判别器分别最大化、最小化同一个目标函数。换言之，生成器和判别器训练时各自试图最小化的损失函数互为相反数。但在广义GAN中，生成器和判别器可以有不同的损失函数。因此我们需要给出一组损失函数 ，分别表示判别器和生成器各自试图最小化的损失函数： 定义注解的2、3、4项，分别规定了GAN的判别器变换层、损失函数类型、判别器和生成器损失函数之间的关系。如上图所示，这些关系都可以作为分类的依据。例如，经典的SGAN（Standard GAN）规定了判别器变换层和损失函数的类型： 1. 判别器变换层为Sigmoid。因此，判别器的输出在[0,1]之间，可以理解为概率。例如，当真样本的标签为1，假样本的标签为0，判别器的输出即代表“判别器判定该样本为真样本的概率”。 2. 损失函数为交叉熵损失函数，即，。 由上述两点可知，SGAN的损失函数表达式为（非饱和形式）： 前文我们提到，GAN损失函数中可以忽略。在SGAN的概率框架下，这意味着判别器最大化损失函数，使得，，即最大化真样本被判定为真实的概率，同时最小化假样本被判定为真实的概率；但是生成器虽然最小化同样的损失函数，却只能使，即只能最大化假样本被判定为真实的概率，而不能改变真样本被判定为真实的概率。SGAN概率框架下的理想训练过程如下图所示。 简言之，我们注意到SGAN在假样本被判定为真实的概率上升的同时，真样本被判定为真实的概率并不会下降。事实上，正如广义GAN定义的第3点所提到的，所有非相对生成对抗网络的都无关紧要，因此都存在类似问题。不失一般性地，我们以SGAN为例，从以下三方面论证“真样本被判定为真实的概率下降”的重要性。 1. SGAN的判别器不具备“输入样本一半为假”的先验知识。 2. SGAN的训练轨迹不能直接最小化JS散度。 3. 真样本对SGAN判别器梯度的影响随着训练的进行越来越小，判别器的学习趋于停滞。 判别器的先验知识 假设我们不考虑生成器无法影响真样本判别结果，在生成器训练阶段仍然向判别器输入真样本。那么无论在判别器还是生成器训练阶段，判别器的输入均是一半真样本，一半假样本。因此，判别器理应具备“输入样本一半为假”这一先验知识。 然而，在SGAN生成器训练结束阶段，理想状态下生成器生成的样本能够“蒙骗”判别器，因此判别器会把所有样本都判定为真。这显然违背了“输入样本一半为假”的先验知识。这意味着在SGAN中，除非我们刻意增加判别器训练的难度（例如降低学习速率、正则化），否则判别器不会做出合理的判定。 如果时刻要求判别器具备这一先验知识，自然的想法是让判别器在真假样本之间进行取舍，选取相对而言更真实的一半判定为真。为实现这种取舍，我们需要能够在生成器训练阶段降低真样本被判定为真实的概率。进一步地说，理想状态下当生成器越来越强时，生成器应能生成非常接近真实甚至更真实的数据。此时，判别器将混淆真假样本，在提高假样本被判定为真的概率的同时，降低真样本被判定为真的概率。 最小化JS散度 在《人工智能31：生成对抗网络GAN初探》（20200508）中我们证明过，如果采用饱和SGAN，在最优化判别器的前提下（即理想状态下判别器训练结束后），生成器的损失函数等价于真样本分布和假样本分布之间的Jensen-Shannon散度。其数学表达如下： 根据SGAN生成器损失函数的定义，我们又有： 其中表示最优化的判别器。代入SGAN生成器损失函数的表达式，我们可以得到的表达式： 进而，我们得到全局的表达式为： 下面我们论证，虽然理论上SGAN的生成器应该最小化JS散度，从而模拟真实数据分布，但实际的训练过程却与之相悖。JS散度的理论上界为log2，为达到这一极值，必须使；JS散度的理论下界为0，为达到这一极值，必须使： 由于JS散度当且仅当真实数据分布和虚假数据分布完全相同时取0，所以如果我们想要真实数据分布和虚假数据分布完全相同，必须使JS散度取0，也就必须使生成器达到如下的极值： 但在SGAN中，一旦判别器训练结束后，生成器就无法改变的值，即无论如何也达不到，也就无法最小化JS散度。 我们可以用下图来更直观地表示：A. 理论上最小化JS散度的训练路径（图A）；B. 实际上SGAN的训练路径（图B）；C. 理想状态下的训练路径（图C）。其中纵轴表示判别器输出，横轴表示迭代次数。想要实现图C，就必须能够降低真样本被判定为真实的概率。 梯度分析 在训练网络过程中我们采用梯度下降方法，分析不同损失函数的梯度能够更直观地反映损失函数对网络训练的影响。饱和SGAN与非饱和SGAN在生成对抗的思想上是一致的，因此不失一般性地，我们将比较非饱和SGAN与基于IPM的GAN的损失函数梯度，分析降低真样本被判定为真实的概率对损失函数梯度的影响。下一小节我们先介绍基于IPM的GAN。 积分概率测度IPM及基于IPM的GAN 我们给出过非饱和GAN的损失函数表达式如下： 由于基于IPM的GAN的判别器变换层是恒等函数，无法限制判别器的输出，损失函数可能很快趋于负无穷，梯度也随之爆炸。所以在实践中，我们希望C不易发散。事实上，我们在《人工智能35：WGAN应用于金融时间序列生成》（20200828）中介绍的WGAN和WGAN-GP都属于基于IPM的GAN。WGAN通过限制网络参数变化范围，把限定为满足Lipschitz条件的函数；而WGAN-GP通过增加梯度惩罚项，则把限定为梯度范数接近于1的函数。 诸多研究（Arjovsky等，2017；Gulrajani等，2017；Mroueh等，2017；Mroueh和Sercu，2017）表明，基于IPM的GAN（如WGAN等）拥有优于GAN的表现。下一小节我们将从损失函数梯度的角度分析基于IPM的GAN与SGAN有何不同。由于梯度是网络训练过程中的直接影响因素，如果可以模仿基于IPM的GAN的损失函数梯度，那么就有可能得到拥有相似优良表现的GAN。 损失函数梯度对比 下图总结真样本被判定为真实的概率不下降带来的三个缺陷。 相对生成对抗网络RGAN 相对损失函数与相对判别器 如前文所述，所有非相对生成对抗网络的生成器都只能影响损失函数的一半，无法影响真样本的判别器输出。因此，它们都缺乏让真样本的判别器输出下降的特性，而这一特性又是十分重要的。相对生成对抗网络RGAN（Relativistic GAN）将GAN的损失函数改为相对损失函数，判别器修改成相对判别器，使得生成器能够影响整个损失函数。 相对判别器需要将真样本和假样本相互比较，判定二者之间谁更加真实。例如，如果我们将SGAN损失函数改为相对损失函数，我们就得到了相对SGAN（RSGAN），其判别器以一类样本作为基准，输出另一类样本比基准更真实的概率。SGAN中，判别器最大化真样本被判定为真实的概率，最小化假样本被判定为真实的概率；生成器最大化假样本被判定为真实的概率。但在RSGAN中，相对判别器最大化真样本比假样本更真实的概率，最小化假样本比真样本更真实的概率；生成器最小化真样本比假样本更真实的概率，最大化假样本比真样本更真实的概率。 下图将相对判别器与绝对判别器进行对比，清晰展示了相对判别器的比较优势。其中面包被设定为真样本（判别器原始输出趋于正），狗被设定为假样本（判别器原始输出趋于负）。 第一种情况下，真样本很像面包（判别器原始输出为8），假样本很像狗（判别器原始输出为－5）。绝对判别器根据真样本的原始输出8，直接判定真样本100%是面包；相对判别器考虑到假样本的原始输出是－5，因此真样本远比假样本更像面包，进而判定真样本100%是面包。两个判别器表现相当。 第二种情况下，真样本很像面包（判别器原始输出为8），但假样本也很像面包（判别器原始输出为7）。绝对判别器仍旧根据真样本的原始输出8，直接判定真样本100%是面包；相对判别器考虑到假样本的原始输出是7，因此真样本仅比假样本略微更像面包，进而判定真样本有73%的可能性是面包。虽然相对判别器的结论稍逊于绝对判别器，但并没有彻底背离事实。 第三种情况下，真样本很像狗（判别器原始输出为－3），但是假样本更像狗（判别器原始输出为－5）。绝对判别器根据真样本的原始输出－3，直接判定真样本仅有5%的可能性是面包；相对判别器考虑到假样本的原始输出是－5，因此真样本虽然不像面包，但是跟假样本相比还是更像面包一些，进而判定真样本有88%的可能性是面包。此时，绝对判别器的判定明显偏离事实，相对判别器则凸显出优势。 RGAN的定义 RGAN的原理 RGAN的本质是将原先的绝对损失函数改为相对损失函数，因此所有拥有相对损失函数的GAN都属于RGAN。换言之，如果将损失函数改为相对损失函数“有利可图”，那么我们可以将其应用于几乎任何非相对损失函数，以赋予其某些相对损失函数的优秀性质。RGAN的损失函数定义如下： 此外，基于IPM的GAN实际上是一种特殊的RGAN，具体介绍详见附录。 RGAN的算法伪代码 上文我们提到，不少GAN的损失函数满足 公式54 。我们给出满足这一条件的RGAN算法伪代码（非饱和形式）： RaGAN的定义 RaGAN的原理 如果放松SGAN中对交叉熵损失函数和Sigmoid变换层的限制，我们可以给出广义RaGAN（Relativistic average GAN）的定义： RaGAN与RGAN的主要差别在于，判别器在计算一类样本和另一类样本（基准样本）的相对值时，RaGAN会对基准样本的原始输出先进行平均，以衡量另一组样本的整体水平，增加梯度下降的稳定性。 RaGAN的算法伪代码 下面给出非饱和RaGAN的算法伪代码： 从算法稳定性的角度看，在RGAN中我们随机选取m对真实和虚假数据进行随机梯度下降，算法的随机性更强；而RaGAN则对一组数据取平均再计算相对值，算法相对更稳定。尽管如此，二者孰优孰劣并不能就此定论：RaGAN的梯度计算经过平均，因此更加准确；但是RGAN算法中的随机性可能会使结果更加稳健，正如随机梯度下降SGD比一般梯度下降表现更好。 方法 训练数据 本文与GAN系列的前两篇报告保持一致，仍选取上证综指日频数据和标普500月频数据作为训练集，同样采用滑动窗口的方法取得真实样本。感兴趣的读者可以参考《人工智能35：WGAN应用于金融时间序列生成》（20200828）。 损失函数 RGAN和RaGAN的理念可以用于各种非相对GAN，因此我们把SGAN、LSGAN、HingeGAN都修改成相应的相对GAN，再对比其结果，以体现相对损失函数的优势。RaGAN与RGAN效果相近，因此除了将SGAN与RSGAN、RaSGAN两者对比外， LSGAN和HingeGAN只分别与RaLSGAN和RaHingeGAN对比。下面我们给出LSGAN、RaLSGAN、HingeGAN、RaHingeGAN的损失函数。 下面两张图表分别总结测试阶段所使用GAN模型的区别和损失函数对比。 网络结构 为比较相对损失函数的作用，本文测试保证网络的结构及参数基本相同，及保持一致，大体沿用《人工智能31：生成对抗网络GAN初探》（20200508）中的网络框架。理论部分提到，相对损失函数的判别器具备“输入样本一半为假”的先验假设，不需要像非相对损失函数的判别器一样进行过多限制。因此，本文RSGAN和RaSGAN模型中判别器学习速率提高为原先的10倍。实验表明，当SGAN模型中判别器学习速率提高为原先的10倍时，SGAN模型表现不佳。因此，提高判别器学习速率是最优化相对GAN所要求的，而并非提高学习速率本身增强了模型表现。 以上给出本文GAN的生成器和判别器网络结构。其中损失函数略去不写，采取上述各种相对和非相对GAN的损失函数的非饱和形式。 评价指标 RGAN和RaGAN弥补了生成器不能使真样本被判定为真实的概率下降这一缺陷，在实践中被证明有助于算法稳定性的提高。例如，一般而言批归一化层有助于提高算法稳定性，但是RGAN即使去掉了批归一化层也能表现很好。由于并没有明确指向某个指标的改进，本文采用WGAN文中的全部9项指标，以评价RGAN的总体表现。 RGAN测试结果 本文测试RGAN和RaGAN在生成上证综指日频和标普500月频收益率序列中的表现。由于RGAN和RaGAN在两个数据集上表现接近，正文部分仅展示上证综指日频的结果，标普500月频的结果详见附录。总体而言，RGAN、RaGAN在大部分指标上表现与GAN接近，在Hurst指数上的表现明显优于GAN。 RSGAN、RaSGAN与SGAN对比结果 损失函数和真假序列展示 下图分别展示RSGAN和RaSGAN的损失函数值。总体而言，生成器损失函数比判别器损失函数的值更大。原因在于，与非相对损失函数不同，相对损失函数对生成器的要求尤其高。非相对损失函数的生成器只需要将假样本被判定为真实的概率变成1，损失函数就接近0；但是拥有相对损失函数的生成器需要将假样本比真样本更真实的概率变成1，损失函数才接近0。因此，相对损失函数的生成器损失值会更高。更通俗的解读是，对生成器而言，拟真并不难（非相对损失），“比真实还要真”更难（相对损失）。 下面分别展示真实价格序列和RSGAN、RaSGAN的生成序列。 评价指标对比 下面我们展示生成序列在各项评价指标上的表现。RSGAN、RaSGAN的生成序列在前六项指标（自相关性、厚尾分布、波动率聚集、杠杆效应、粗细波动率相关及盈亏不对称性）上的表现与SGAN相近，均接近真实序列。 下表展示这六项指标的统计结果，从中也可以看出RSGAN和RaSGAN在这六项指标上表现与SGAN相似。 下面展示方差比率结果。三者总体表现接近，均能很好地还原真实数据的方差比率。 下图展示生成序列多样性的对比。三种模型生成序列总体的多样性水平相近。RSGAN和RaSGAN生成序列的DTW距离分布与SGAN生成序列的DTW距离分布的均值接近，方差略大。 RaLSGAN与LSGAN、RaHingeGAN与HingeGAN对比结果 损失函数和真假序列展示 下图分别展示LSGAN、RaLSGAN、HingeGAN、RaHingeGAN的损失函数。如前所述，相比非相对损失函数，相对损失函数损失值会整体更大一些。 下图依次展示四种损失函数的生成序列。 评价指标对比 下面我们对比不同相对损失函数和非相对损失函数的生成序列在各项评价指标上的表现。与SGAN的情况相似，RaLSGAN的表现与LSGAN接近，RaHingeGAN的表现与HingeGAN接近，并且都很好地模拟了真实数据。其中，HingeGAN生成数据的盈亏不对称性不明显，但是RaHingeGAN中表现有显著提升。 下表展示这六个指标的统计结果。在大部分情况下，相对平均GAN的生成序列质量与GAN接近，在个别指标上有明显改进（标记红色部分）：HingeGAN的杠杆效应和盈亏不对称性表现均不明显，指标与真实序列相差一个数量级；但是RaHingeGAN的表现与真实数据十分接近。 下面展示生成序列方差比率结果。LSGAN生成序列的方差比率大部分位于真实数据下方，RaLSGAN生成序列大部分位于真实数据上方，但是RaLSGAN生成序列的极端值更少。RaHingeGAN的方差比率则比HingeGAN更接近真实值。 下表展示Hurst指数结果。非相对GAN生成序列的平均Hurst指数却均小于0.5，呈现出反持续性。相对平均GAN生成序列的平均Hurst指数则均有明显提升，与真实数据接近。这一改进在Hurst指数大于0.5的序列比例（P（Hurst>0.5））上更为明显。 下图展示生成序列多样性的对比。RaLSGAN生成序列的多样性略高于LSGAN，RaHingeGAN生成序列的多样性则略低于HingeGAN。RaGAN从原理上改进模型生成序列的真实度，并不一定能解决多样性不足、模式崩溃的问题，所以多样性略低在情理之中。 总结与讨论 本文介绍GAN的一类重要变式——RGAN在生成模拟金融时间序列中的应用。RGAN将GAN中的损失函数改为相对损失函数，绝对判别器改为相对判别器。GAN的绝对判别器直接将某一类样本作为输入，判定该样本是否真实；而RGAN的相对判别器将真假样本对作为输入，以其中一个样本作为基准，计算另一个样本相对基准更真实的程度，再给出判定结果。这使得判别器更稳健，生成对抗网络的训练更稳定。 RGAN能克服原始GAN模型的缺陷。原始GAN的生成器不能影响真样本的判定结果，只能影响一半的损失函数。这导致判别器不具备“输入样本一半为假”的先验知识，并且生成器的训练过程无法最小化JS散度。RGAN引入先验知识，并且使生成器能够最小化JS散度。此外，若允许生成器影响真样本的判定结果，损失函数梯度会向基于IPM的GAN靠近，从而拥有一些基于IPM的GAN所具备的优良性质，判别器训练过程中真样本的影响不会下降过快。相对判别器对真样本的判定以假样本作为基准，因此生成器能够影响真样本的判定结果，克服上述由绝对判别器带来的缺陷。 实践中一般采用RGAN的改进形式RaGAN。RGAN的算法选取随机样本对，判定其中一个样本比另一个样本更真实的程度。上述随机样本选取导致相对判定的结果存在较大的不确定性，进而增加损失函数梯度的随机性。相对平均生成对抗网络（RaGAN）先对一组基准样本的判别器原始输出进行平均，再取其均值作为基准，从而降低了梯度的随机性，同时也没有增加算法的时间复杂度。 实证部分我们检验在SGAN、LSGAN、HingeGAN这三种GAN上应用相对损失函数和相对平均损失函数的效果。测试过程中，我们保持基准GAN和相对GAN的网络及参数基本相同，并采用多项统计指标评价生成质量。结果表明，部分指标上基准GAN、RGAN和RaGAN均有优良表现；另一部分指标上，基准GAN表现不佳，RGAN和RaGAN相比于基准GAN则有显著提升。例如上证综指日频数据集上，SGAN生成序列的长时程相关性不明显，HingeGAN生成序列的盈亏不对称性不明显，相应的相对GAN在这些方面均有明显改进。下表汇总了各种GAN的所有指标测试结果。 我们在《人工智能35：WGAN应用于金融时间序列生成》（20200828）中介绍了GAN的重要变式WGAN，那么本文研究的RGAN和WGAN相比效果如何？从8项衡量生成数据真实性的指标看，RGAN和WGAN较为接近，表现均优于原始GAN。从衡量生成数据多样的DTW指标看，RGAN表现弱于WGAN。原因在于RGAN从理论上并未针对模式崩溃问题做出改进，因此RGAN的模式崩溃风险相较于WGAN更高。 总的来看，本文从理论和实践的角度讨论了RGAN相比于GAN的改进之处。相对和相对平均损失函数可以应用于几乎所有非相对的损失函数，本文仅测试了其中三种常见的损失函数。在其它损失函数上应用是否有相似的效果，值得进一步检验。另外，WGAN和RGAN这两种GAN的变式从损失函数的角度对原始GAN进行改造，那么是否可能从网络结构、正则化和标准化方式等其它角度对GAN加以改进，也是未来值得探讨的话题。 参考文献 Arjovsky M, Chintala S, Bottou L. (2017). Wasserstein gan. arXiv preprint arXiv:1701.07875. Jolicoeur-Martineau A. (2018). The relativistic discriminator: a key element missing from standard GAN. arXiv preprint arXiv:1807.00734. Gulrajani I, Ahmed F, Arjovsky M, et al. (2017). Improved training of wasserstein gans. Advances in neural information processing systems. 5767-5777. De Meer Pardo F. (2019). Enriching Financial Datasets with Generative Adversarial Networks (Doctoral dissertation, Master’s thesis, Delft University of Technology, the Netherlands). Mroueh Y, Li C L, Sercu T, Raj A, & Cheng Y. (2017). Sobolev gan. arXiv preprint arXiv:1711.04894. Mroueh Y, & Sercu T. (2017). Fisher gan. Advances in Neural Information Processing Systems. 2513-2523. Takahashi S, Chen Y, & Tanaka-Ishii K. (2019). Modeling financial time-series with generative adversarial networks. Physica A: Statistical Mechanics and its Applications. 527. 121261. 10.1016/j.physa.2019.121261. 风险提示 RGAN生成虚假序列是对市场规律的探索，不构成任何投资建议。RGAN模型可能存在黑箱问题，训练不收敛不同步，以及模式崩溃问题。深度学习模型存在过拟合的可能。深度学习模型是对历史规律的总结，如果市场规律发生变化，模型存在失效的可能。 附录 附录部分详细展示1）基于IPM的GAN与RGAN的关系；2）RGAN在标普500月频序列的测试结果。 基于IPM的GAN与RGAN 标普500月频序列 损失函数和真假序列展示 评价指标对比 免责声明与评级说明 公众平台免责申明 本公众平台不是华泰证券研究所官方订阅平台。相关观点或信息请以华泰证券官方公众平台为准。根据《证券期货投资者适当性管理办法》的相关要求，本公众号内容仅面向华泰证券客户中的专业投资者，请勿对本公众号内容进行任何形式的转发。若您并非华泰证券客户中的专业投资者，请取消关注本公众号，不再订阅、接收或使用本公众号中的内容。因本公众号难以设置访问权限，若给您造成不便，烦请谅解！本公众号旨在沟通研究信息，交流研究经验，华泰证券不因任何订阅本公众号的行为而将订阅者视为华泰证券的客户。 本公众号研究报告有关内容摘编自已经发布的研究报告的，若因对报告的摘编而产生歧义，应以报告发布当日的完整内容为准。如需了解详细内容，请具体参见华泰证券所发布的完整版报告。 本公众号内容基于作者认为可靠的、已公开的信息编制，但作者对该等信息的准确性及完整性不作任何保证，也不对证券价格的涨跌或市场走势作确定性判断。本公众号所载的意见、评估及预测仅反映发布当日的观点和判断。在不同时期，华泰证券可能会发出与本公众号所载意见、评估及预测不一致的研究报告。 在任何情况下，本公众号中的信息或所表述的意见均不构成对客户私人投资建议。订阅人不应单独依靠本订阅号中的信息而取代自身独立的判断，应自主做出投资决策并自行承担投资风险。普通投资者若使用本资料，有可能会因缺乏解读服务而对内容产生理解上的歧义，进而造成投资损失。对依据或者使用本公众号内容所造成的一切后果，华泰证券及作者均不承担任何法律责任。 本公众号版权仅为华泰证券股份有限公司所有，未经公司书面许可，任何机构或个人不得以翻版、复制、发表、引用或再次分发他人等任何形式侵犯本公众号发布的所有内容的版权。如因侵权行为给华泰证券造成任何直接或间接的损失，华泰证券保留追究一切法律责任的权利。本公司具有中国证监会核准的“证券投资咨询”业务资格，经营许可证编号为：91320000704041011J。 华泰金工深度报告一览 金融周期系列研究（资产配置） 【华泰金工林晓明团队】2020年中国市场量化资产配置年度观点——周期归来、机会重生，顾短也兼长20200121 【华泰金工林晓明团队】量化资产配置2020年度观点——小周期争明日，大周期赢未来20200116 【华泰金工林晓明团队】风险预算模型如何度量风险更有效-改进风险度量方式稳定提升风险模型表现的方法 【华泰金工林晓明团队】周期双底存不确定性宜防守待趋势——短周期底部拐头机会渐增，待趋势明朗把握或更大20191022 【华泰金工林晓明团队】二十年一轮回的黄金投资大周期——黄金的三周期定价逻辑与组合配置、投资机会分析20190826 【华泰金工林晓明团队】如何有效判断真正的周期拐点？——定量测度实际周期长度提升市场拐点判准概率 【华泰金工林晓明团队】基钦周期的长度会缩短吗？——20190506 【华泰金工林晓明团队】二十载昔日重现，三四年周期轮回——2019年中国与全球市场量化资产配置年度观点（下） 【华泰金工林晓明团队】二十载昔日重现，三四年周期轮回——2019年中国与全球市场量化资产配置年度观点（上） 【华泰金工林晓明团队】周期轮动下的BL资产配置策略 【华泰金工林晓明团队】周期理论与机器学习资产收益预测——华泰金工市场周期与资产配置研究 【华泰金工林晓明团队】市场拐点的判断方法 【华泰金工林晓明团队】2018中国与全球市场的机会、风险 · 年度策略报告（上） 【华泰金工林晓明团队】基钦周期的量化测度与历史规律 · 华泰金工周期系列研究 【华泰金工林晓明团队】周期三因子定价与资产配置模型（四）——华泰金工周期系列研究 【华泰金工林晓明团队】周期三因子定价与资产配置模型（三）——华泰金工周期系列研究 【华泰金工林晓明团队】周期三因子定价与资产配置模型（二）——华泰金工周期系列研究 【华泰金工林晓明团队】周期三因子定价与资产配置模型（一）——华泰金工周期系列研究 【华泰金工林晓明团队】华泰金工周期研究系列 · 基于DDM模型的板块轮动探索 【华泰金工林晓明团队】市场周期的量化分解 【华泰金工林晓明团队】周期研究对大类资产的预测观点 【华泰金工林晓明团队】金融经济系统周期的确定（下）——华泰金工周期系列研究 【华泰金工林晓明团队】金融经济系统周期的确定（上）——华泰金工周期系列研究 【华泰金工林晓明团队】全球多市场择时配置初探——华泰周期择时研究系列 行业指数频谱分析及配置模型：市场的周期分析系列之三 【华泰金工林晓明团队】市场的频率——市场轮回，周期重生 【华泰金工林晓明团队】市场的轮回——金融市场周期与经济周期关系初探 周期起源 【华泰金工林晓明团队】企业间力的产生、传播和作用效果——华泰周期起源系列研究之八 【华泰金工林晓明团队】耦合振子同步的藏本模型——华泰周期起源系列研究之七 【华泰金工林晓明团队】周期在供应链管理模型的实证——华泰周期起源系列研究之六 【华泰金工林晓明团队】不确定性与缓冲机制——华泰周期起源系列研究报告之五 【华泰金工林晓明团队】周期是矛盾双方稳定共存的结果——华泰周期起源系列研究之四 【华泰金工林晓明团队】周期是不确定性条件下的稳态——华泰周期起源系列研究之三 【华泰金工林晓明团队】周期趋同现象的动力学系统模型——华泰周期起源系列研究之二 【华泰金工林晓明团队】从微观同步到宏观周期——华泰周期起源系列研究报告之一 FOF与金融创新产品 【华泰金工林晓明团队】养老目标基金的中国市场开发流程--目标日期基金与目标风险基金产品设计研究 【华泰金工】生命周期基金Glide Path开发实例——华泰FOF与金融创新产品系列研究报告之一 因子周期（因子择时） 【华泰金工林晓明团队】市值因子收益与经济结构的关系——华泰因子周期研究系列之三 【华泰金工林晓明团队】周期视角下的因子投资时钟--华泰因子周期研究系列之二 【华泰金工林晓明团队】因子收益率的周期性研究初探 择时 【华泰金工林晓明团队】波动率与换手率构造牛熊指标——华泰金工量化择时系列 【华泰金工林晓明团队】A股市场低开现象研究 【华泰金工林晓明团队】华泰风险收益一致性择时模型 【华泰金工林晓明团队】技术指标与周期量价择时模型的结合 【华泰金工林晓明团队】华泰价量择时模型——市场周期在择时领域的应用 中观基本面轮动 【华泰金工林晓明团队】行业全景画像：投入产出表视角——华泰中观基本面轮动系列之五 【华泰金工林晓明团队】行业全景画像：改进杜邦拆解视角——华泰中观基本面轮动系列之四 【华泰金工林晓明团队】行业全景画像：风格因子视角 ——华泰中观基本面轮动系列之三 【华泰金工林晓明团队】行业全景画像：宏观因子视角 ——华泰中观基本面轮动系列之二 【华泰金工林晓明团队】确立研究对象：行业拆分与聚类——华泰中观基本面轮动系列之一 行业轮动 【华泰金工林晓明团队】拥挤度指标在行业配置中的应用——华泰行业轮动系列报告之十二 【华泰金工林晓明团队】基于投入产出表的产业链分析 ——华泰行业轮动系列报告之十一 【华泰金工林晓明团队】不同协方差估计方法对比分析——华泰行业轮动系列报告之十 【华泰金工林晓明团队】景气度指标在行业配置中的应用——华泰行业轮动系列报告之九 【华泰金工林晓明团队】再探周期视角下的资产轮动——华泰行业轮动系列报告之八 【华泰金工林晓明团队】“华泰周期轮动”基金组合改进版——华泰行业轮动系列报告之七 【华泰金工林晓明团队】“华泰周期轮动”基金组合构建——华泰行业轮动系列之六 【华泰金工林晓明团队】估值因子在行业配置中的应用——华泰行业轮动系列报告之五 【华泰金工林晓明团队】动量增强因子在行业配置中的应用——华泰行业轮动系列报告之四 【华泰金工林晓明团队】财务质量因子在行业配置中的应用——华泰行业轮动系列报告之三 【华泰金工林晓明团队】周期视角下的行业轮动实证分析——华泰行业轮动系列之二 【华泰金工林晓明团队】基于通用回归模型的行业轮动策略——华泰行业轮动系列之一 Smartbeta 【华泰金工林晓明团队】重剑无锋：低波动 Smart Beta——华泰 Smart Beta 系列之四 【华泰金工林晓明团队】投资优质股票：红利类Smart Beta——华泰Smart Beta系列之三 【华泰金工林晓明团队】博观约取：价值和成长Smart Beta——华泰Smart Beta系列之二 【华泰金工林晓明团队】Smart Beta：乘风破浪趁此时——华泰Smart Beta系列之一 【华泰金工林晓明团队】Smartbeta在资产配置中的优势——华泰金工Smartbeta专题研究之一 多因子选股 【华泰金工林晓明团队】华泰单因子测试之历史分位数因子——华泰多因子系列之十三 【华泰金工林晓明团队】桑土之防：结构化多因子风险模型——华泰多因子系列之十二 【华泰金工林晓明团队】华泰单因子测试之海量技术因子——华泰多因子系列之十一 【华泰金工林晓明团队】因子合成方法实证分析 ——华泰多因子系列之十 【华泰金工林晓明团队】华泰单因子测试之一致预期因子 ——华泰多因子系列之九 【华泰金工林晓明团队】华泰单因子测试之财务质量因子——华泰多因子系列之八 【华泰金工林晓明团队】华泰单因子测试之资金流向因子——华泰多因子系列之七 【华泰金工林晓明团队】华泰单因子测试之波动率类因子——华泰多因子系列之六 【华泰金工林晓明团队】华泰单因子测试之换手率类因子——华泰多因子系列之五 【华泰金工林晓明团队】华泰单因子测试之动量类因子——华泰多因子系列之四 【华泰金工林晓明团队】华泰单因子测试之成长类因子——华泰多因子系列之三 【华泰金工林晓明团队】华泰单因子测试之估值类因子——华泰多因子系列之二 【华泰金工林晓明团队】华泰多因子模型体系初探——华泰多因子系列之一 【华泰金工林晓明团队】五因子模型A股实证研究 【华泰金工林晓明团队】红利因子的有效性研究——华泰红利指数与红利因子系列研究报告之二 人工智能 【华泰金工林晓明团队】WGAN应用于金融时间序列生成——华泰人工智能系列之三十五 【华泰金工林晓明团队】再探AlphaNet：结构和特征优化——华泰人工智能系列之三十四 【华泰金工林晓明团队】数据模式探索：无监督学习案例——华泰人工智能系列之三十三 【华泰金工林晓明团队】AlphaNet：因子挖掘神经网络——华泰人工智能系列之三十二 【华泰金工林晓明团队】生成对抗网络GAN初探——华泰人工智能系列之三十一 【华泰金工林晓明团队】从关联到逻辑：因果推断初探——华泰人工智能系列之三十 【华泰金工林晓明团队】另类标签和集成学习——华泰人工智能系列之二十九 【华泰金工林晓明团队】基于量价的人工智能选股体系概览——华泰人工智能系列之二十八 【华泰金工林晓明团队】揭开机器学习模型的“黑箱” ——华泰人工智能系列之二十七 【华泰金工林晓明团队】遗传规划在CTA信号挖掘中的应用——华泰人工智能系列之二十六 【华泰金工林晓明团队】市场弱有效性检验与择时战场选择——华泰人工智能系列之二十五 【华泰金工林晓明团队】投石问路：技术分析可靠否？——华泰人工智能系列之二十四 【华泰金工林晓明团队】再探基于遗传规划的选股因子挖掘——华泰人工智能系列之二十三 【华泰金工林晓明团队】基于CSCV框架的回测过拟合概率——华泰人工智能系列之二十二 【华泰金工林晓明团队】基于遗传规划的选股因子挖掘——华泰人工智能系列之二十一 【华泰金工林晓明团队】必然中的偶然：机器学习中的随机数——华泰人工智能系列之二十 【华泰金工林晓明团队】偶然中的必然：重采样技术检验过拟合——华泰人工智能系列之十九 【华泰金工林晓明团队】机器学习选股模型的调仓频率实证——华泰人工智能系列之十八 【华泰金工林晓明团队】人工智能选股之数据标注方法实证——华泰人工智能系列之十七 【华泰金工林晓明团队】再论时序交叉验证对抗过拟合——华泰人工智能系列之十六 【华泰金工林晓明团队】人工智能选股之卷积神经网络——华泰人工智能系列之十五 【华泰金工林晓明团队】对抗过拟合：从时序交叉验证谈起 【华泰金工林晓明团队】人工智能选股之损失函数的改进——华泰人工智能系列之十三 【华泰金工林晓明团队】人工智能选股之特征选择——华泰人工智能系列之十二 【华泰金工林晓明团队】人工智能选股之Stacking集成学习——华泰人工智能系列之十一 【华泰金工林晓明团队】宏观周期指标应用于随机森林选股——华泰人工智能系列之十 【华泰金工林晓明团队】人工智能选股之循环神经网络——华泰人工智能系列之九 【华泰金工林晓明团队】人工智能选股之全连接神经网络——华泰人工智能系列之八 【华泰金工林晓明团队】人工智能选股之Python实战——华泰人工智能系列之七 【华泰金工林晓明团队】人工智能选股之Boosting模型——华泰人工智能系列之六 【华泰金工林晓明团队】人工智能选股之随机森林模型——华泰人工智能系列之五 【华泰金工林晓明团队】人工智能选股之朴素贝叶斯模型——华泰人工智能系列之四 【华泰金工林晓明团队】人工智能选股之支持向量机模型— —华泰人工智能系列之三 【华泰金工林晓明团队】人工智能选股之广义线性模型——华泰人工智能系列之二 指数增强基金分析 【华泰金工林晓明团队】再探回归法测算基金持股仓位——华泰基金仓位分析专题报告 【华泰金工林晓明团队】酌古御今：指数增强基金收益分析 【华泰金工林晓明团队】基于回归法的基金持股仓位测算 【华泰金工林晓明团队】指数增强方法汇总及实例——量化多因子指数增强策略实证 基本面选股 【华泰金工林晓明团队】华泰价值选股之相对市盈率港股模型——相对市盈率港股通模型实证研究 【华泰金工林晓明团队】华泰价值选股之FFScore模型 【华泰金工林晓明团队】相对市盈率选股模型A股市场实证研究 【华泰金工林晓明团队】华泰价值选股之现金流因子研究——现金流因子选股策略实证研究 【华泰金工林晓明团队】华泰基本面选股之低市收率模型——小费雪选股法 A 股实证研究 【华泰金工林晓明团队】华泰基本面选股之高股息率模型之奥轩尼斯选股法A股实证研究 基金定投 【华泰金工林晓明团队】大成旗下基金2018定投策略研究 【华泰金工林晓明团队】布林带与股息率择时定投模型——基金定投系列专题研究报告之四 【华泰金工林晓明团队】基金定投3—马科维茨有效性检验 【华泰金工林晓明团队】基金定投2—投资标的与时机的选择方法 【华泰金工林晓明团队】基金定投1—分析方法与理论基础 基金评价 【华泰金工林晓明团队】基金评价及筛选全流程研究框架——股票型与债券型基金多种维度定量与定性评价法 其它 【华泰金工林晓明团队】A股市场及行业的农历月份效应——月份效应之二 A股市场及行业的月份效应——详解历史数据中的隐藏法则