1、三者之间的关系
重参数是一种处理期望形式目标函数的方法，处理这种目标函数意味着要从分布中采样。该分布中带有参数，如果直接采样的话，就会失去参数的梯度。而重参数提供这样一种变换，是我们可以直接从分布中采样，并且保留参数的梯度。
如果从离散分布中采样，需要定义一种可微分的与离散分布近似的取样方法，这就需要用到Gumbel-Softmax。
Gumbel-Max是Gumbel-Softmax的基础，提供了一种从类别分布中采样的方法。但Gumbel-Max因为存在取最大值的操作，故其不可导。而Gumbel-Softmax是Gumbel-Max的光滑近似版，其可导，可以保证参数的反向传播。
参考资料：
2、重参数的一般方法
首先从无参分布中采样，然后通过变换实现要完成分布的采样（连续分布是直接进行变换，离散分布是依概率进行采样）。
3、softmax和Gumbel-Softmax的区别
分类任务用softmax，它并不是采样过程，因为它不包含随机性。Gumbel-Softmax从均匀分布中进行采样，进行随机扰动，保证了采样的随机性。
参考资料：