Home

Abstract Complex high-dimensional densities을 모델링하는 NICE를 개발하였다. Good representation은 모델링하기 쉬운 분포를 가졌을 것이라는 믿음(아이디어)에서 개발되었다. 비선형 deterministic 변환을 통해 데이터를 factorized distribution을 갖는 latent space로 변환한다(이는 independent component를 만들기 위함). 이 논문에서는 “이러한 변환”을 Jacobian과 Inverse Jacobian의 determinant를 구하기 쉬운 형태로 모델링을 하고, 그런 계산을 쉽게 함에도 그 모델링한 변환은 충분히 c...

Abstract 정보이론을 사용하여 unsupervised하게 disentangled representation을 배울 수 있는 GAN기반 모델을 제안하였다. InfoGAN은 observation과 latent code의 일부 집합의 mutual information을 높이고자 하였다. 이 과정에서 mutual information의 lower bound를 유도하였고 이를 효과적으로 최적화할 수 있는 방법도 제안하였다. 이를 통해 MNIST, 3D rendered pose images from various lighting, SVHN datatset에 대하여 disentangle되는 걸 보여주었다. CelebA ...

Abstract Adversarial process를 통해 generative model을 훈련하는 GAN을 제안하였다. 이 훈련의 framework는 generator G와 discriminator D의 minimax게임이다. 이론적으로 optimal한 경우에는 G는 training data distribution과 동일한 분포의 데이터를 만들어내고 이 상황에서 D는 1/2를 내뱉어야한다. 구현상으로 G,D는 MLP로 구성되며 backprop으로 학습된다. 그리고 Markov Chain과 unrolled approximate infeerence netowrks가 training이나 generation of sam...

Abstract 전통적인 Text-to-image generation은 모델구조를 얼마나 잘 짜거나, domain-specific한 걸 이용해서(object part label, segmentation 등을 이용) 이루어졌는데 본 논문에서 autoregressive한 transformer를 기반으로 더 단순한 approach임에도 좋은 결과를 얻을 수 있었다.(물론 데이터는 충분해야함)

Brief remark on VAE \[\begin{align} \mathcal{L}(\theta,\phi;x^{(i)}) & = \mathbb{E}_{q_\phi(z\lvert x)}{[ -\log q_\phi (z \lvert x) + \log p_\theta (x,z) ]} \\ & = \mathbb{E}_{q_\phi(z\lvert x)}{[ \log p_\phi (x \lvert z)]} - KL(q_\phi(z\lvert x) \lvert \lvert p(z)) \end{align}\] Main Contributions ...

Main Contributions A reparameterization of the variational lower bound yields a lower bound estimator that can be straightforwardly optimized using standard stochastic gradient method. For i.i.d. datasets with continuous latent variables per datapoint, posterior inference can be made especially efficient by fitting an approximate inference ...

Dark Mode is cool, and TeXt is supporting it. $ x = \frac{-b\pm\sqrt{b^2-4ac}}{2a} $ \[x = \frac{-b\pm\sqrt{b^2-4ac}}{2a}\] \[\begin{align*} a & x^2 +bx+c=0 \\ x & = \frac{-b\pm\sqrt{b^2-4ac}}{2a} \\ A & = \frac{\pi r^2}{2} \\ & = \frac{1}{2} \pi r^2 \\ \end{align*}\]