Skip to content

Latest commit

 

History

History
55 lines (51 loc) · 4.39 KB

README.md

File metadata and controls

55 lines (51 loc) · 4.39 KB
Raw

Encode Sentences into Gaussian Mixture for Unsupervised Sentence Similarity

  • あるいは： Variational AutoEncoder meets Gaussian Mixture

目的

  • 文の 類似性 を捉える，完全教師なし表現学習の方法を考える
  • つまり，以下の条件を満たす sentence encoder を構築したい
    • 生コーパスのみを用いて学習可能
    • 文ペアの同義性，意味の類似性，内容の類似性を評価可能

背景

  • 文間類似性の評価は，情報検索・文書分類・文間関係識別などの基礎をなす技術である
  • 教師あり学習を用いる場合は，アノテーションのコストがかかる
    • 言語やドメインに応じてコーパスを作る必要がある(ex. Semantic Textual Similarity)
  • 教師なし学習も数多く提案されている．特にWord Mover's Distanceに基づく手法[Kusner et al., 2015]は有力だが，語順や文脈の考慮ができない，単語重み付けの方法がheuristicである，といった課題を抱えている
  • 最適輸送理論(=OMT)の進展により，確率分布間の距離を目的関数に含めることで，性能を改善できる事例が報告されている(WGAN[ARJOVSKY et al., 2017]，WAE[TOLSTIKHIN et al., 2018])．確率分布の距離計量という発想を，文間類似性タスクに持ち込む

新規性

  • 提案手法は，Word Mover's Distance：最適輸送理論(=OMT)に基づく手法，の改善版である
  • 具体的には，Stacked BiLSTM Encodrが，tokenごとにgaussian distributionを出力する．従って，文はgaussian mixtureにEncodeされる
  • 文間の距離は，gaussian mixtureペアの距離として与える．これをapproximated wasserstein distanceで定量化する
  • WMDに基づく手法に対する長所は，以下の通り
    • 語順を考慮できる
    • 文脈を考慮して，単語の表現および重み付けを出力できる
    • 不確実性を考慮できる（？）[Athiwaratkun et al., 2018]
      • point vector ではなく distribution に写像するので，uncertaintyが考慮できる…という理屈

提案手法

  • Variational AutoEncoderの枠組みを採用
    • Encoder: Stacked Bi-LSTM
      • $x_{1:T} \rightarrow {\alpha_t,\mu_t,\Sigma_t}_{t=1}^{T}, p(z|x)=\sum_t{\alpha_t \phi(z;\mu_t,\Sigma_t)}$
    • Regularizer: approximated wasserstein distance
      • $d(p_{\theta}(z|x),q(z))$
      • $q(z) = \frac{1}{N_K}\sum_k{\phi(\mu_k,\sigma^2 I)}$ # prior distribution
    • Sampler: gumbel-softmax trick + reparametrization trick
      • $Z_i = {z_{i,s}}^{N_S}{s=1}; z{i,s} \sim p(z|x_i); N_S > 1$
      • mixture component choice を gumel-softmax で近似，gaussian sampler を reparametrization で代替
    • Decoder: Input-less LSTM[Bowman et al., 2016] + Attention
      • $p_\psi(x_{i,t}|Z_i) = softmax(MLP(h_t))$
      • $h_t, c_t = LSTM(v_t, h_{t-1})$
      • $v_t = Attn(q_t, Z_i)$ # {query, key&value} pair
      • $q_t = MLP([h_{t-1},c_{t-1}])$
    • Objective: reconstruction cost + regularization cost + smoothing cost (optional)
      • $l(\theta,\psi|x_i) = -E_{Z \sim p_\theta(z|x_i)}[lnp_{\psi}(x_i|Z)] + \gamma_d d(p_{\theta}(z|x_i),q(z)) + \gamma_\alpha KL(p_{\theta}(\alpha|x_i)||q(\alpha))$
  • 文ペア $(x,y)$ の距離は，wasserstein distance を gaussian mixture に特化した近似計算(=approximated wasserstein distance)を採用
    1. distance matrix $K$ を解析的に計算[Takatsu 2011]
      • $k_{t,t'} = W_2^2(N(\mu_t^X,\Sigma_t^X), N(\mu_{t'}^Y,\Sigma_{t'}^Y)) = ||\mu_t^X-\mu_{t'}^Y||2^2+tr(\Sigma_t^X+\Sigma{t'}^Y-2((\Sigma_t^X)^{\frac{1}{2}} \Sigma_{t'}^Y (\Sigma_t^X)^{\frac{1}{2}})^{\frac{1}{2}} )$
      • covariance matrix が diagonal matrix の場合は，より簡潔な式になる
        • $W_2^2(N(\mu_t^X,diag(\sigma_t^X)), N(\mu_{t'}^Y, diag(\sigma_{t'}^Y))) = ||\mu_t^X-\mu_{t'}^Y||2^2 + ||\sigma_t^X-\sigma{t'}^Y||_2^2$
    2. 最適輸送問題を凸最適化に緩和したバージョンを，Sinkhorn algorithm[Cuturi 2013]を用いて計算
      • $d(x,y)=\sum_{t,t'}k_{t,t'}\pi^{*}_{t,t'}$
      • $\pi^{*}=min_{\pi \in \Pi(\alpha^X,\alpha^Y)}{\sum_{t,t'}k_{t,t'}\pi_{t,t'}-\frac{1}{\lambda}H(\pi)}$
    • Sinkhorn algorithmを用いると $\pi^{*}$ は線形演算の反復で求められる．従って微分可能性が担保される
  • approximated wasserstein distance は，VAEの学習および，文間距離の推論の両方で用いる
    • VAEの学習： $d(p_{\theta}(z|x),q(z))$
    • 文間距離： $s(x,y)=d(p_{\theta}(z|x),p_{\theta}(z|y))$