From燣anguage燤odeling炉o燣anguage.PDF

From Language Modeling to Language Generation Lili Mou doublepower.mou@ Outline ● Language Modeling ● Neural Language Models ● Sequence to Sequence Generation ● Backward and Forward Language Modeling ● Discussion Language Modeling ● Given a corpus ● The goal is to maximize Language Modeling ● Given a corpus ● The goal is to maximize ● Can we decompose any probabilistic distribution into this form? Yes. ● Is it necessary to decompose a probabilistic distribution into this form? No. Markov Assumption ● A word is dependent only on its previous n­1 words and independent of its position, I.e., provided the previous n­1 words, the current word is independent of other random variables. Multinomial Estimate ● Maximum likelihood estimation for a multinomial distribution is merely counting. ● Problem: #para grows exp. w.r.t. n Outline ● Language Modeling ● Neural Language Models ● Sequence to Sequence Generation ● Backward and Forward Language Modeling ● Discussion Parametrizing LMs with Neural Networks ● Each word is mapped to a real­valued vector, called embeddings. ● Neural layers capture context information (typically previous words). ● The probability p(w|.) is predicted by a softmax layer. Feed­Forward Language Model The Markov assumption also holds. Recurrent Neural Language Model ● RNN keeps one or a few hidden states ● The hidden states change at each time step according to the input ● RNN directly parametrizes rather than Language Generation from LMs ● Max a posteriori: choose the most likely words – Greedy