生成词向量之GloVe

生成词向量之GloVe

在前一篇教程中,我们介绍了Word2Vec模型,这是一个非常流行的生成词向量的方法。今天,我们将继续探讨一种替代的词向量生成方法——GloVe(Global Vectors for Wor

阅读更多
只生成语言模型之N-gram模型

只生成语言模型之N-gram模型

在前一篇的教程中,我们探讨了词向量模型中的GloVe,其核心是将词语映射到高维空间中,使得词语之间的相似性能够通过向量之间的距离来体现。而在这一篇中,我们将关注于生成语言模型,具体来说是N-gra

阅读更多
只生成语言模型之RNN与LSTM

只生成语言模型之RNN与LSTM

在前一篇中,我们讨论了语言模型中的N-gram模型,它通过基于词的n个前一个词的条件概率来捕捉语言的统计特性。然而,N-gram模型存在词汇稀疏和上下文信息不足的问题。在这篇文章中,我们将深入探讨

阅读更多
生成语言模型之Transformers

生成语言模型之Transformers

在上一篇文章中,我们探讨了语言模型的历史和发展,特别是RNN(递归神经网络)和LSTM(长短期记忆网络)的工作原理。这些模型在自然语言处理(NLP)领域取得了显著的成就,但是随着需求的不断增加和数

阅读更多