Word Embedding
一、One-Hot Encoding
例如，假设我们的词汇表为 {“Biscoe”, “Dream”, “Torgensen”}，那么“Biscoe”可以表示为 [1, 0, 0]，“Dream”表示为 [0, 1, 0]，“Torgensen”表示为 [0, 0, 1]。
维度灾难：随着词汇表的增大，向量的维度也会增大，导致计算和存储的复杂度增加。
语义缺失：独热编码无法表达词汇之间的语义关系，因为任何两个不同词汇的向量之间的点积都是0。
二、Word2Vec
Word2Vec是什么？Word2Vec 是由 Google 在 2013 年提出的一种词嵌入技术，它利用神经网络将词汇映射到低维向量空间中。
Word2Vec 有两种主要的模型结构：CBOW（Continuous Bag of Words）和 Skip-Gram。
什么是CBOW（连续词袋模型）？CBOW 模型根据上下文（context）预测当前词（target word）。
CBOW模型类似于一个高级的完型填空游戏，其中上下文中的词汇（已知选项）被用来“填空”预测出缺失的中心词（答案）。
输入层：将上下文词汇的 one-hot 编码作为输入。
投影层：通过一个权重矩阵 W，将输入层的 one-hot 编码转换为连续的向量表示（即嵌入向量）。
隐藏层：对投影层的向量进行平均或求和操作，得到一个上下文向量。
输出层：通过另一个权重矩阵 W' 和 softmax 函数，计算当前词的概率分布。
什么是Skip-Gram（跳字模型）？Skip-Gram 模型则根据当前词预测上下文。
Skip-Gram模型如同一个词汇侦探，通过当前词“线索”去“追踪”并预测其周围的上下文词汇。
输入层：将当前词的 one-hot 编码作为输入。
投影层：通过一个权重矩阵 W，将输入层的 one-hot 编码转换为连续的向量表示（即嵌入向量）。
隐藏层：此层实际上与投影层共用相同的嵌入向量。
输出层：对于每个上下文词汇，通过另一个权重矩阵 W' 和 softmax 函数，计算其概率分布。
为了帮助更多人（AI初学者、IT从业者）从零构建AI底层架构，培养Meta Learning能力；提升AI认知，拥抱智能时代。
建立了 架构师带你玩转AI 知识星球
【架构师带你玩转AI】：公众号@架构师带你玩转AI 作者，资深架构师。2022年底，ChatGPT横空出世，人工智能时代来临。身为公司技术总监、研发团队Leader，深感未来20年属于智能时代。
