大模型面试 - 向量化(Embedding)

文摘   科技   2024-09-18 20:48   湖北  
本合集包含60篇大模型面试文章(机器学习、深度学习、大模型各20篇),共计299微信豆,谢谢您的订阅。 

适合人群:

  1. 在校学生:如果你是在校学生,对AI有浓厚兴趣,并希望通过学习相关内容增强自己的实践能力,以便在未来的实习或工作中脱颖而出,那么大模型的知识将是你简历上的一大亮点。

  2. 职场新人:对于那些刚刚步入职场不久的同学,如果你想通过掌握大模型技术来提升自己的职业竞争力,无论是为了升职加薪还是寻求更好的职业发展机会,这部分内容都将是你的宝贵资产。

  3. 追求效率者:如果你希望通过“偷懒”来节省时间,获取整理好的大模型面试资料和信息,以便更高效地准备面试或学习,那么这些资源将是你的得力助手。

  4. 经验交流者:渴望与行业内的专业人士近距离交流,汲取更多实战经验,获取第一手行业信息的人群,也将从这些内容中受益匪浅。

不适合人群:

  1. 自主学习强者:对于那些已经拥有强大自我学习能力,能够独立完成AI相关知识学习的人来说,这些额外的帮助可能不是必需的。
  2. 非AI领域人士:如果你不准备进入AI相关领域,或者对AI学习没有兴趣,那么这部分内容可能并不适合你。


向量化(Embedding)是一种将离散数据(如单词、图像等)转换为连续向量表示的技术。这些向量通常能够捕捉原始数据之间的语义或结构相似性。

  • 独热编码(One-Hot Encoding):为每个词分配一个唯一的二进制向量,但存在维度灾难和无法表示语义相似性的问题。

  • 词嵌入(Word Embeddings):如Word2Vec、GloVe、FastText等,将每个词映射到一个高维实数向量,这些向量在语义上是相关的。

Embedding

Word2Vec由 Google 的研究人员在 2013 年提出,Word2Vec一种用于自然语言处理(NLP)中词嵌入学习的方法,它能够将单词从词汇表映射到连续的向量空间中,这样词与词之间的相似度就可以通过向量之间的距离(如欧几里得距离或余弦相似度)来衡量。

  1. Skip-Gram:在 Skip-Gram 模型中,目标是利用中心词来预测上下文中的词(即,给定一个词,预测它周围的词)。例如,给定“the cat is on the mat”这句话,并假设“cat”是中心词,Skip-Gram 模型会尝试预测“the”、“is”、“on”和“the”(可能还包括“mat”,取决于上下文窗口的大小)等词。

  2. Continuous Bag of Words (CBOW):与 Skip-Gram 相反,CBOW 模型使用上下文中的词来预测中心词。在同样的例子中,如果使用“the”, “is”, “on”, 和 “the”作为上下文,CBOW 模型会尝试预测出中心词“cat”。

GloVe(Global Vectors for Word Representation)是一种由斯坦福大学的研究团队在2014年提出的无监督学习算法,用于生成词向量。GloVe模型是一种结合了全局词频统计(count-based)和局部上下文窗口(direct prediction)方法的词表征工具。它通过将单词映射到高维向量空间中,使得向量之间的距离能够反映单词之间的语义相似性。

FastText是一种由Facebook AI Research实验室开发的开源库,主要用于文本分类和词向量表示。FastText的核心算法基于连续词袋模型(Continuous Bag of Words, CBOW),并引入了n-gram技术。在FastText中,文本被表示为一个词袋(bag of words),即一个词的集合,并通过n-gram技术将文本中的每个词及其n-gram表示相加,得到文本的向量表示。

ELMo(Embeddings from Language Models)是一种基于语言模型的深度语境化词表征方法,它通过在大规模语料中训练深度双向长短期记忆网络(LSTM)来捕捉句子中的长期依赖关系,并生成高质量的词向量。ELMo与传统的词向量学习方法(如Word2Vec、GloVe等)不同,ELMo生成的词向量不是固定的,而是会根据当前句子的上下文环境进行动态调整。这种动态词向量的特性使得ELMo能够更好地处理一词多义问题。

Embedding

架构师带你玩转AI
分享人工智能,让所有人玩转AI
 最新文章