以大型语言模型为特征的生成式AI，如ChatGPT，几乎可以取代传统的自然语言处理技术，具备丰富而复杂的知识表达能力，对话和问答能力远超基于关键字查询的搜索体验，这给传统搜索引擎公司带来了巨大冲击。
大型语言模型的发展势头不可阻挡。对于搜索引擎技术公司来说，这是一个巨大的挑战。然而，Elastic作为企业搜索技术和方案供应商，给出了应对方案。综合新闻报道和我们在项目中的相关实践，我们可以看到和体会到这个搜索技术公司的灵巧转型。
对大型语言模型的局限性的认识：Elastic认识到当前大型语言模型（LLMs）在内容生成、自然语言处理、对话和提供代码示例等方面表现出色。然而，大模型的表现受限于所训练的公共数据集，并且在处理特定数据集的问题时可能会出现幻觉，产生错误的输出。此外，对基础LLM进行特定领域微调的成本高昂，并且托管定制模型也昂贵。
具有普遍性的企业高价值案例作为突破口：Elastic发现企业用户通常有基于特定内容进行问答的场景，他们将其称为“Question Context Windows”。这意味着将极为有限的私有内容（上下文窗口）和原始问题发送给基础大模型以获取答案，并将答案限制在上下文窗口所描述的范围内。在这种场景下，大模型的自然语言能力得到充分发挥，大模型产生错误幻觉的问题被抑制，企业数据可以快速应用，且无需进行微调和维护定制大模型。
技术升级：Elastic对其架构和算法进行了以向量搜索为核心的升级。长期以来，基于关键字匹配的搜索结果排序算法已无法满足用户需求。Elastic早就认识到这个问题，并在Elasticsearch Relevance Engine（ESRE）中内置了向量数据库，支持基于向量嵌入的语义搜索，该功能已商用化。向量搜索可以与传统搜索能力混合使用。这此外，Elastic开发了原生模型（Native Transformer Models），同时提供了与OpenAI、Google、HuggingFace等第三方和客户定制模型集成的能力，可用于向量嵌入和搜索结果排序，同时提升客户应用中的其他自然语言处理任务（如情感分析和命名实体识别）以及机器学习任务（如分类、聚类、识别和异常检测）的性能。
"世界潮流，浩浩荡荡，顺之者昌，逆之者亡"。从Elastic Search可以看出搜索技术公司积极转型的努力。他们顺势而为，发现了大型模型的局限（领域数据获取、错误幻觉和昂贵的模型微调与维护），并找到了机会（Question Context Windows），发展了相应的技术（向量搜索）。同时，他们也利用大型语言模型技术的发展来进一步增强其基础技术能力（混合搜索、第三方模型集成用于提升NLP和机器学习功能）。
"数据为本，内容为王"。尽管基于关键字搜索的体验在新的AI时代可能不如自然语言问答和对话体验，但从技术角度来看，对数据和信息的搜索仍然非常重要，并且与生成式AI技术相结合，可以解决一些大型模型无法或不擅长解决的问题。
主要参考资料：
VentureBeat: Elasticsearch Relevance Engine brings new vectors to generative AI
Elastic: Elasticsearch Relevance Engine™ (ESRE) , Powering the generative AI era
Elastic: Machine Learning/AI with Elastic by Matt Riley, Elastic investor keynote, 04.12.2023
