命名实体识别（NER）是自然语言处理（NLP）的一个重要组成部分。NER 有助于识别和分类给定文本输入中预定义的实体，如名称、日期、地点等。然而，开发既高效又有效、能够处理复杂输入并在不同领域良好泛化的 NER 解决方案是一项困难且具有挑战性的任务。
然而，一个定制的 NER 模型可以是一个非常有用的信息提取工具。实现这一目标的方法包括训练传统的机器学习 NER 模型和微调大型语言模型（LLM）。
命名实体识别（NER）常用于从各种行业领域的非结构化文本中提取重要信息。例如，在医疗保健领域，它有助于从临床记录中提取患者详细信息，从而实现更好的患者管理。
为了支持金融行业的市场分析，NER 有助于从新闻条目中提取重要的金融事件。客户关怀系统使用 NER 来有效地处理和路由消费者查询。这些用例展示了 NER 系统在实际场景中的关键性和可靠性。
无论是基于传统机器学习还是基于LLM的模型，这两种方法都有自己的挑战。包括：
一种解决这些问题的潜在方案是基于检索增强生成（RAG）的方法。RAG 模型结合了检索和生成技术的优势：
让我们考虑一个假设的情况，其中一家律师事务所实施了一个基于 RAG 的 NER 系统来从合同中分类和识别法律实体。
最初，创建了一个包含各种法律术语和上下文的小型高质量标注示例集。检索系统使用 Pinecone 根据输入文本检索相关示例。
通过将这些示例与用户的输入相结合，并使用 GPT-4 进行生成，该事务所观察到其 NER 系统的准确性和灵活性显著提高，同时减少了大量再训练的需求。
虽然基于 RAG 的命名实体识别具有许多优点，但考虑一些潜在缺点也很重要：
本质上，基于 RAG 的命名实体识别系统允许您仅用少量高质量样本创建自定义 NER 模型。然后，该模型利用其检索能力根据用户的特定输入找到相关的支持示例。这显著减少了构建有效 NER 系统所需的时间、成本和资源。
通过结合人类在制作相关示例方面的专业知识与检索和生成的力量，RAG 为构建既高效又灵活的定制 NER 模型提供了一种有前景的方法。
参考：https://www.useready.com/blog/rag-powered-ner-a-primer-on-building-custom-models
