一、使用 Pipeline 进行语言建模
1. 使用 GPT-2 实现文本生成
from transformers import pipeline# 创建一个文本生成的 Pipelinegenerator = pipeline("text-generation", model="gpt-2")# 生成文本result = generator("Hello, I am an AI model", max_length=50, num_return_sequences=3)print(result)
2. 使用 BERT-Base-Chinese 实现中文补全
from transformers import pipeline# 创建一个填充掩码的 Pipelinefill_mask = pipeline("fill-mask", model="bert-base-chinese")# 执行中文补全result = fill_mask("今天是一个[MASK]的日子")print(result)
二、使用 AutoClass 高效管理 Tokenizer 和 Model
1. 使用 from_pretrained() 方法加载模型和分词器
from transformers import AutoTokenizer, AutoModel# 加载 BERT-Base-Chinese 的 Tokenizer 和 Modeltokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")model = AutoModel.from_pretrained("bert-base-chinese")
2. 使用 BERT Tokenizer 编码文本
# 编码文本inputs = tokenizer("你好，长沙！", return_tensors="pt")print(inputs)
3. 编解码多段文本
# 编码多段文本texts = ["你好", "长沙"]inputs = tokenizer(texts, padding=True, truncation=True, return_tensors="pt")print(inputs)
三、添加新 Token
1. 添加常规 Token
# 添加新 Tokennew_tokens = ["新词汇"]tokenizer.add_tokens(new_tokens)
2. 添加特殊 Token
# 添加特殊 Tokenspecial_tokens_dict = {'additional_special_tokens': ["[NEW_TOKEN]"]}tokenizer.add_special_tokens(special_tokens_dict)
四、保存模型和分词器
1. 保存模型和分词器
# 保存 Tokenizer 和 Modeltokenizer.save_pretrained("./models/new-bert-base-chinese")model.save_pretrained("./models/new-bert-base-chinese")
保存模型时，会在指定路径下生成以下文件：
config.json：模型配置文件，包含模型结构参数。
pytorch_model.bin：模型权重文件，存储模型的权重数据。
保存分词器时，会生成以下文件：
tokenizer.json：分词器元数据文件。
special_tokens_map.json：特殊字符映射配置文件。
tokenizer_config.json：分词器基础配置文件。
vocab.txt：词表文件。
added_tokens.json：新增 Token 的配置文件。
