工具与测评 | GPT-4o 更快了，但也更脏了

"你好，我的名字是GPT-4o"

[177519, 40824, 1616, 103582, 3221, 162016, 12, 19, 78]

我爱自然语言处理

['我', '爱', '自然语言处理']

['我', '爱', '自', '然', '语', '言', '处', '理']

['我', '爱', '自然', '语言', '处理']

- The LLaMA tokenizer is a BPE model based on sentencepiece.- Construct a ChatGLM tokenizer. Based on byte-level Byte-Pair-Encoding.- Qwen-7B uses BPE tokenization on UTF-8 bytes using the tiktoken package.- Construct a BaiChuan tokenizer. Based on byte-level Byte-Pair-Encoding.- Construct a InternLM2 tokenizer. Based on byte-level Byte-Pair-Encoding.- Construct a Gemma tokenizer. Based on byte-level Byte-Pair-Encoding. - llama3 Tokenizing and encoding/decoding text using the Tiktoken tokenizer.- Mistral-7B  Byte-fallback BPE tokenizer - ensures that characters are never mapped to out of vocabulary tokens.- Phi Construct a CodeGen tokenizer. Based on byte-level Byte-Pair-Encoding.- HunYuanTokenizer ByteLevelBPETokenizer

我爱北京天安门，天安门上太阳升。

词表:['我','爱','北','京','天','安','门',',','上','太','阳','升','。'] 
token对出现频率: ('天','安'): 2 ('安','门'): 2 ('北','京'): 1 ('京','天'): 1 ('门',','): 1 (',','天'): 1 ('上','太'): 1 ('太','阳'): 1 ('阳','升'): 1 ('升','。'): 1
选择('天','安')合并为'天安',得到新的词表: ['我','爱','北','京','天安','门',',','上','太','阳','升','。']

词表:['我','爱','北','京','天安','门',',','上','太','阳','升','。'] 
token对出现频率: ('天安','门'): 2 ('北','京'): 1('京','天安'): 1 ('门',','): 1 (',','天安'): 1 ('上','太'): 1 ('太','阳'): 1 ('阳','升'): 1 ('升','。'): 1
选择('天安','门')合并为'天安门',得到新的词表: ['我','爱','北','京','天安门',',','上','太','阳','升','。']

enc_4o = tiktoken.encoding_for_model("gpt-4o")enc_4 = tiktoken.encoding_for_model("gpt-4")print(enc_4o.n_vocab)print(enc_4.n_vocab)

200019100277

token_dict_4o = get_chinese_token(enc_4o)token_dict_4 = get_chinese_token(enc_4)
values1 = set(token_dict_4o.values())values2 = set(token_dict_4.values())intersection = values1 & values2
print(len(token_dict_4o), len(token_dict_4), len(intersection))

7563 868 827

text = """腾讯控股5月14日发布2024年第一季度财报，受益于新芽业务快速成长和传统业务聚焦提效，腾讯2024年开局保持高质量增长，毛利劲增23%。财报显示，2024年第一季度腾讯实现营收1595.01亿元，毛利838.7亿元，经营利润586.19亿元，净利润502.65亿元，毛利、经营利润以及净利润增速均持续跑赢收入增速，盈利质量显著提升。重点业务板块上，腾讯的广告、企业服务等核心业务找到新打法，视频号、小程序、SaaS等新芽业务集体爆发新能量，共同驱动了业绩增长。一季度腾讯已累计回购达到148亿港元，日均回购金额达8.24亿港元，创历史新高。腾讯董事会主席兼首席执行官马化腾表示，一季度公司在本土市场和国际市场的数款头部游戏中的团队调整初见成效，游戏总流水实现增长，为未来几个季度游戏收入恢复增长打下基础。公司持续培育高质量的收入来源，包括微信视频号及搜一搜广告、小游戏平台服务费及视频号商家技术服务费，推动了公司毛利和经营盈利增幅超过收入增幅。公司致力于将盈余资本回馈股东，加大回购力度，按计划执行2024年超千亿港元的股份回购，提升股息，同时致力于持续投资于AI技术、提升平台及生产高价值内容。"""print(len(enc_4o.encode(text)))print(len(enc_4.encode(text)))

348562

[' 生命周期函数', ' 自动生成', ' 生命周期', '微软雅黑', '监听页面', '不能为空', ' 初始化', '無しさん', '删除成功', '管理员', '验证码', ' 删除', '��态', '命周期', ' 参数', '字符串', '用户名', ' 用户', '��加', '手机号', '请输入', '�始化', ' 设置', '初始化', ' 默认', '动生成', '無し�', '软雅黑', ' 是否', ' 数据', ' 若要', ' 返回', ' 更新', '设计器', ' 输入', ' 添加', ' 时间', ' 输出', '不存在', ' 页面', '��取', '��作', '��索', ' 下午', '，默认', ' 如果', ' 修改', '数据库', ' 示例', ' 使用']

[' 微信公众号天天中彩票', ' 微信上的天天中彩票', ' 微信里的天天中彩票', ' 天天中彩票大神推荐', 'VIPがお送りします', '给主人留下些什么吧', '无码不卡高清免费v', ' 大发快三开奖结果', ' 天天中彩票一等奖', ' 天天中彩票APP', ' 天天中彩票nba', ' 大发快三大小单双', '大发展有限公司官网', ' 天天中彩票公众号', ' 天天中彩票不中返', ' 天天爱彩票app', ' 天天中彩票双色球', ' 彩神争霸官方下载', ' 中国福利彩票天天', ' 手机版天天中彩票', ' 天天中彩票app', ' 全民彩票天天送钱', ' 手机上天天中彩票', ' 天天中彩票中奖了', ' 天天彩票与你同行', ' 彩神争霸大发快三', '久久免费热在线精品', ' 天天中彩票怎么买', ' 天天中彩票中大奖', ' 天天中彩票是不是', ',最新高清无码专区', ' 天天中彩票为什么', ' qq的天天中彩票', ' 微信的天天中彩票', ' 天天中彩票不能买', ' 天天中彩票官网', ' 大发快三是不是', ' 天天中彩票篮球', '无码一区二区三区', ' 彩神争霸电脑版', ' 天天中彩票不能', ' 彩神争霸大发快', ' 天天中彩票在哪', ' 天天中彩票中了', '精品一区二区三区', ' 海南天天中彩票', ' 天天大奖彩票站', ' 天天中彩票软件']

del enc_4o._mergeable_ranks[b'\xe7\xbb\x99\xe4\xb8\xbb\xe4\xba\xba\xe7\x95\x99\xe4\xb8\x8b\xe4\xba\x9b\xe4\xbb\x80\xe4\xb9\x88\xe5\x90\xa7']my_enc = tiktoken.Encoding(name="custom",    pat_str=r"""'s|'t|'re|'ve|'m|'ll|'d| ?[a-z]+| ?[0-9]+| ?[^\s]+| ?\s+""",    mergeable_ranks=enc_4o._mergeable_ranks,    special_tokens={})my_enc.encode("给主人留下些什么吧")

[176738, 140893]