微软开源的一个视频分词器：VidTok，解决了视频分词时出现训练不稳定和信息丢失的问题，支持连续分词和离散分词。通过分开处理视频画面和动作，在不牺牲视频质量的前提下提升了处理速度。
参考文献：
[1] github：https://github.com/microsoft/VidTok
欢迎支持我的知识星球（NLP工程化）：Dify源码剖析及答疑，Dify对话系统源码，电子书籍报告下载，公众号所有付费资料。若微信群二维码过期，则加微信buxingtianxia21进群。
NLP工程化知识星球
NLP工程化资料群
