一款适合需要实时数据处理或构建AI应用场景的数据处理工具:Pathway,可以处理实时数据、分析、LLM和RAG数据。
能处理实时数据流也能处理历史数据,一套代码用于两种场景 底层用Rust开发,速度快,支持多线程和分布式处理 集成能力强可以连接多种数据源,支持主流LLM及常用AI工具
参考文献:
[1] github:https://github.com/pathwaycom/pathway
[2] https://pathway.com/
欢迎支持我的知识星球(NLP工程化):Dify源码剖析及答疑,Dify对话系统源码,电子书籍报告下载,公众号所有付费资料。若微信群二维码过期,则加微信buxingtianxia21进群。
NLP工程化知识星球
NLP工程化资料群