今日开源(2024-09-27):ProX自动清洗预训练数据,语言模型编程,节省20倍计算量,突破传统数据优化瓶颈

文摘   2024-09-27 18:07   北京  


🛠️框架平台、必备工具

①项目:ProX

ProX 是一个基于语言模型的数据优化框架,旨在提升用于预训练大语言模型的数据质量。不同于依赖人工专家创建规则,ProX 将数据优化视为编程任务,使模型能够在大规模上自动清理和改进每个数据示例。ProX 优化的数据经过文档级和块级两层编程和执行,显著提升了模型的性能和领域适应性。

☆一键收藏:

https://sota.jiqizhixin.com/project/prox


②项目:show-me

Show-Me 是一个开源应用程序,旨在提供传统大型语言模型(LLM)交互的可视化和透明替代方案。它将复杂问题分解为一系列有理有据的子任务,使用户能够理解 LLM 的逐步思考过程。该应用程序使用 LangChain 与 LLM 交互,并通过动态图形界面可视化推理过程。

☆一键收藏:

https://sota.jiqizhixin.com/project/show-me


③项目:LLM-Dojo

LLM-Dojo是一个开源的大模型学习场所,提供简洁且易于阅读的代码来构建模型训练框架,支持多种主流模型如Qwen、Llama、GLM等。项目还包括RLHF框架(如DPO、CPO、KTO、PPO等),旨在使用户能够轻松学习和构建自己的模型训练和强化学习框架。

☆一键收藏:

https://sota.jiqizhixin.com/project/llm-dojo


④项目:Curiosity

Curiosity是一个实验性项目,旨在探索使用LangGraph和FastHTML技术栈构建类似Perplexity的用户体验。核心是一个简单的ReAct Agent,使用Tavily搜索增强文本生成。项目支持多种大型语言模型(LLMs),并注重前端的视觉和交互体验。

☆一键收藏:

https://sota.jiqizhixin.com/project/curiosity


⑤项目:HelloBench

HelloBench是一个开源基准测试工具,旨在评估大语言模型(LLMs)的长文本生成能力。该项目包含完整的测试数据集和评估代码,数据集来源于Quora和Reddit等平台,提供多样化的真实世界挑战来评估LLM的性能。

☆一键收藏:

https://sota.jiqizhixin.com/project/hellobench


🏆 基座模型

①项目:Time-MoE

Time-MoE 是一组基于专家混合架构的解码器时间序列基础模型,设计用于自回归操作,能够进行任意预测范围和最长4096的上下文长度的通用预测。该架构采用稀疏的混合专家(MoE)设计,通过引入新的大规模数据集Time-300B进行预训练,成功将时间序列基础模型扩展到超过2.4亿参数,显著提高了计算效率,降低了预测成本。

☆一键收藏:

https://sota.jiqizhixin.com/project/time-moe


👋网页端访问:https://sota.jiqizhixin.com

欢迎扫码加入社群
交流LLM推理与微调、Agent/RAG应用构建开发经验


机器之心SOTA模型
追踪 AI 开源进展,探索先进开发实践。
 最新文章