WXRedian | Halo咯咯

Snowflake 和 CMU 的研究人员推出 SuffixDecoding：一种通过推测解码加速LLM推理的新型无模型方法

文摘 2024-11-15 07:45 福建

来自Snowflake AI Research和卡内基梅隆大学，推出了一种名为SuffixDecoding的无模型方法，以加速大型语言模型（LLM）的推理。该方法利用基于先 ...

LLM微调的关键要点：如何打造高效、可靠的AI模型

文摘 2024-11-14 07:46 福建

.01概述在人工智能（AI）领域，近年来大规模语言模型（LLM）的发展给我们带来了巨大的惊喜。无论是文本生成、翻译、摘要，还是问答任务，LLM都表现出了强大的多功能性。然而 ...

TinyTroupe ：微软提供的一个实验性 Python 库，可以模拟具有特定个性、兴趣和目标的人。

文摘 2024-11-14 07:46 福建

TinyTroupe是一个实验性的Python库，旨在模拟具有特定个性、兴趣和目标的人物（称为TinyPersons），通过利用大型语言模型（如GPT-4）生成逼真的行为。 ...

LLM提示工程手册：如何优化LLMs以获得最佳结果

文摘 2024-11-14 07:46 福建

该文档旨在帮助读者提高与后训练大型语言模型（LLMs）互动的能力，假设读者对LLMs有基本了解，但不要求具备严格的技术背景。文档前半部分提供了关于后训练和提示的思维模型，后 ...

RAGCache：让RAG系统更高效的多级动态缓存新方案

文摘 2024-11-13 07:45 福建

.01概述在当下的AI研究中，检索增强生成（RAG）技术正在逐步提升大型语言模型（LLM）的知识运用能力，帮助它们结合外部知识生成更加准确、符合现实的文本。然而，RAG系统 ...

LocalAI：免费开源的OpenAI替代品，轻松实现本地推理

文摘 2024-11-13 07:45 福建

LocalAI是一个免费的开源替代方案，旨在作为OpenAI API的直接替代，支持本地推理。用户只需在消费级硬件上运行该工具，即可实现大语言模型（LLM）、图像生成和音频 ...

LOTUS：一个将自然语言与数据查询完美结合的创新引擎

文摘 2024-11-12 21:58 福建

LOTUS（LLMs Over Tables of Unstructured and Structured Data）是一个查询引擎，旨在通过语义操作符为结构化和非结构化数 ...

超越 Text2SQL：TAG 如何解决复杂查询挑战

文摘 2024-11-12 21:58 福建

Table-Augmented Generation (TAG) 是一种统一的通用范式，旨在通过数据库回答自然语言问题。TAG 模型探索了语言模型与数据库之间多种未曾研究的 ...

探索 mcdse-2b-v1：全新高效的多语言文档检索模型

文摘 2024-11-12 21:58 福建

.01概述在信息时代的浪潮中，各类数据以惊人的速度不断产生，涵盖文档、演示文稿、图像等多种格式。这些信息的多样性为有效检索带来了巨大的挑战。传统的检索模型在处理纯文本查询时 ...

解锁图像数据的商业价值：Cohere推出Multimodal Embed 3

文摘 2024-11-12 12:05 福建

.01概述在当今这个互联互通的世界，能够同时理解和处理多种信息类型显得尤为重要。这不仅是人工智能发展的关键，也是推动商业智能化的重要一步。然而，传统的AI模型在跨文本与图像 ...

Weaviate：开源向量数据库重塑AI应用开发

文摘 2024-11-12 12:05 福建

Weaviate 是一个开源的向量数据库，能够同时存储对象和向量，结合向量搜索与结构化过滤，具备云原生数据库的容错性和可扩展性。该数据库设计为快速、强大且可扩展，目的是简化 ...

Chai-1：一种用于分子结构预测的多模态基础模型

文摘 2024-11-12 12:05 福建

Chai-1 是一种用于分子结构预测的多模态基础模型，在各种基准测试中均表现出最先进的性能。Chai-1 能够统一预测蛋白质、小分子、DNA、RNA、糖基化等。参考：htt ...

如何让大型语言模型部署更高效？Run:ai Model Streamer的革命性突破

文摘 2024-11-11 07:45 福建

.01概述在人工智能的迅速发展中，大型语言模型（Large Language Models，简称LLMs）正成为各类应用的核心。然而，面对强大模型带来的复杂计算需求，如何高 ...

Mixture of Experts模型面临安全挑战：新型泄漏攻击解析

文摘 2024-11-11 07:45 福建

Google DeepMind的研究人员提出了MoE Tiebreak泄漏攻击，通过操控MoE路由行为来推断用户提示，该方法利用了模型在平局决策中的确定性行为，从而泄露提示 ...

突破传统！MIT的HPT模型助力机器人适应多任务环境

文摘 2024-11-11 07:45 福建

麻省理工学院（MIT）和Meta的研究团队提出了一种新的框架，称为异构预训练变换器（HPT），旨在通过从异构数据中可扩展地学习来提升机器人学习能力。HPT的主要功能是创建一 ...

引入上下文检索(Contextual Retrieval)：提升AI模型的精准度与效率

文摘 2024-11-10 07:45 福建

.01概述在当今的数字时代，人工智能（AI）模型的应用场景越来越广泛，从客户支持聊天机器人到法律分析助手，每一种应用都需要准确的背景知识。为了让AI在特定环境中更有用，开发 ...

实现上下文检索：提升文档处理的智能化的开源代码

文摘 2024-11-10 07:45 福建

该代码实现了 Anthropic 的上下文检索功能，结合了 LlamaParse 的高级模式。与 Anthropic 博客（https://www.anthropic.co ...

AMD 发布 AMD-135M：AMD 第一个小型语言模型系列。

文摘 2024-11-10 07:45 福建

AMD 最近推出了其首个小型语言模型 AMD-135M（或 AMD-Llama-135M），该模型基于 LLaMA2 架构，拥有 1.35 亿个参数，专为 AMD 最新的 ...

DeepSeek AI发布Janus：一款拥有图像生成能力的1.3B多模态模型

文摘 2024-11-09 07:45 福建

.01概述在当今人工智能的浪潮中，多模态模型的崛起为我们带来了前所未有的创新可能性。最近，DeepSeek AI推出了其最新力作——Janus，这是一款具备强大图像生成能 ...

Llama 如何帮助 CodeGPT 成为顶级人工智能编码助手之一

文摘 2024-11-09 07:45 福建

.01概述在当今科技飞速发展的时代，编程助手的角色愈发重要，而CodeGPT正是这场变革中的佼佼者。作为Visual Studio Code和JetBrains等集成开发环 ...