WXRedian | GiantPandaCV

公众号 GiantPandaCV

周期

共找到 17 条记录

OpenAI o1 技术初探2：使用MCTS增强推理能力（基于代码实践的解读）

科技 2024-10-27 22:40 四川

在o1的整体框架篇中（https://zhuanlan.zhihu.com/p/773907223），我们从现有开源的论文和代码中（https://github.com/h ...

【ml-engineering 翻译系列】AI系统中的网络概述

科技 2024-10-25 21:50 日本

我的课程笔记，欢迎关注：https://github.com/BBuf/how-to-optim-algorithm-in-cuda/tree/master/cuda-mo ...

【ml-engineering 翻译系列】大模型推理

科技 2024-10-24 23:55 日本

我的课程笔记，欢迎关注：https://github.com/BBuf/how-to-optim-algorithm-in-cuda/tree/master/cuda-mo ...

【翻译】使用PyTorch FSDP和Torch.compile最大化训练吞吐量

科技 2024-10-23 11:43 日本

博客链接：https://pytorch.org/blog/maximizing-training-throughput/。博客由 IBM 的 PyTorch 团队和 Me ...

课程升级、资源加码！万人共学的书生大模型实战营第4期正式起航！

科技 2024-10-22 16:25 日本

不知不觉间，书生大模型实战营已迎来第四期！回顾前三期，累计超过 15W 人次踊跃参与，涌现出像「InternDog」和「销冠——卖货主播大模型」这样的明星项目，感谢社区小伙 ...

OpenAI o1 技术初探1：整体框架，利用Test-Time Scaling Law提升逻辑推理能力

科技 2024-10-21 14:26 日本

前段日子OpenAI推出的o1模型，以其提升显著的逻辑推理能力，引发了人们对它背后训练方法的热烈讨论。关于o1的介绍和输出结果demo，这里就不再赘述，大家可以去opena ...

【翻译】使用PyTorch FSDP最大化训练吞吐量

科技 2024-10-20 19:58 四川

博客链接：https://pytorch.org/blog/maximizing-training/ 。博客由 IBM 的 PyTorch 团队和 Meta 的 PyTor ...

图文详解 Continuous Batch：不写 CUDA Kernel 也能成倍优化推理效率

科技 2024-10-18 18:02 日本

在“开席”之前，咱们先来热热身！看看下面大模型推理调度的“高频面试题”，你能答上来几道？1.调度策略有哪些？各有什么优缺点2.什么时候会触发调度？3.Continuous ...

CUDA-MODE 课程笔记第14课，Triton 实践指南

科技 2024-10-17 18:30 日本

我的课程笔记，欢迎关注：https://github.com/BBuf/how-to-optim-algorithm-in-cuda/tree/master/cuda-mo ...

【翻译】CUDA-Free Inference for LLMs

科技 2024-10-16 09:20 四川

blog链接：https://pytorch.org/blog/cuda-free-inference-for-llms/无CUDA的LLM推理作者：Adnan Hoque ...

揭秘 PagedAttention（上）：如何管理 Paged KV Cache

科技 2024-10-15 12:18 日本

在开始之前，给大家出几个“高频面试题”，可以先思考下：1. 朴素实现的 KV Cache 为什么会带来显存浪费，用什么方法来解决？2. 每个请求长度都不一样，如何让它的 K ...

图解KV Cache：加速大模型推理的幕后功臣

科技 2024-10-14 15:34 日本

在开始之前，给大家出几个“高频面试题”，看看你能答上来吗？1. 举例说明 KV Cache 的计算过程2.为什么要用 KV Cache？它能解决什么问题，代价又是什么？3. ...

Flex Attention API 应用 Notebook 代码速览

科技 2024-10-13 18:24 日本

对FlexAttention的常见API的使用方法做一个解读，博客来源：https://github.com/pytorch-labs/attention-gym/blob ...

将GLM-4-Plus大模型应用到Cursor中

科技 2024-10-12 00:00 日本

0x0. 前言笔者关注智谱很久了，对智谱的模型也很心动，一方面动力不足，另一方面限于token等问题一直没来得及体验，没想到国庆月的到来，智谱直接发出了“绝杀技能”。智谱开 ...

大语言模型推理，用动画一看就懂！

科技 2024-10-09 22:35 日本

这是《vLLM 深入浅出》系列的第一篇，用动画带你直观了解大语言模型推理的秘密，并解锁其中的三个核心挑战。大语言模型的推理过程假设输入的 prompt 是 "The fut ...

【翻译】【PyTorch 奇技淫巧】FlexAttetion 基于Triton打造灵活度拉满的Attention

科技 2024-10-08 21:14 日本

blog链接：https://pytorch.org/blog/flexattention/ 代码示例：https://github.com/pytorch-labs/at ...

【翻译】torch.compile 的详细示例解析教程

科技 2024-10-07 22:34 日本

教程链接：https://depyf.readthedocs.io/en/latest/walk_through.htmltorch.compile 的详细示例解析本教程旨 ...

GiantPandaCV

专注于大语言模型，CUDA，编译器，工程部署和优化等多个方向技术分享。我们不仅坚持原创，也规范转载知乎大佬们的高质量博文。希望在传播知识、分享知识的同时能够启发你，在人类通往AGI的道路上互相帮助(･ω\x26lt;)☆

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉