WXRedian | 包包算法笔记

公众号包包算法笔记

周期

共找到 14 条记录

大模型对齐中的各种loss讲解

文摘 2024-11-19 08:37 北京

作者：ybq原文：https://zhuanlan.zhihu.com/p/6290579087从这篇文章开始，我会不定期分享利用 OpenRLHF 学习 RLHF 的一些 ...

微调图像大模型的经验分享

文摘 2024-11-18 20:46 中国香港

作者：lym原文：https://zhuanlan.zhihu.com/p/890327005如果可以用prompt解决，尽量用prompt解决，因为训练（精调）的模型往往 ...

人人都能看懂的RL-PPO理论知识

文摘 2024-11-18 20:46 中国香港

在去年的这个时候，我以deepspeed-chat的代码为例，解读了rlhf运作的流程。当时写这篇文章的目的，主要是想让读者在没有强化学习知识的情况下，能从直觉上快速理解这 ...

热门校招字节开奖，大模型50K*15！准备接了

文摘 2024-11-15 09:00 北京

本文是2023年中文章大模型来自面试的一些体会和分享，2024年中文章大模型来自面试的体会和分享 2024版的续续集。大模型校招的薪资在2024年秋季年首次亮相，相比去年2 ...

个人从零预训练1B LLM心路历程

文摘 2024-11-14 10:00 中国香港

前言项目开始于2024年3月初，当时朋友搞到了一台不知道能用多久的A100。这么棒的机器放着也是浪费，就琢磨着尝试从零训练一个小型号的LLM。其实在当时就有不少些这种“从零 ...

代码大模型OpenCoder技术报告解读

文摘 2024-11-14 10:00 中国香港

最近由M-A-P、无限光年、墨尔本大学、复旦大学等机构共同开发的OpenCoder开源了模型和部分数据，并且后续还会有更多资料放出。先来学习下技术报告的内容。目前各个规模和 ...

SFT洗数据，有多少细节？

文摘 2024-11-13 08:41 北京

作者：ybq链接：https://zhuanlan.zhihu.com/p/6497090767最近在清洗 sft 的数据，不得不说这工作是真磨人啊，细节多到让人抓狂。可 ...

LSTM依然能打！原作者带队最新开源成果吊打Transformer和Mamba

文摘 2024-11-12 10:02 北京

时隔27年，原作者携xLSTM回归，通过引入指数门控和修改记忆结构来增强传统LSTM的能力，不仅打破了LSTM在处理长序列和复杂依赖关系方面的局限性，并在广泛的任务和基准测 ...

大模型中有哪些形式简单却很巧妙的上分方法？

文摘 2024-11-11 12:00 中国香港

作者:黄哲威 hzwer链接：https://www.zhihu.com/question/347847220/answer/26536819499前大模型时代写过一些深度 ...

智谱生成视频升级，告别默片Sora

文摘 2024-11-08 16:31 中国香港

智谱的哥们说，他们的视频生成产品又又又升级了。“这次绝对震撼，不仅仅图生视频的效果更好了，更牛的是让视频有声音了。”以前不管sora还是啥，大家搞的都是“默片”，真到用的时 ...

FlashAttention算法之美：极简推导版

文摘 2024-11-07 18:30 中国香港

知乎：方佳瑞（已授权）地址：https://zhuanlan.zhihu.com/p/4264163756FlashAttention（FA）是大模型训练和推理性能优化最重 ...

ACL 2024中RAG论文整理和简析

文摘 2024-11-06 18:30 中国香港

随着ACL 2024大会的圆满落幕，本文将重点介绍会议中涉及的与Retrieval-Augmented Generation（RAG）相关的论文，探索这一领域最新的研究成果 ...

AI搜索的16个局限性和提升建议

文摘 2024-11-04 09:13 美国

基于LLM的生成式搜索引擎（Generative Search Engines）正在取代传统搜索引擎。答案引擎不仅检索与用户查询相关的来源，还综合引用这些来源的答案摘要。与 ...

图解大模型训练系列：序列并行2，DeepSpeed Ulysses

文摘 2024-11-04 09:13 美国

大家好，在序列并行系列中，我们已经介绍过了Megatron SP，今天这篇文章我们来看DeepSpeed Ulysses。在正文开始前，请允许我吐槽一下，DeepSpeed ...

包包算法笔记

大模型技术和行业认知

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉