它的参数不算最大，总参数量 142B，激活参数 14B，是一款中等规模的 MoE（Mixture of Experts）模型，不过它仍在较小激活量下展现出了良好性能。
具体来说，在激活 14B 参数的情况下，t 模型在中英文通用场景、数学、代码、对齐任务上的表现亮眼，与 Qwen2.5-32B-Instruct、Qwen2.5-72B-Instruct 相比具备较强的竞争力。同时与 Qwen3-32B 相比，在中英文、数学、对齐任务上表现接近。
自 2023 年起，小红书就开始投入基础模型研发，本次开源正是其主动与技术社区展开对话的重要一步。
模型好不好用，还得看多维度的任务实测表现。接下来，我们就把小红书的 dots 模型拉上「考场」，围绕问答、写作、编码等方面展开一场全方位的测评。
先来考考它的中文理解能力：大舅去二舅家找三舅说四舅被五舅骗去六舅家偷七舅放在八舅柜子里九舅借给十舅发给十一舅工资的 1000 元，请问谁才是小偷？
这道题目像绕口令一样七拐八绕，但 dots 并没有被迷惑，它通过逐步拆解、分析句子结构找出「偷」这个动作的执行者，最终给出正确答案。
弱智吧以幽默荒诞的段子而著称，自大模型爆火以来，「弱智吧」就成了检测大模型理解能力的标准之一。
比如这道经典问题：班房又叫牢房，为什么上班不叫坐牢？dots 先从语言的历史演变、二者的区别给出正儿八经的回答，然后玩起了梗，甚至还附上表情包。
再来看看 dots 的文本写作能力。它以「老子今天要上班了」写了一首藏头诗，还挺有「活人味」，用一组清晨图景，把「打工人」的疲惫感刻画得相当接地气。
此外，它的编码能力也还不错，我们让它创建一个响应式的城市天气卡片组件，使用 HTML、CSS 和 JavaScript 实现。领到任务后，dots 二话不说就输出代码。
不得不说，它制作的动态卡片配色蛮舒服，并集齐了城市、日期、天气、温度、湿度以及风速等各种要素，点击右下角的按钮还能丝滑切换城市。
作为小红书 hi lab 首次开源的 MoE 模型，dots.llm1 并不一味追求「大力出奇迹」，而是在训练资源受限的前提下，通过更干净更优质的数据、更高效的训练方式来实现「以小搏大」的效果。
在大模型训练中，数据的质量是决定模型上限的关键因素之一。dots.llm1 使用了 11.2T 高质量 token 数据进行预训练，而这些数据主要来源于 Common Crawl 和自有 Spider 抓取到的 web 数据。与很多开源模型直接使用粗粒度数据不同，hi lab 团队在数据处理上非常「较真」，拒绝低质或虚构内容，通过三道「工序」把控数据质量：
首先是 web 文档准备，把 web HTML 数据用 URL 过滤方式删除黄赌毒等内容，再利用团队优化后的 trafilatura 软件包提取 HTML 正文内容，最后进行语种过滤和 MD5 去重得到 web document。
接着是规则处理，参考 RefinedWeb 和 Gopher 的方案进行数据清洗和过滤操作，引入 MinHash 和行级别去重策略，有效过滤广告、导航栏等噪声文本。
最后是模型处理，通过多个模型协同判断数据的网页类型、质量、语义重复性及结构均衡性，在确保文本安全、准确的同时提高知识类内容的占比。
经过上述处理流程，hi lab 团队得到一份高质量的预训练数据，并经过人工校验和实验验证该数据质量显著优于开源 TxT360 数据。
值得注意的是，dots.llm1 未使用合成语料，这也从侧面表明即便不依赖大规模数据合成，也可训练出足够强大的文本模型。但该团队也表示，数据合成作为提升数据多样性和模型能力的手段，仍是未来值得探索的重要方向。
在 MoE 模型的训练过程中，EP rank 之间的 A2A 通信在端到端时间中占据了相当大比重，严重影响了训练效率，特别是对于 Fine-grained MoE Model，EP Size 会比较大，跨机通信基本无法避免。
为了解决这一挑战，hi lab 与 NVIDIA 中国团队合作，提出了一套颇具工程创新意义的解决方案：interleaved 1F1B with A2A overlap。该方案的核心就是让 EP A2A 通信尽可能和计算 overlap，用计算来掩盖通信的时间，进而提升训练效率。
在训练策略方面，该模型采用了 WSD 学习率调度方式，整个训练过程主要分为稳定训练和退火优化两个阶段。
在稳定训练阶段，模型保持 3e-4 的学习率，使用 10T token 语料进行训练。为了提升训练效率，在这个阶段先后两次增加 batch size，从 64M 逐步增大至 128M，整个训练过程非常稳定，没有出现需要回滚的 loss spike。
在完成高质量的预训练之后，dots.llm1 通过两阶段的监督微调进一步打磨模型的理解力与执行力。
hi lab 团队精心筛选了约 40 万条高质量指令数据，涵盖多轮对话、知识问答、复杂指令遵循、数学推理与代码生成等五大核心场景。
多轮对话方面：团队将社区开源的中英对话数据与内部标注的高质量中文指令融合，并借助教师模型优化低质量回答，从而提升整体对话的连贯性和准确性；知识问答模块：引入了包含事实性知识与阅读理解的数据集，让模型能够更好地理解和回答各类知识性问题；复杂指令遵循环节：团队特别设计了伴随条件约束的指令数据，并过滤不遵循约束的回复；数学与代码领域：微调数据则经过验证器验证，确保获得最高质量的监督信号。
第一阶段是对全量数据进行两轮基础训练，过程中引入了过采样、动态学习率调整、多轮对话拼接等技术，初步释放模型潜力；第二阶段则专注于「重点突破」。在数学与代码等对推理能力要求更高的任务上，团队采用了拒绝采样微调（RFT）策略，结合验证器筛选高置信度重要样本，进一步提升模型的推理性能。
最终评测结果也令人眼前一亮：即便仅激活了 14B 参数，dots.llm1.inst 在中英文理解、数学、代码生成、对齐等任务中依然表现出色，具备与 Qwen2.5-32B-Instruct、甚至 Qwen2.5-72B-Instruct 一较高下的实力。在对比更先进的 Qwen3-32B 时，dots.llm1.inst 也在多个任务上展现出相似甚至更强的性能。
在 HuggingFace 的热门开源模型榜单上，中国模型的身影已占据半壁江山，开源正逐渐成为中国大模型团队的集体共识。
此次 dots.llm1 的开源，不仅是小红书 hi lab 团队的一次技术成果展示，也是一种路线选择的「表态」—— 相比于闭门修炼，他们更愿意走入江湖与高手交流。在开发者眼中，这意味着又多了一个值得信赖的模型基座；而对 hi lab 而言，来自社区的微调成果也将反哺基模，为模型注入更多可能性。
06月07日，报告：光谷新注册活跃中小企业新兴赛道占比超六成，真钱电子赌博官网，爱游戏最新版下载，8波旧版手机足球比分，皇冠直营现金网官方网
06月07日，我国最大规模海上油田群岸电工程项目全面竣工，永乐是什么平台，破解游戏大全盒，巴黎人官网网址多少，老黄金城官方网站
06月07日，南京打造文学之旅新体验：在文学公园邂逅繁花春景，扑克斗牛包赢的方法，真钱网赌推荐游戏，网上二八杠有赢钱的吗，太阳娱乐场官网下载
06月07日商务部：美方说一套做一套 滥用出口管制措施 中方坚决反对九游的网址是多少伟德体育app官网365bet官网论坛澳门金沙官方网址多少
06月07日以戏会友 全国46支戏曲参赛队伍齐聚蓉城同台竞技海立方809官网必威精装版appMG线日读懂数智时代教育的变局与初心 专家论道：面对未来培养什么人、怎样培养人云顶之弈下载网址八卦天数九州体育网址大全银河国际官网app下载……
06月07日，今年前10月上海海关以加工贸易方式监管出口船舶金额增近六成，BOB体育在哪下载，bet9网址，红灯笼国际真人，国际免费线日，广东英德：部分乡镇内涝严重 已转移民众43869人，2020欧洲杯正赛赛程时间表，奔驰宝马电玩城电脑版官网，AG网站，澳银河国际游戏平台
06月07日山西：鹳雀楼迎2024年首场降雪PG电子游戏官方网站必威快速开户万博体育下载乐天堂官网
06月07日，贵阳迎降温降雪天气，澳门皇冠app是个什么软件，欧博体育下载，网络森林舞会，MG电子在哪开户
06月07日，（乡村行·看振兴）江西吉水勾勒现代农业“新画卷”，世界杯滚球app，澳门凯发，万赢娱乐官网，ku游戏app
06月07日，大连话剧《老酒馆》即将亮相北京舞台 演绎大连传奇往事，半岛体体育官网，BET九州体育，亚游九游会，188宝金博APP安卓
06月07日国家卫生健康委：南北互跨旅游火爆出圈 提醒游客注意健康防护亿博快速开户必博体育官网app威尼斯电子游戏平台ca88手机登录入口
06月07日续贷政策“扩围” 小微融资添“活水”（政策解读·金融支持高质量发展①）龙8电子平台黄冠体育网址入口cbk平台官方网站九游会全站APP
06月07日我国发明专利产业化率达39.6% 连续5年稳步提高e星体育官网地址华体汇体育APP下载黄金电玩城森林舞会大富豪彩票平台官网
苹果罕见促销难挡股价跌势，关晓彤2024年想拍古装戏空调市场增长承压，如何走出“内卷”漩涡？十大外围bet365登陆AG捕鱼王下载官方欧宝APP官网
NANA TOUR with SEVENTEEN，如何判断一个女生是不是捞女6月13日央行开展20亿元7天期逆回购操作mg网页2297最新游戏网址bob综合体育在线-平台彩票官网下载app
江苏人不能原谅白素贞的理由，人民网：打造网红不能造假河北衡水：大运河题材系列内画作品再现运河沿岸城市风貌荣耀棋牌官网江南游戏网站打鱼能赢钱游戏大众棋牌官网优博网址平台
考研国家线专硕，EDGM战胜Hero晋祠庙会：传统与现代交融 老庙会焕发新生机有没有手机斗地主赢钱亿博app下载网站澳博体育最新版APP澳门m6vip
河南鹅毛大雪满天飞 积雪脚脖子深，孙杨重返国家队难度不小低温冰冻！南方“天然冰箱”再开2天 月底还有大范围雨雪？ GD真人体验视讯百老汇注册网站dafa登录vwin体育网站
全红婵暂列第一位，特朗普提名戴维·珀杜任驻华大使四川省举行向铜像敬献花篮仪式南通棋牌彩票3d网上怎么买365bet手机开户网址乐鱼登陆不了