MiniMax发长文回应“模型无法说出马嘉祺”
时间:2026-07-23 08:48:47 来源:赛伯网
5月9日,长文MiniMax官微发长文回应M2系列模型无法说出马嘉祺一事,模型马嘉提供了对“嘉祺识别”问题的无法完整排查过程和技术思考。
MiniMax表示,说出其从分词器版本对齐、长文embedding统计分布、模型马嘉语义近邻检索、无法预训练与后训练模型的说出few-shot对比实验、后训练数据频次统计以及对全词表lm_head变化幅度的长文排序扫描等多个维度进行了排查。最终定位到的模型马嘉原因是:“嘉祺”在分词器中被合并为一个独立token,但该token在后训练数据中出现频次极低,无法导致模型在后训练中逐渐遗忘了对该token的说出生成能力。
修复方案方面,长文MiniMax构造了一份覆盖全词表的模型马嘉合成数据,核心思想是无法:通过一个简单的复读任务,为全词表建立一个生成频率的“下限保障”,防止任何token因为完全缺失而退化。此外,MiniMax表示,将token覆盖度作为后训练数据质量的一项常规监控指标,可以在早期发现潜在的稀疏token退化风险,避免类似问题在线上复现。
相关内容
- ·致敬白衣天使 凝聚中医力量
- ·健走团活跃、夜校上新!起步区的夜晚涌动着新城烟火气
- ·春天的最后一个节气!食绿赏花鱼满仓,多图读懂谷雨冷知识
- ·公安部就修改《道路交通事故处理程序规定》公开征求意见
- ·刚刚,泰州官宣入夏!
- ·体验污水净化 践行节水环保
- ·走近深夜地铁隧道里的“钢轨医生”:新黄河记者探访济南地铁轨道探伤工
- ·从“养老”到“享老”!济南起步区五年织密三级养老服务网络
- ·千问与淘宝打通 用AI也能“逛淘宝”了
- ·海军戚继光舰向公众免费开放
- ·以鲜为媒竞逐巅峰|首届味达美青年鲜锋厨师大赛全国总决赛启幕在即
- ·华亭里BLOCK广场五一解锁二次元之约
- ·直冲27.5℃!舟山入夏了吗?
- ·济南泉水迎入夏首涨,“黑虎啸月”引游客流连驻足
- ·公安部就修改《道路交通事故处理程序规定》公开征求意见
- ·东丽区文化馆举办“那些年我们正年轻”五四青年节主题摄影展
最新内容
推荐内容
