欧美中文字幕第一页-欧美中文字幕一区-欧美中文字幕一区二区三区-欧美中文字幕在线-欧美中文字幕在线播放-欧美中文字幕在线视频

小米推出首個推理開源大模型Mimo!以7B參數打敗OpenAI o1

我是創始人李巖:很抱歉!給自己產品做個廣告,點擊進來看看。  

AI競賽激烈,小米也加入戰局!

4月30日,小米推出專注推理能力的開源大模型MiMo,僅用7B參數規模在數學推理和代碼競賽測評中超越OpenAI的閉源模型o1-mini以及阿里32B規模的QwQ。

據小米介紹,Xiaomi MiMo誕生之初探索的核心問題就是激發模型推理潛能,這款模型聯動預訓練到后訓練,全面提升推理能力。

國內外AI競爭日趨白熱化,本周阿里前腳發布Qwen 3,馬斯克后腳就官宣Grok 3.5。而據此前 媒體 報道,小米正在建設萬卡GPU集群,并引入頂尖AI人才,顯示出對大模型領域的全面投入。

性能突破:小參數量實現大能力

Xiaomi MiMo這款模型最引人注目之處在于,在數學推理(AIME 24-25)和 代碼競賽(LiveCodeBench v5)公開測評集上,MiMo 僅用 7B 的參數規模,超越了 OpenAI 的閉源推理模型 o1-mini 和阿里 Qwen 更大規模的開源推理模型 QwQ-32B-Preview。

小米推出首個推理開源大模型Mimo!以7B參數打敗OpenAI o1

更值得注意的是,在相同強化學習(RL)訓練數據條件下,MiMo-7B在數學和代碼領域展現出的強化學習潛力明顯領先于業界廣泛使用的其他模型,包括DeepSeek-R1-Distill-7B和Qwen2.5-32B等知名強化學習起步模型。

小米推出首個推理開源大模型Mimo!以7B參數打敗OpenAI o1

小米推出首個推理開源大模型Mimo!以7B參數打敗OpenAI o1

技術關鍵:預訓練與后訓練雙輪驅動

據小米介紹,MiMo模型的成功并非偶然,而是來自于預訓練和后訓練兩個階段的多層面創新。

在預訓練階段,小米團隊著重挖掘富含推理模式的語料,并合成了約200B tokens的推理數據。訓練過程采用三階段策略,逐步提升訓練難度,累計訓練了25T tokens,這一訓練量在同等規模模型中處于領先水平。

后訓練階段的創新更為關鍵,小米團隊提出了"Test Difficulty Driven Reward"機制,有效解決了困難算法問題中獎勵稀疏的問題。同時引入"Easy Data Re-Sampling"策略,顯著提升了強化學習訓練的穩定性。在框架層面,他們設計了"Seamless Rollout"系統,使得強化學習訓練速度提升2.29倍,驗證速度提升1.96倍。

技術之外:小米的AI全面投入戰略

據界面新聞報道,小米正在搭建自己的GPU萬卡級集群,將對AI大模型進行大力投入。一名知情人士透露,該計劃已經實施數月之久,小米創始人雷軍親自參與領導。該人士強調:"在AI硬件這件事情上,最核心的是 手機 而不是眼鏡,小米在這個領域不'all in'是不可能的。"

小米的AI人才布局也在加速。12月20日,第一財經報道稱DeepSeek開源大模型DeepSeek-V2的關鍵開發者之一羅福莉將加入小米,或供職于小米AI實驗室,領導小米大模型團隊。羅福莉是MLA(Multi-head Latent Attention)技術的核心開發者之一,該技術在降低大模型使用成本上發揮了關鍵作用。

【來源:華爾街見聞官方】

隨意打賞

提交建議
微信掃一掃,分享給好友吧。
主站蜘蛛池模板: 色激情五月| 欧美日韩中出 | 欧美一级片免费看 | 久久99精品久久久久久臀蜜桃 | 亚洲男人的天堂在线视频 | 欧美在线视频免费 | 精品国产一区二区三区四 | 一二三区无线码2021 | 中文字幕一区2区 | 日日拍夜夜嗷嗷叫国产 | 亚洲精品国自产拍影院 | 四虎网站在线观看 | 久久综合久久精品 | 国产精品99一区二区三区 | 久久久综合香蕉尹人综合网 | 一级毛片免费观看不收费 | 久久性网 | 日韩中文字幕在线有码视频网 | 91亚洲精品一区二区福利 | 青草青青在线观看免费视频 | 国产伦人伦偷精品视频 | 国内免费一区二区三区视频 | 97在线播放| 欧美日韩在线精品成人综合网 | 天天干天天干天天天天天天爽 | 97成人精品 | 日韩欧美视频 | 中文字幕亚洲综久久2021 | 国产剧情一区二区 | 日本人一级毛片免费完整视频 | 成人网在线免费观看 | 日本一区二区免费视频 | 香蕉精品在线 | 成人欧美视频免费看黄黄 | 亚洲免费国产 | 黄色日本视频 | 欧美在线成人免费国产 | 亚洲精品动漫3d一区二区 | 久久综合狠狠综合久久 | 婷婷免费高清视频在线观看 | 欧美啪啪毛片一区二区 |