2025年2月24日——由360與北京大學(xué)聯(lián)合研發(fā)的中等量級推理模型Tiny-R1-32B-Preview正式亮相,僅以5%參數(shù),逼近Deepseek-R1-671B的性能。
核心突破:小模型,大能量
? 數(shù)學(xué)領(lǐng)域:以78.1分(AIME 2024評測)逼近原版R1模型(79.8分),遠(yuǎn)超Deepseek-R1-Distill-Llama-70B(70.0分);
? 綜合性能:在編程(LiveCodeBench 61.6分)、科學(xué)(GPQA-Diamond 65.0分)領(lǐng)域全面領(lǐng)先最佳開源70B模型Deepseek-R1-Distill-Llama-70B;
? 效率躍遷:僅需5%參數(shù)量,性能達(dá)原版R1的95%以上,推理成本大幅降低。
技術(shù)革新:領(lǐng)域?qū)>?模型融合
研究團(tuán)隊(duì)使用「分治-融合」策略:
? 基于DeepSeek-R1生成海量領(lǐng)域數(shù)據(jù),分別訓(xùn)練數(shù)學(xué)、編程、科學(xué)三大垂直模型;
? 通過Arcee團(tuán)隊(duì)Mergekit工具智能融合,突破單一模型性能上限,實(shí)現(xiàn)多任務(wù)均衡優(yōu)化。
開源承諾:推動技術(shù)普惠
? 模型倉庫:https://huggingface.co/qihoo360/TinyR1-32B-Preview
? 即將公開完整技術(shù)報告、訓(xùn)練代碼及部分?jǐn)?shù)據(jù)集;
? 踐行開源精神,助力AI社區(qū)共筑高效推理新生態(tài)。
研發(fā)團(tuán)隊(duì)表示:「Tiny-R1-32B-Preview是蒸餾技術(shù)的里程碑,未來將持續(xù)探索更輕量、更強(qiáng)大的通用模型,推動AI技術(shù)普惠化進(jìn)程。」
360 團(tuán)隊(duì): Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Weihong Lin, Yongfu Zhu, Change Jia, Linglin Zhang, Jinzhu Wu, Sai-er Hu, Xiangzheng Zhang
北大團(tuán)隊(duì): Yuhan Wu, Zihan Jiang, Wenrui Liu, Junting Zhou, Bin Cui, Tong Yang
消費(fèi)界所刊載信息,來源于網(wǎng)絡(luò),傳播內(nèi)容僅以學(xué)習(xí)參考使用,并不代表本站觀點(diǎn)。本文所涉及的信息、數(shù)據(jù)和分析均來自公開渠道,如有任何不實(shí)之處、涉及版權(quán)問題,我們會及時處理,舉報投訴郵箱:Jubao_404@163.com,
消費(fèi)界本網(wǎng)站所刊載信息,來源于網(wǎng)絡(luò),僅供免費(fèi)學(xué)習(xí)參考使用,并不代表本媒體觀點(diǎn)。本文所涉及的信息、數(shù)據(jù)和分析均來自公開渠道,如有任何不實(shí)之處、涉及版權(quán)問題,請聯(lián)系我們及時處理。本文僅供讀者參考,任何人不得將本文用于非法用途,由此產(chǎn)生的法律后果由使用者自負(fù)。
合作官方郵箱: hezuo@eeeck.com
投訴舉報郵箱:Jubao_404@163.com
招聘官方郵箱: rcrt@eeeck.com
Android | iOS
未經(jīng)書面授權(quán)不得復(fù)制或建立鏡像,違者必究。
Copyright © 2012 -2023 CONSUMER TIMES. All Rights Reserved.
深圳市贏銷網(wǎng)絡(luò)科技有限公司版權(quán)所有
粵ICP備14076428號
粵公網(wǎng)安備 44030702005336號