京東于 2 月 14 日在 Hugging Face 平臺(tái)上正式開(kāi)源了其最新的大模型 ——JoyAI-LLM-Flash。該模型總參數(shù)達(dá)到 48 億，其中激活參數(shù)為 3 億，經(jīng)過(guò) 20 萬(wàn)億文本 Token 的預(yù)訓(xùn)練，展現(xiàn)出卓越的前沿知識(shí)理解、推理能力和編程技能。
JoyAI-LLM-Flash 采用全新 FiberPO 優(yōu)化框架，將纖維叢理論引入強(qiáng)化學(xué)習(xí)，并結(jié)合 Muon 優(yōu)化器及稠密多 Token 預(yù)測(cè)技術(shù)，成功解決了傳統(tǒng)模型規(guī)模擴(kuò)展時(shí)的不穩(wěn)定問(wèn)題。與非 MTP 版本相比，其吞吐量提升了 1.3 倍至 1.7 倍，極大增強(qiáng)了模型的訓(xùn)練效率和應(yīng)用潛力。
這款模型的架構(gòu)為混合專家模型（MoE），層數(shù)達(dá)到 40 層，支持 128K 的上下文長(zhǎng)度和 129K 的詞表大小，標(biāo)志著京東在 AI 領(lǐng)域的重要進(jìn)展。
