近日,科技領(lǐng)域迎來一則有趣的互動消息。埃隆·馬斯克(Elon Musk)在社交平臺上點贊了“月之暗面 Kimi”團(tuán)隊發(fā)布的 Attention Residuals 技術(shù)報告,這一舉動引發(fā)了廣泛關(guān)注。
“月之暗面 Kimi”官方賬號迅速作出回應(yīng),以幽默的口吻在微博上表示:“你的火箭造得也不錯!”這種輕松友好的互動方式,不僅展現(xiàn)了科技界不同團(tuán)隊之間的友好氛圍,也讓大眾對相關(guān)技術(shù)有了更多好奇。
據(jù)了解,月之暗面團(tuán)隊此次發(fā)布的 Attention Residuals(AttnRes)是一項全新的深度網(wǎng)絡(luò)架構(gòu)組件。它對 Transformer 模型在深度方向上的信息流動方式進(jìn)行了重構(gòu),有望在人工智能領(lǐng)域帶來新的突破和發(fā)展。這一創(chuàng)新成果吸引了馬斯克這樣科技界知名人士的關(guān)注,也從側(cè)面反映出其技術(shù)價值。















