近年來，宣稱要挑戰英偉達在AI芯片領域霸主地位的公司層出不窮。近日，一家名為Taalas的加拿大初創芯片企業進入AI行業視野，其推出的首款產品HC1芯片引發了廣泛關注，被認為有可能對英偉達主導多年的AI芯片市場格局產生影響。

Taalas成立于2023年，總部位于加拿大多倫多。當地時間2月20日，該公司發布了專為Llama 3.1 8B模型優化的HC1芯片。在采用30芯片集群時，該芯片可實現每秒12000 tokens的推理速度，相較于傳統GPU方案，能效提升了50倍。Taalas宣稱，通過結構化ASIC技術，公司將芯片定制周期大幅縮短至兩個月，且已累計融資2.19億美元。在24名員工的努力下，投入3000萬美元打造出了這款具備“極致專業化、速度和能源效率”的產品。值得一提的是，Taalas的創始人兼CEO柳比沙·巴伊奇（Ljubi?a Baji?）是曾任AMD架構師的業界知名人物。

在Taalas官網的介紹中，巴伊奇表示，這款芯片以meta公司2024年7月推出的開源大模型Llama 3.1 8B為運行平臺，峰值推理速度接近17000 tokens/秒，比當前市場中最先進的技術快近10倍，構建成本降低至原來的1/20，功耗降低至原來的1/10。Taalas給出的測試數據顯示，在Llama 3.1 8B模型上，英偉達的主力產品H200和B200的推理速度分別為230 tokens/秒和353 tokens/秒，而HC1的性能是它們的48倍。此前，獨立分析平臺Artificial Analysis測出最高值來自估值230億美元、剛完成H輪融資的Cerebras，其推理速度為1981 tokens/秒，僅為HC1的11%。在實際演示中，大模型對用戶問題的解答速度極快，甚至達到了“秒回”的水平，不過這種快速回復也讓人產生了壓迫感。

Taalas的驚艷表現引發了大量討論，有人認為“顛覆將至”，也有人質疑其言過其實、過度營銷。那么，Taalas的技術和產品究竟有何特別之處，是否真能擔得起“世界上速度最快、成本和功耗最低的推理平臺”這一自稱呢？

深入研究HC1的相關公開信息后發現，Taalas的技術路線與目前市場主流的ASIC路線相比極具顛覆性。與英偉達和AMD代表的GPU通用計算技術路線不同，Taalas更接近ASIC路線。ASIC技術通過為特定應用場景定制硬件設計，追求極致的能效和成本效益。雖然其適用性、功能豐富度和可互換性遠低于能覆蓋多場景的GPU，但自去年以來，以谷歌TPU為首的ASIC技術憑借成本（TCO）低、打造大模型能力不遜色等特點，得到了市場認可，出貨量大幅提升。野村證券預測，2026年ASIC芯片的總出貨量可能會首次超過GPU。在GPU市場被兩巨頭壟斷的情況下，大多數芯片初創公司都選擇了ASIC路線，如市場知名度較高的Cerebras、SambaNova，以及核心團隊被英偉達納入囊中的Groq。

巴伊奇在AMD和英偉達都有任職經歷，此前還創立了專注于AI芯片研發的獨角獸企業Tenstorrent，該公司通過開源RISC - V架構和軟硬件協同設計降低AI計算成本。“挑戰英偉達壟斷地位”一直是巴伊奇宣揚的核心理念，也是Tenstorrent備受關注的標簽。然而，英偉達的發展遠好于AMD及各類AI芯片初創公司，巴伊奇在探索中有了更“極端”的想法。2022年至2023年間，他逐漸脫離此前工作，開始籌劃創辦Taalas。Taalas的聯合創始人還包括他的妻子萊拉·巴伊奇（Lejla Bajic，曾在AMD任系統工程高級經理）以及曾任AMD高級設計工程師并在Tenstorrent擔任過ASIC設計總監的德拉貢·伊格納托維奇（Drago Ignjatovic）。Taalas公司20余人的核心工程師團隊多數來自AMD、蘋果、谷歌、英偉達和Tenstorrent。2024年，Taalas完成5000萬美元首輪融資后正式進入公眾視野，截至目前已完成三輪融資，總額超過2億美元。

巴伊奇強調，Taalas致力于解決AI發展面臨的“高延遲”和“天文數字般的算力成本”兩大障礙，并提出“單芯片性能超越小型GPU數據中心”這一極具野心的目標。Taalas奉行“The Model is The Computer”（模型即計算機，也是公司口號）的理念，即將傳統“在計算設備上運行模型”的范式轉變為“模型本身成為計算設備”。在技術實現路徑上，Taalas提出“無需軟件，直接將模型刻在芯片上”，這與傳統ASIC芯片仍需使用軟件通過編譯過程將軟件代碼轉化為芯片指令不同。Taalas通過EDA（電子設計自動化）流程，將特定大模型直接轉化為定制芯片，這意味著每款使用Taalas的大模型都會擁有專屬定制芯片，實現“完全專業化”。同時，算力擺脫了軟件束縛和編譯過程，數據幾乎無需在內存和計算單元之間移動，“內存墻”消失，推理成本大幅降低，推理速度顯著提升。目前，Taalas的主要業務操作流程較為簡單，客戶向其提供所需模型，Taalas在一周內將其轉化為電路設計，通過臺積電代工在兩個月內交付專屬芯片。

盡管Taalas前景看似美好，但在輿論熱度轉化為商用市場成果之前，仍有許多問題亟待解決。首先，其產品能否適用于更先進、大規模的模型是關鍵。2024年meta推出Llama 3.1時，有8B、70B和405B三種參數規模版本，Taalas選用的是最小的8B版本。在當前大模型進化速度快、規模越來越大的背景下，Taalas產品能否匹配以及是否面臨明顯“天花板”都是必須解決的問題。巴伊奇稱公司將在今年春季推出一款適用中等規模推理模型的產品，其表現值得關注。其次，在測評體驗中，不少質疑聲音指出Taalas讓本就不算聰明的Llama變得更“笨”了。一些用戶發帖稱，HC1“幻覺嚴重”“答案明顯錯誤，質量遠低于同參數GPU版”，“回答速度快但錯得也快”，實用性不佳。對于Taalas給出的測試數據，也有較多質疑。有芯片產業愛好者認為，Taalas相當于內置了問題的答案，所以計算速度“秒殺”英偉達等業界翹楚，但若問題更換，其表現可能就會“掉鏈子”，即Taalas能在特定場景下“秒殺”英偉達，但目前英偉達能做的事對Taalas來說可能更難。更為關鍵的是，Taalas能否跟上大模型的迭代周期。半導體行業從業者表示，Taalas的芯片“表現很牛，但目前可能沒啥大的用處”，因為大模型還在不停迭代，而Taalas的迭代能力和速度存疑，要等大模型達到某個層級不再大規模、快速迭代了，這種芯片才可能有更大舞臺。社交平臺上的討論中，不少質疑集中在HC1“模型鎖定”的“只讀”模式導致的“過時”和“廢棄”風險，認為這是其商業化、規模化的重大阻礙。目前，一款頂尖大模型能保持領先優勢的時間窗口不過月余，而Taalas交付芯片（而非量產）至少需要兩個月。

不過，支持HC1進步性的聲音也不少。在知乎的相關討論中，中國科學院計算技術研究所副研究員趙永威指出，雖然Taalas“目前的狀況還沒有應用價值”，但不妨礙它會成為“一顆有歷史意義的芯片”。他認為這種“硬連線”的模式是未來芯片發展的一大趨勢，目前的質疑由Taalas來扛，后來者在推廣相關概念時就會更加輕松，他還透露自己所在單位也在研究類似技術路線，并提到降低經濟成本既是研究目標，也應該是宣傳發力點。知名科技記者蒂莫西·普里克特·摩根（Timothy Prickett Morgan）在文章中提到，Taalas確實需要在模型的每一次更新中重新設計芯片，但其在推理引擎上蝕刻新模型只需更改設計中的兩層金屬，而非完全廢棄。考慮到訓練模型的成本高達數十億美元，Taalas芯片的更新成本微不足道。摩根認為，在主要模型發布間隔時間延長，人們對成熟模型依賴度增加時，Taalas芯片有望贏得更廣泛的市場認可。也有分析稱，得益于低延遲、低功耗的特性，Taalas真正的用武之地可能在于邊緣推理場景，如機器人、自動駕駛汽車甚至高端智能手機等設備。這些設備不需要運行所有模型，只需穩定運行定制化模型，更快的速度和更低的消耗更有利于產業普及AI大模型。然而，即便相關產品能真正規模化進入市場并發揮作用，新的狀況和問題也會隨之出現，比如大模型的底層架構（Transformer）是否會遭遇另一場“革命”，這似乎決定著“模型即芯片”技術路線的命運，還有生態系統建設問題，英偉達雖是硬件公司，但CUDA軟件生態和開發者的重度依賴才是其真正的護城河，這也是Taalas看中且有意顛覆的。目前，Taalas距離英偉達還很遙遠，更不用說“顛覆英偉達”了，但巴伊奇仍在這條路上不斷前行，Taalas宣布計劃在今年冬季推出第二代HC2產品，將具備更快的執行速度和更強的性能，屆時一代產品的市場反饋和二代產品的迭代效果將進一步驗證各方對這股新勢力的判斷。