今年8月,集成1.2萬億個晶體管的“史上最大芯片”The Cerebras Wafer Scale Engine(簡稱WSE)誕生,在11月19日召開的Supercomputing 2019大會上,該芯片制造公司Cerebras Systems推出了搭載該芯片的計算機系統——Cerebras CS-1,這也將是世界上最強大的AI計算系統。美國兩家國家實驗室是該公司的客戶,其中阿貢國家實驗室已成功部署并宣布,將用這套系統發現癌癥療法和理解黑洞碰撞。
圖| Cerebras CS-1
通常,硅芯片是從8、10或12英寸等不同規格的晶圓上單獨切下來的。而CS-1搭載的并不是一個芯片,而是一整個晶圓,它把晶圓切割成一個很大的長方形,每個芯片都相互連接,可以使每個晶體管都能像整體一樣高速運轉。一個典型處理器可能在一個芯片上有100億個晶體管,而CS-1搭載的整個晶片上所有核的晶體管總數超過1.2萬億個。
在AI計算中,芯片尺寸至關重要,但是高級處理器必須要有專用的硬件和軟件系統相配合才能實現理想的性能。CS-1系統設計和Cerebras軟件平臺相結合,可以充分用到從WSE上的40多萬個計算內核和18 GB高性能片上存儲器中提取的每一點的處理能力。

圖| Cerebras晶片規模的引擎
而且,CS-1不需要大量修改現有模型,并且用戶只需將基于標準的100Gb以太網鏈路插入交換機就可以啟動培訓模型。
CS-1有15個機架,大概是26英寸高(66.04厘米)。研究人員Andrew Feldman表示,CS-1是“最快的AI計算機”。CS-1計算機的機器學習能力相當于數百架基于GPU的計算機能力,這些計算會消耗數百千瓦。但CS-1僅消耗17千瓦,占標準機架能耗的三分之一。他把CS-1和谷歌的TPU計算集群相比,強調谷歌的TPU2機器學習集群需要10個機架和超過100千瓦的功耗,才能提供一個CS-1機箱三分之一的性能。
Feldman說:“我們是由40萬個專用AI處理器組成的AI機器。”CS-1由40萬核、1萬億晶體管大小的處理器芯片驅動,可將原本需要至少幾周的大型神經網絡訓練任務縮短到幾分鐘甚至幾秒鐘。同時,它通過讓潛在客戶在Cerebras的機器上訓練他們自己的神經網絡模型吸引潛在客戶。
另外,Cerebras還公布了一些系統軟件的細節,該軟件允許用戶使用Pytorch和Tensorflow之類的ML標準框架編寫他們的機器學習模型。強大的圖形編譯器可自動將這些模型轉換為CS-1的優化可執行文件,而豐富的工具集可實現直觀的模型調試和性能分析。

圖| Cerebras軟件系統允許用戶使用Pytorch和Tensorflow之類的ML標準框架來編寫他們的機器學習模型
CS-1的第一個應用是預測癌癥藥物反應,這是美國能源部和美國國家癌癥研究所合作的一個項目。能源部負責人工智能與技術的副部長Dimitri Kusnezov在一份聲明中說:“在能源部,我們相信公私合作是加速美國人工智能研究的重要組成部分。”“我們期待與Cerebras建立長期而富有成效的合作關系,這將有助于定義下一代人工智能技術,并改變能源部的運作、業務和使命。”或許這也是Feldman能籌集到數億美元并雇用大量員工的原因。

圖|阿貢實驗室(Argonne National Laboratory)
阿貢實驗室與Cerebras的合作已經有兩年了。其計算總監Rick Stevens在新聞發布會上表示:“通過部署CS-1,我們大大縮短了神經網絡的訓練時間,使研究人員能夠更高效地開展深度學習研究,在癌癥、創傷性腦損傷以及當今和未來對社會有重要意義的其他領域取得重大進展。”
阿貢實驗室是全球最大的超級計算機站點之一,而CS-1可以使這個站點比現有的AI加速器得到100到1000倍的提升,有望在2021年實現Aurora百萬兆級超算的能力。一臺百萬兆級的計算機一瞬間進行的計算量,相當于地球上的所有人每天每秒都不停地計算四年。
除了用在研究抗癌藥物之外,該系統還將被用來幫助理解黑洞碰撞行為及其引力波。此前做過類似研究的Theta超級計算機,在研究黑洞碰撞問題時需要調動超算所配置的4392個節點中的1024個節點,每個節點包含了一個64核處理器和16 GB的高帶寬封裝內存(MCDRAM),192 GB的DDR4 RAM和128 GB的SSD。