。

（1）高性能計(jì)算：商湯已開發(fā)一款高性能計(jì)算引擎，它包含豐富的高度優(yōu)化的計(jì)算程序

、編譯器及運(yùn)行時(shí)環(huán)境。與芯片供應(yīng)商提供的計(jì)算引擎相比，商湯的計(jì)算引擎通過優(yōu)化的算子及全圖優(yōu)化技術(shù)，顯著提高端到端的運(yùn)行效率，不僅涵蓋神經(jīng)網(wǎng)絡(luò)計(jì)算，亦涵蓋預(yù)處理及后處理階段。

（2）高效的分布式調(diào)度：AIDC具有分布式任務(wù)調(diào)度系統(tǒng)，可在成千上萬個(gè)GPU上動(dòng)態(tài)調(diào)度數(shù)以萬計(jì)的計(jì)算任務(wù)

。該系統(tǒng)每年調(diào)度超過2000萬個(gè)任務(wù)，確保研發(fā)活動(dòng)能及時(shí)及有效地進(jìn)行。在多種調(diào)度策略的支持下，調(diào)度系統(tǒng)可保持算力的高利用率，大降訓(xùn)練一個(gè)模型所需的平均成本。

（3）高速的數(shù)據(jù)I/O：在數(shù)據(jù)集上訓(xùn)練模型時(shí)

，每個(gè)數(shù)據(jù)樣本都會(huì)以高頻率和隨機(jī)順序加載和處理多次。商湯的AIDC可提供非常高的IO吞吐量，允許訓(xùn)練任務(wù)每秒加載超過200萬張圖片，保證訓(xùn)練任務(wù)可以全速運(yùn)行而無需等待數(shù)據(jù)。

“2018年，我們做了一個(gè)原型機(jī)的預(yù)研項(xiàng)目

，實(shí)現(xiàn)了把1000塊GPU卡連在同一個(gè)網(wǎng)絡(luò)上去加載數(shù)據(jù)進(jìn)行運(yùn)算。今天我們正在做更大的5000~10000張卡，把它連在同一個(gè)網(wǎng)絡(luò)上去進(jìn)行計(jì)算。”楊帆談道。

（4）硬件/軟件協(xié)同設(shè)計(jì)：在分布式環(huán)境中，協(xié)同各計(jì)算節(jié)點(diǎn)GPU相互通信