TensorRT 8版本更新 讓自然語言理解互動反應時間縮減至個位數毫秒內

除了將人工智慧技術應用在圖像處理、自駕車運作或超算加速，包含語音識別、電商服務、自動化生產等也是NVIDIA 持續佈局應用領域。而隨著TensorRT 8版本的深度學習推論平台更新，同時更藉由A100 GPU讓BERT自然語言理解互動反應時間縮減至個位數毫秒內，意味能讓各類以自然語言為基礎的人工智慧推論速度更快。

人工智慧推論運算背後通常涵蓋複雜運算流程，為了能讓推論結果能有更快運算反應，NVIDIA先前就藉由TensorRT對應深度學習推論，而此次更新TensorRT 8版本，則是採用A100 GPU進行加速，相比先前透過V100 GPU進行加速的TensorRT 7版本，幾乎提升2倍推論運算效能，同時在INT8精度推論也是TensorRT 7版本的2倍以上。

同時整體在BERT自然語言理解反應速度更降低至1.2毫秒，相比的TensorRT 7版本所需推論時間更快上2.5倍，藉此對應更多元的語言分析理解應用，以及包含搜尋、聊天機器人與廣告推薦等，另外在學習推論超過1萬組模型時，TensorRT 8版本在推論效能表現更是早期TensorRT版本的100倍以上。

另外，NVIDIA也強調TensorRT已經成為相當多人使用的深度學習推論平台，不僅在2020年的開發者人數相比2019年成長3倍，至今更累積超過35萬名以上開發者加入使用，並且用在2萬7500家企業服務，其中包含美國運通、字節跳動、AMP Ronotics、福特、LG、SK TELECOM、美國郵局、NAVER、微信、Verizon等業者，更協助奇異醫療每年分析超過1.45億筆心臟病例數據。

目前人工智慧已經廣泛應用在線上隨選影音內容推薦、電商購物行銷、社群平台內容串接，或是數位廣告內容媒合，這些領域也成為NVIDIA人工智慧技術持續佈局應用項目，同時也強調秉持讓人工智慧推論結果維持公正，避免產生歧視、不公等問題。

《原文刊登於合作媒體mashdigi，聯合新聞網獲授權轉載。》