NVIDIA發表業界最先進精確度的小型語言模型

生成式人工智慧（AI）的開發者通常得面臨要取捨模型大小還是精確度的難題。不過，NVIDIA發表的全新語言模型倒是兼具兩者之長，這個模型體積小巧，又有最先進的精確度。

Mistral-NeMo-Minitron 8B 是Mistral AI 與NVIDIA在上個月共同發表開放式 Mistral NeMo 12B 模型的縮小版。Mistral-NeMo-Minitron 8B小到可以在 NVIDIA RTX 驅動的工作站上運行，同時在由 AI 支援的聊天機器人、虛擬助理、內容產生器和教育工具的多項基準測試中，表現依然十分出色。NVIDIA 使用開發客製化生成式 AI 的端對端平台 NVIDIA NeMo 蒸餾（distillation）出Minitron 模型。

NVIDIA 應用深度學習研究部門副總裁 Bryan Catanzaro 表示，「我們將兩種最佳化AI的方法加在一起。這包括以剪枝的方式將 Mistral NeMo 的 120 億個參數縮減為 80 億個，並且採用蒸餾方式提高精確度。這麼一來便能降低 Mistral-NeMo-Minitron 8B 的運算成本，又可以提供媲美原始模型的精確度」。

小型語言模型可以即時在工作站和筆記型電腦上執行，這一點跟大型語言模型不同。此舉使得資源有限的組織更容易在基礎設施中部署生成式 AI 功能，又能取得最佳的成本、運作效率和能源使用程度。由於無需從邊緣裝置將資料傳送到伺服器，在邊緣裝置上以本機端的方式運行語言模型另外有著安全性方面的優勢。

Mistral-NeMo-Minitron 8B 模型包裝成 NVIDIA NIM 微服務，並且最佳化至最佳狀態，有著低延遲的特色，能加快回應使用者的速度，並有高輸送量以降低生產環境的運算成本。

開發人員在某些情況下可能想要使用更小的模型，以便在智慧型手機或機器人等嵌入式裝置上運行。他們為此可以下載有著 80 億個參數的模型，並針對企業特定的應用程式使用 NVIDIA AI Foundry 剪枝和蒸餾出較小且最佳的神經網路。

NVIDIA強調這項技術代表只要使用原始資料集的一小部分，就能訓練一系列相關模型裡每個額外的模型，這跟從頭訓練一個較小的模型相比，剪枝和蒸餾一個較大的模型可以省下高達40倍的運算成本。