關 閉

新聞中心

EEPW首頁 > 安全與國防 > 新品快遞 > 安霸發布N1系列生成式AI芯片,支持前端設備運行本地LLM應用

安霸發布N1系列生成式AI芯片,支持前端設備運行本地LLM應用

作者:時間:2024-01-10來源:電子產品世界收藏

單顆 SoC 支持 1 至 340 億參數的多模態大模型(Multi-Modal LLM)推理,實現前端低功耗生成式 AI。

本文引用地址:http://www.7menf.com/article/202401/454661.htm

Ambarella (下稱“”,專注 AI 視覺感知的半導體公司)于當天宣布,在 2024 國際消費電子展(CES)期間,展出在其新款 N1 系列 SoC 上運行多模態大模型(Multi-Modal LLM),其每次推理的功耗顯著低于當前市場的通用 GPU 解決方案。生成式 AI 是為了處理大規模數據集而最早應用于服務器上的變革性技術,而的目標是將生成式 AI 部署于終端設備和本地硬件上,從而將其廣泛應用于視頻安防分析、機器人以及眾多工業領域。

1704881554939473.png

將在中高端 SoC 上提供已優化的生成式 AI 處理。這些 AI SoC 包含了功耗低于 5 瓦的 CV72 芯片,以及最新的可應用于服務器端,功耗低于 50 瓦的 N1 芯片。與 GPU 及其他 AI 加速器相比,安霸提供了完整的 SoC 解決方案,每生成一個 token 的能效比最高可提高 3 倍,并可快捷、低成本地部署在終端產品中。

安霸首席技術官兼聯合創始人Les Kohn 表示:“生成式 AI 在我們的目標市場上實現了突破,之前無法想象的功能得以實現。使用我們的 N1 系列 SoC 來進行多模態大模型推理,將使所有的前端設備變得更智能,更低功耗,和更低成本?!?/p>

市場研究公司 Omdia 高級計算首席分析師 Alexander Harrowell 表示:“在未來 18 個月內,幾乎所有設備前端應用都將被生成式 AI 增強。把生成式 AI 的計算轉移到設備前端的要點,就在于每瓦的 AI 性能,以及它與前端生態系統其余部分的集成,而不僅僅是原始數據的吞吐量?!?/p>

所有安霸的 AI SoC 均可搭配全新的 Cooper? 開發平臺。此外,為了縮短客戶新產品上市的時間,安霸已預先移植和優化了 Llama-2 等流行的大語言模型。其在 N1 芯片上運行的大語言和視覺助手 LLava 模型,可對多達 32 個攝像頭同時進行多模態視覺分析。這些經過預訓練和調優的模型可從 Cooper Model Garden 下載。

在現實世界的眾多應用里,除了語言,視覺輸入也是一種關鍵模式。安霸 SoC 的特有架構非常適合以超低功耗同時運行視頻處理和 AI 計算。安霸的 AI SoC 并不是單一的 AI 加速器,它不僅能夠高效處理多模態大模型,還能同時執行各種系統功能。

生成式 AI 將成為計算機視覺處理中跨越式的新技術,它可將上下文學習和場景理解應用于各種設備,從而涵蓋安防設施、自主機器人以及眾多工業應用?;诎舶?AI 芯片的設備端通過運行大語言模型和多模態處理可實現以下功能:安防視頻的上下文智能搜索、通過自然語言命令控制的機器人、以及多才多藝的AI助手,比如代碼、文本和圖像的生成等。 

這些依賴攝像頭和自然語言理解的系統,大部分將受益于設備前端的生成式 AI 處理,其處理速度得以提高,隱私保護得到加強,并且總成本也會降低。安霸解決方案支持的本地處理也非常適合垂直領域大語言模型,這些大語言模型通常需要針對每個具體應用場景進行調整;而傳統的集中式服務器方案則是使用更大、功耗更高的大語言模型來滿足不同用例的要求。

基于安霸最初為自動駕駛開發的 CV3-HD 架構,N1 系列 SoC 對總算力資源進行了針對性的優化,從而以超極低功耗運行多模態大模型。例如,N1 SoC 在單流模式下以低于 50 瓦的功耗運行 Llama2-13B,每秒可推理 25 個 token。N1 解決方案自帶移植好的大模型,使系統整合更容易,因此它可快速幫助 OEM 廠商部署生成式 AI,特別是要求低功耗的各種應用,比如自帶本地應用的 AI 智能盒子、送貨機器人等,不一而足。

本周,安霸將在 CES 展會期間持續演示 N1 SoC 及其多模態大模型功能。



評論


相關推薦

技術專區

關閉
无码国产福利AV私拍|AV边做边流奶水无码免费|2021国自拍产精品视频|中文中文字幕不卡人妻|亚洲肥婆艳情片