多模態(tài)傳感信號AI處理為智算中心和邊緣智能開啟感知智能的新篇章

全球領先的邊緣AI和智能音頻專家XMOS宣布：公司已推出端側多模態(tài)AI傳感器融合接口（AI Sensor Hub），該接口利用XMOS的xcore軟件定義系統(tǒng)級芯片（SoC）上靈活的接口和高效的算力，在邊緣對來自不同接口的包括音頻、圖像、視覺和其他多種傳感器輸出的多模態(tài)信號進行融合以及AI計算，既可支持本地設備獨立地對各種傳感器信號進行AI推理計算，也可作為智算系統(tǒng)的輸入前端并執(zhí)行相應的功能。該方案可立即實施的應用包括大模型、云服務和專用網(wǎng)絡及系統(tǒng)的智能接入，以及智能視頻門鈴、視頻監(jiān)控設備、多模態(tài)傳感器集中器、車牌識別等邊緣智能設備。

與那些裝備精良、耗費靡多的云服務和計算機系統(tǒng)不同，XMOS利用其集AI、DSP、控制和I/O于一體的xcore軟件定義SoC，結合諸如深度神經(jīng)網(wǎng)絡（DNN）等模型，可以超小型化和低功耗的單芯片就實現(xiàn)了這些多種傳感信號的多模態(tài)AI處理。XMOS的多模態(tài)技術已經(jīng)取得了突破性進展，合作伙伴通過使用xcore這樣的嵌入式SoC不僅運行了DNN模型，還開發(fā)了實現(xiàn)人臉檢測、特征提取、身份驗證、安防報警、車牌識別和圖像分類等功能的系統(tǒng)解決方案，而且還根據(jù)平臺需求開發(fā)了實時數(shù)據(jù)預處理智能前端。

xcore.ai之所以能夠在各種AI應用中成為一種可以提供低延遲和高度確定性的AI功能的處理器，得益于獨特的多線程微架構。每個 xcore.ai 具有 16 個邏輯內(nèi)核，分屬兩個多線程處理器功能塊，而每個功能塊配備 512kB 的 SRAM 和一個提供整數(shù)和浮點 ALU 的矢量單元。強大的處理器間通信基礎設施為每個集成處理器和多個 xcore.ai SoC 之間提供高速通信，不僅可以實現(xiàn)最終的可擴展性，而且還實現(xiàn)了并行多線程、多核矩陣計算。

系統(tǒng)架構

XMOS解決方案的優(yōu)勢

• 可以無需聯(lián)網(wǎng)，持續(xù)工作，始終可用

• 無需外部存儲，完成實時圖像等信號的處理

• 絕對保護隱私，可設置為離線解決方案，不將數(shù)據(jù)傳遞到云端

• 邊緣AI提供低延遲響應

• 將所有代碼和模式的大小縮減到僅有0.6MB

XMOS xcore.ai處理器如何支持邊緣AI?

• 可開發(fā)和訓練你自己的模型

• 使用XMOS的“AI工具”進行轉換

• 生成最優(yōu)化的、矢量化的xcore代碼

• 可同時運行多個模型

• 用C或C++語言定義您自己的應用程序

對于AI芯片的開發(fā)來說，友好的開發(fā)環(huán)境極為重要。為了幫助設計師更好地開發(fā)各種邊緣AI應用，XMOS把所有計算資源及其調(diào)度管理都放在同一個易用和強大的開發(fā)環(huán)境中。這為開發(fā)人員提供了完善的技術支持、工具支持和其他支持。XMOS提供完善的開發(fā)工具鏈與豐富的軟件庫，如免版稅的軟件、強大的XTC開發(fā)工具套件，以及專門設計的評估平臺。通過使用這些工具，顯著降低了開發(fā)難度，幫助工程師快速將產(chǎn)品概念轉化為實際應用，并縮短了產(chǎn)品上市時間。

“XMOS的多模態(tài)AI模型處理功能可在最具挑戰(zhàn)性的應用場景中，實現(xiàn)實時的、持續(xù)工作的AI應用，同時保護個人數(shù)據(jù)和隱私，” XMOS亞太區(qū)市場和銷售負責人牟濤說道。“當然，該方案也可以根據(jù)需要，靈活地作為大模型、云和網(wǎng)絡的智能輸入接口，對傳感信號進行數(shù)據(jù)格式轉換提供給下一級平臺處理，或者進行本地AI處理后只將關鍵信息提供給平臺。同時，XMOS提供的集成開發(fā)環(huán)境和第三方軟件可以很方便地開發(fā)出商用的邊緣AI解決方案”

與XMOS面對面交流

第23屆廣州國際專業(yè)燈光、音響展覽會（以下簡稱“廣州展”）將于5月27 – 30日在中國進出口商品交易會展館A、B、D區(qū)盛大啟幕！XMOS作為全球領先的數(shù)字音頻及多媒體AI處理芯片及解決方案提供商，將攜其分銷商曉龍國際、威健實業(yè)和瑞致科技，以及增值分銷及設計公司飛騰云和其它方案公司共同參加本屆廣州展，屆時將展出先進音頻接口、AI降噪及空間音頻、DSP音效、Hi-Fi解碼器參考設計和麥克風陣列參考設計等技術和方案。歡迎蒞臨XMOS展位：5.2A66。

如希望了解XMOS全球領先的音頻解決方案、邊緣計算解決方案、軟件定義SoC及其在其他垂直行業(yè)的應用，或與我們合作共同開發(fā)面向全球的創(chuàng)新性產(chǎn)品，以及預約在廣州展期間的見面交流，請發(fā)送郵件到：ThomasMu@xmos.com

關于XMOS

作為一家匠心獨到的半導體科技企業(yè)，XMOS一直站在智能物聯(lián)網(wǎng)技術的前沿，致力于滿足市場對靈活計算不斷演進的需求。XMOS開發(fā)和提供了集AI、控制、DSP和IO于一顆芯片的平臺化SoC，讓各行各業(yè)的客戶能夠僅用軟件編程的方式，自己就能定義和實現(xiàn)高性能、高確定性和智能化的軟件定義SoC，使客戶和伙伴的工程師能夠充分地發(fā)揮其創(chuàng)造性，同時其解決方案還能夠更完美地適用于各種場景，包括消費電子、工業(yè)和汽車等重要支柱性領域。