《自然》子刊發表實驗室最新成果：解鎖后GPU時代算力，BayesFT顯著提升模擬神經網絡魯棒性

近日，上海人工智能實驗室（上海AI實驗室）與上海交通大學聯合提出了一項關于模擬深度神經網絡（Analog DNNs）的最新研究成果——通過貝葉斯優化的噪聲注入方法提高模擬深度神經網絡的精準度。

目前，該成果的相關論文“Improving the robustness of analog deep neural networks through a Bayes-optimized noise injection approach”已發表于Nature旗下刊物Communications Engineering。

論文標題：Improving the robustness of analog deep neural networks through a Bayes-optimized noise injection approach

論文鏈接：https://www.nature.com/articles/s44172-023-00074-3

【模擬深度神經網絡的噪聲瓶頸】

現有計算系統普遍采用存儲和運算分離的架構，存在“存儲墻”與“功耗墻”瓶頸，已經無法滿足當下爆發式增長的算力需求。近年來，基于憶阻器的模擬深度神經網絡（Analog DNNs）模仿人腦的結構和工作原理，將存儲與計算融為一體，具有高并行、低功耗、高算力的特點，因此存算一體的類腦計算有望打破馮諾依曼架構，是后摩爾時代下的重要選擇，尤其適用于大數據、大規模并行的應用場景。該計算架構利用交叉線路計算架構實現深度神經網絡的常見操作，避免了數據從內存傳輸到計算設備的瓶頸，從而突破了內存墻。

然而，模擬深度神經網絡同樣面臨重大挑戰，該計算架構對熱噪聲、電氣噪聲、工藝變化和編程錯誤非常敏感，無法像數字電路那樣通過高低電壓之間的差距來抵抗噪聲，可能導致網絡參數（由交叉線路交叉點處的電導表示）失真，從而影響模擬深度學習系統的可用性。

為了減小噪聲的有害影響，目前已有一些研究致力于改善設備穩定性，例如采用新材料和優化電路設計等方法。這些方法在一定程度上能夠緩解噪聲問題。然而，硬件修改通常只適用于特定類型的設備，缺乏普適性且增加額外的硬件成本。從算法的角度來看，以往的研究已表明，在訓練過程中注入噪聲可以改善模擬計算設備的噪聲魯棒性，提升網絡的精準度。

【突破噪聲瓶頸，提升網絡檢測精準度】

基于以上背景，上海AI實驗室視覺傳感器研究團隊提出了一種名為BayesFT的噪聲注入方法，并從理論上對注入噪聲強度和噪聲對性能的影響進行了深入分析，訓練出具有容錯性、抗噪聲性和適用于復雜任務的模擬深度神經網絡。

研究團隊首先分析了影響容錯性的關鍵因素，通過MemSim的憶阻器模擬平臺來研究不同深度神經網絡架構對模擬噪聲魯棒性的影響。著重探究了四個可能的影響因素，包括Dropout噪聲、歸一化、模型復雜度和激活函數。實驗結果表明，具有Dropout層的網絡在訓練過程中隨機去除參數，從而能夠提高對缺失參數的魯棒性，增強了網絡對參數漂移的抵抗能力。此外，在適當的噪聲注入設置下，自動搜索最優的神經網絡架構至關重要。基于這些發現，研究人員提出使用貝葉斯優化的噪聲注入方法（BayesFT）來搜索最優的Dropout Rates。同時，研究對不同的注入噪聲的分布模型進行了數學論證，在理論上證明了Dropout噪聲的有效性。實驗顯示，該方法在有噪的模擬計算設備上，對于復雜任務可實現網絡檢測精準度的顯著提升。

具有容錯性的模擬深度神經網絡框架

【已通過多個識別任務驗證】

實驗證明，BayesFT適用于各種深度神經網絡架構，并通過多個識別任務驗證，包括圖像分類（MNIST和CIFAR-10），交通標志識別和3D點云檢測（KITTI）。
在圖像分類任務中，BayesFT的平均精度相比其他算法至少提高了30%。基線方法（經驗風險最小化ERM）的分類精度隨著噪聲的增加而迅速降低，而BayesFT仍具有穩定的性能。

在圖像分類任務上的實驗結果

在交通標志識別任務中，BayesFT在σ = 0.4（衡量網絡噪聲的參數）時達到了基線方法檢測精度的三倍，極大地提高了模擬計算設備上的行人檢測系統的安全性。

在二維目標檢測上的實驗結果

在3D點云檢測任務中，BayesFT的平均檢測精度顯著優于基線算法，在噪聲參數為0.4時，ERM的檢測進度已降到0，而BayesFT仍然保有50%的精度。

在自動駕駛任務中三維目標檢測上的實驗結果

BayesFT使模擬深度神經網絡對噪聲不敏感，即使在大量噪聲下，也只會帶來相對較低的精度損失。通過提供可靠的實證性能和理論保證，該研究成果可以將模擬深度神經網絡的實用性擴展到以前無法應用的自動駕駛等生命關鍵任務領域。

結合日益發展的存儲器技術和模擬深度神經網絡，未來存算一體技術將形成新一代的算力元素，有望推動下一階段的人工智能發展。