蘋果推出DeepPCR算法：加速神經網絡訓練和推理能力快訊
DeepPCR 是一種用于在神經網絡訓練和推理中并行化順序過程的創新方法，可以加速神經網絡的推理和訓練，進一步加速了神經網絡的訓練和推理。
IT之家 12 月 16 日消息，蘋果公司近日發布了 DeepPCR 機器學習算法，通過并行處理常規順序操作，可以加速神經網絡的推理和訓練。
神經網絡已能處理文本或圖片合成、分割和分類等復雜任務。不過由于計算需求過大，神經網絡訓練和反饋結果的時間可能需要數天或者數周。
神經網絡處理過程中，目前廣泛采取并行化技術，可以加速訓練和推理速度。
不過神經網絡中的一些操作仍然是按順序完成的，擴散模型通過一系列的去噪階段生成輸出，并且逐層進行向前和向后傳遞，隨著步驟數的增加，這些進程的順序執行在計算上變得昂貴，可能會導致計算瓶頸。
蘋果公司科研團隊為了解決這個問題，推出了 DeepPCR 算法，進一步加速了神經網絡的訓練和推理。
該團隊采用了平行循環還原（PCR）算法來檢索該解決方案，將順序過程的計算成本從 O（L）降低到 O（log2 L），降低了復雜性，提高了運行速度。
團隊表示多層感知器中部署 DeepPCR 算法之后，并行化前向和后向通過，實現了最高 30 倍的前向傳遞速度和最高 200 倍的向后傳遞速度。
IT之家附上 DeepPCR 算法主要結論如下：
DeepPCR 是一種用于在神經網絡訓練和推理中并行化順序過程的創新方法。它的主要特點是能夠將計算復雜度從 O（L） 降低到 O（log2 L），其中 L 是序列長度。
DeepPCR 已用于并行化多層感知器 （MLP） 中的前向和后向傳遞，還對該技術的性能進行了廣泛的分析，以確定該方法的高性能狀態，同時考慮基本設計參數。
DeepPCR 已被用于加速 MNIST 上的深度 ResNet 訓練，以及在 MNIST、CIFAR-10 和 CelebA 數據集上訓練的擴散模型的生成。結果表明，雖然 DeepPCR 顯示出顯著的加速，將 ResNet 訓練的數據恢復速度提高了 7×，擴散模型創建速度提高了 11×。
1.TMT觀察網遵循行業規范，任何轉載的稿件都會明確標注作者和來源；
2.TMT觀察網的原創文章，請轉載時務必注明文章作者和"來源：TMT觀察網"，不尊重原創的行為TMT觀察網或將追究責任；
3.作者投稿可能會經TMT觀察網編輯修改或補充。
