作業幫受邀出任稀土開發者大會架構專場出品人 并暢談大模型推理技術實踐快訊
還針對行業熱點的大模型技術做了重點分享，作業幫業務中臺技術負責人熊定云與聲網、小紅書、海達數據庫等技術負責人場景化的還原了頭部科技企業在架構技術方面的實踐經驗，稀土開發者大會是由稀土掘金技術社區主辦。
6月28日至29日，集行業前瞻性與實踐性為一體的稀土開發者大會在京成功舉辦。憑借對前沿科技的持續探索與深入研究，作業幫應邀參會，不僅重點參與了架構專題的建設，還針對行業熱點的大模型技術做了重點分享。
作業幫線上業務中心負責人鄭長帥受邀出任架構設計和業務穩定性建設出品人，立足行業，鄭長帥深入參與了本場會議架構議題的選材與建設，作業幫業務中臺技術負責人熊定云與聲網、小紅書、海達數據庫等技術負責人場景化的還原了頭部科技企業在架構技術方面的實踐經驗。
穩定性是系統架構治理的一個重要環節。每個業務都有各自領域的特點和發展階段，相應地也會遇到穩定性挑戰和治理決策的問題。作業幫的架構呈現多元化差異化、跨平臺多角色強協同等特點，容量、功能、數據、容錯容災、高頻活動的保障便成為了作業幫架構治理的關鍵任務點。
在架構專場，熊定云從作業幫架構的整體思考出發，圍繞作業幫的架構治理方案的設計思路、方法、效果進行了詳細闡述，講解途中穿插實際案例，深入淺出地還原作業幫架構治理的實踐之路。在分享最后，熊定云強調，對系統的穩定性要時刻保持敬畏之心，關注業務或系統中產生的新變量，持續迭代認知、堅持必要投入。
此外，作為最早開始教育垂類大模型研發的企業，作業幫AI Infra架構師喬顯杰還在大模型部署與推理專題分享了作業幫大模型推理加速的實踐經驗。前沿科技的探索離不開底層技術的持續開發，隨著大模型的發展，參數量和計算量越來越大，這些年GPU的算力也在不斷發展，英偉達每次數據中心產品更新的算力都在5-10倍。因此如何充分利用GPU算力是大模型工程的重點。
喬顯杰提到，大模型推理優化的重點，是如何充分利用GPU算力資源。因此，避免充分冗余計算、減少非Gemm計算時間、最大化Gemm算力則成為大模型推理優化的關鍵步驟。喬顯杰通過開源框架的選擇、量化方式的探索等幾個方面詳細分享了作業幫大模型的推理實踐。
稀土開發者大會是由稀土掘金技術社區主辦，本屆大會主題為“代碼不止，掘金不停”，面向開發者社區的中堅力量，集結近百位國內外技術大咖，旨在幫助開發者拓寬技術視野，傳播前沿的技術理念，打造一場業界標桿級的開發者技術盛宴。
1.TMT觀察網遵循行業規范，任何轉載的稿件都會明確標注作者和來源；
2.TMT觀察網的原創文章，請轉載時務必注明文章作者和"來源：TMT觀察網"，不尊重原創的行為TMT觀察網或將追究責任；
3.作者投稿可能會經TMT觀察網編輯修改或補充。
