一口氣推出5款新模型 百度智能云主打大模型應用落地“效價比”快訊
百度副總裁謝廣軍 針對企業最關心的大模型落地場景、使用成本、應用開發、應用效果四大挑戰，上新5款大模型 最高推理調用成本下降53% 謝廣軍表示，百度智能云千帆在大模型ModelBuilder、AI原生應用開發工具組件AppBuilder兩個方面給出了最新。
【TechWeb】3月21日消息，2023年，大模型在全球范圍爆發式增長，經過一年的狂飆突進似發展后，業內普遍認為2024年是大模型應用落地元年。讓企業客戶愿意、能夠、有效的應用大模型能力，成為大模型企業思考的重點。
自2023年12月以來百度智能云千帆大模型平臺服務8萬企業用戶，累計幫助用戶精調1.3萬個大模型，幫助用戶開發出16萬個大模型應用。在這份成績的背后，百度智能云對服務企業落地大模型了也有了一套心法。
百度副總裁謝廣軍在接受媒體采訪時表示，2024年AI原生應用會加速落地，企業從探索場景逐步走到落地應用，這個時候會遇到模型性能、效果，以及在成本多方面的挑戰。綜合考量“大模型的使用效果、性能以及成本”即“效價比”，成為企業落地大模型的核心訴求。
百度副總裁謝廣軍
針對企業最關心的大模型落地場景、使用成本、應用開發、應用效果四大挑戰，百度智能云千帆在大模型ModelBuilder、AI原生應用開發工具組件AppBuilder兩個方面給出了最新“解題思路”。
一方面，為滿足企業“效價比”核心訴求，百度千帆ModelBuilder大模型服務全面升級，全新發布3個輕量級大模型、2個垂直場景大模型。
另一方面，百度智能云對千帆AppBuilder組件能力全面升級，開放工具組件增至55個，進一步大幅降低AI原生應用開發門檻。
通過這兩條腿齊發力，以期加速大模型在企業業務中的應用落地。
上新5款大模型 最高推理調用成本下降53%
謝廣軍表示，當前業界已逐漸形成一個共識，即模型不見得是參數規模越大越好。在很多實際的場景當中，用小尺寸的專家模型也能夠達到通用大模型的效果，小尺寸專家模型的推理成本會更低，更便宜。大模型“效價比”才是企業核心訴求。
基于這樣的研究方向，百度智能云推出了三款輕量級大模型。
ERNIE Speed作為三款輕量級大模型中的“大個子”，推理場景下擁有最高128k的上下文長度，在處理知識問答等任務時，能夠更好的處理上下文的依賴關系，生成更加連貫和準確的預測或回答。同時，針對特定場景可以將ERNIE Speed作為基座模型進行精調，模型效果可以追平甚至超過旗艦級大參數規模大模型，效價比大幅提升。
ERNIE Lite，其參數量相比ERNIE Speed更小，也更加適合搭載在低算力的AI加速卡上處理推理任務，在兼顧模型效果與推理性能的同時，大幅降低客戶落地應用成本。作為ERNIE-Bot-turbo模型的升級版，ERNIE Lite在情感分析、多任務學習、自然推理等場景下的應用效果提升了20%。推理調用成本大幅下降了53%。
ERNIE Tiny，三款輕量級模型中參數量最小的大模型，為客戶提供了極致低成本、低延遲的最佳選擇。在檢索、推薦、意圖識別等高并發、低延時等應用場景中，ERNIE Tiny的優異性能呈現了不俗表現。在某對話推薦業務場景中，精調后的ERNIE Tiny在搜索引擎推薦詞激發環節，相比ERNIE 3.5，對話輪次增長了3.5%，成本下降了32%。
此外，企業在落地應用中，對大模型在人物扮演、外部工具調用均有更高的效果要求。本次千帆大模型平臺ModelBuilder還基于對企業場景的深入洞察，結合百度自身業務最佳實踐沉淀，推出了ERNIE Character和ERNIE Functions兩款垂直場景大模型，分別適配客戶在角色扮演類應用場景（如游戲NPC、客服對話等）和工具調用場景（對話中使用外部工具、調用業務函數等）中的使用需求。
謝廣軍介紹，在企業實踐中，某智能硬件廠商，基于ERNIE Character打造智能助理，應用該模型后在人設一致性、激發并提升用戶聊天欲望等方面效果顯著提升。某旅游出行類APP，使用ERNIE Functions打造智能客服助手，在執行訂票、查詢航班狀態等多種function調用上準確性達到85%。
謝廣軍強調，新發布的三款輕量級模型主要有兩個使用場景：一是客戶、合作伙伴會結合自己的數據做垂類場景模型。一是百度也會基于這些小的基座模型，去開發一些行業垂類場景模型，比如做教育行業的教輔答題和解題等。
向量數據庫VDB 1.0亮相 開放工具組件達55個
千帆AppBuilder作為產業級AI原生應用開發平臺，是千帆的重要組成部分。
此次升級后的AppBuilder開放的工具組件多達55個。包括基于百度多年技術積累和自有業務沉淀的大模型組件、AI能力組件，也包括搜索等百度特色的業務組件、和多場景的第三方API工具，另外還提供了 RAG（知識檢索問答）、GBI（生成式數據分析）等根據典型應用場景深入調優的高級能力組件。
開發完成后，應用可多渠道分發與集成，AppBuilder支持將應用一鍵分發到微信客服、微信公眾號、Web端/H5及百度靈境矩陣等主流渠道。基于百度靈境矩陣，應用可在百度搜索、百度信息流等主流場景分發與掛載。真正實現應用開發出來后，就直接觸達用戶，打通從AI原生應用創建到開發再到分發的全流程。
開發AI原生應用離不開云基礎設施，值得一提的是，本次發布的基礎組件還包括了百度智能云全新推出的向量數據庫VDB 1.0。
謝廣軍表示，大模型火了之后，向量數據庫重要性凸顯，它可以幫助減輕幻覺、解決數據數據更新等問題，也是加速大模型在場景落地的關鍵技術。
百度向量數據庫VDB1.0既是一項獨立存在的產品和服務，是百度智能云的一項基礎設施，也是作為一項基礎云的組件和能力封裝到了千帆AppBuilder里面。
謝廣軍強調：“當前大模型落地過程中，向量數據庫應用成本相對較高，企業在千帆AppBuilder中組件化利用向量數據庫的能力，是一個性價比兼具的方案，相比同類開源產品，VDB 1.0性能最高提升10倍，相比付費產品，則更省成本。”
模型路由，讓成本再降15%
會上，謝廣軍還透露了百度智能云的模型路由服務。百度智能云的模型路由是以降本為目的來做MOE。
謝廣軍表示，模型路由能夠幫助客戶在使用場景中，根據不同情況選擇不同的能力模型。小模型往往比較擅長垂類場景，但在實際使用過程中，這種場景會非常多，十分泛化，模型路由通過分流，讓在某一垂類問題上更專業的專家模型來回答，專業的模型解答專業的問題。相比旗艦模型或者更大尺寸的模型，小尺寸模型也能達到同樣甚至趕超的效果，提升性能的同時降成本。如果都不能回答，就讓大尺寸的模型或者旗艦模型來“兜底”。
據介紹，通過百度智能云的模型路由方案，有企業客戶的模型推理成本降低15%。
謝廣軍稱：“當前，ModelRouter已啟動邀測，一些手機廠商客戶在應用過程中已經感受到成本的下降，保證業務效果不降的情況下，將簡單的Query調度到更輕量級的模型上，使得綜合成本下降。”（果青）
1.TMT觀察網遵循行業規范，任何轉載的稿件都會明確標注作者和來源；
2.TMT觀察網的原創文章，請轉載時務必注明文章作者和"來源：TMT觀察網"，不尊重原創的行為TMT觀察網或將追究責任；
3.作者投稿可能會經TMT觀察網編輯修改或補充。
