- 螞蟻百靈參戰大模型
- 2023年11月07日 來源:北京商報
提要:談及業務場景,螞蟻集團副總裁、百靈大模型負責人徐鵬透露,備案通過后,“百靈”將全線應用到螞蟻的各個業務場景,并在各垂直領域創新研發產品,更多應用產品即將面向社會開放。
巨頭再現新進展,大模型在各行各業落子不斷。11月6日,北京商報記者了解到,螞蟻百靈大模型已完成備案,基于百靈大模型的多款產品已陸續完成內測。而引發關注的金融行業大模型層面,螞蟻集團也在不久前發布了金融大模型及兩款應用產品。事實上,不僅是螞蟻,包括度小滿、樂信等綜合金融科技平臺,以及馬上消費、招聯消費金融等消費金融機構,都在布局金融行業大模型,多方爭雄,大模型激戰升級。
入場倒計時
11月6日,北京商報記者從螞蟻集團獲悉,根據國家七部委聯合公布的《生成式人工智能服務管理暫行辦法》指導要求,螞蟻百靈大模型已完成備案,基于百靈大模型的多款產品已陸續完成內測,將向公眾開放。
本次通過備案的是螞蟻百靈語言大模型,該大模型采用TransFormer架構,基于萬億級Token語料訓練而成,支持窗口長度達32K。
據了解,螞蟻大模型堅持自主研發、全棧布局,目前已形成包括大模型底層基礎設施、基礎大模型、行業大模型、應用產品在內的完整技術鏈條。
算力上,螞蟻建設了萬卡異構集群,其中硬件算力效率(HFU)超過60%,集群有效訓練時長占比90%以上,RLHF訓練在同等模型效果下訓練吞吐性能相較于業界方案提升3.59倍,推理性能相較于業界方案提升約2倍。
安全力方面,螞蟻研發了大模型安全一體化解決方案——蟻天鑒。“蟻鑒”平臺作為業內首個大模型安全評測工具,支持50萬/天飽和式攻擊,全面覆蓋生成內容數百類風險;“天鑒”平臺可在大模型運行時,覆蓋八大類風險,采用大模型對抗大模型的方式,使得風險召回率大于99%,其Guardrails前置護欄功能,能精確召回20多類提問風險意圖。
知識力上,螞蟻通過統一語料體系、數據預處理標準化、數據標注強化、評測立體化,形成了完備的知識處理能力。其中,集評測數據集與評測框架一體化的大模型評測平臺——EVE,能支持語言大模型和多模態大模型一站式自動化評測。
據悉,在基礎大模型層面,除了本次通過備案的百靈語言大模型,螞蟻集團也在研發百靈多模態大模型,并已內測。
易觀分析金融行業高級咨詢顧問蘇筱芮評價,本次通過備案的是螞蟻百靈語言大模型,大語言模型(LLM)是指建立在大量數據集上預訓練的巨大模型,包括多項關鍵要素,其中就需要海量算力與數據支撐的大參數;擁有智能能力,可解決它從未或極少見過的問題的能力;此外可加入預訓練,僅需要少量數據的微調甚至無需微調,就能夠解決多種通用型任務。
談及落地業務方向,在蘇筱芮看來,從上述特征來看,通用的大語言模型既可與螞蟻擅長的金融業務結合,向企業經營關鍵環節進行滲透,促進業務能效及可持續發展能力大幅提升,同時也可以向整個阿里生態內的其他本地生活、消費類等業務進行賦能,通過靈活的AI能力助力業務經營。
談及業務場景,螞蟻集團副總裁、百靈大模型負責人徐鵬透露,備案通過后,“百靈”將全線應用到螞蟻的各個業務場景,并在各垂直領域創新研發產品,更多應用產品即將面向社會開放。
激戰升級
除了通用大模型,目前在行業大模型層面,螞蟻集團也布局了包括金融、醫療、安全等領域。例如今年9月,螞蟻對外發布金融大模型及兩款應用產品:面向消費者的金融智能助理“支小寶2.0”和面向行業專家的金融業務助理“支小助”。
據介紹,支小寶2.0可為用戶提供高質量的行情分析、持倉診斷、資產配置和投教陪伴等服務,在知識力上,支小寶2.0的金融知識數據存儲量已達到百億級,能同時服務億級用戶。
浙江大學國際聯合商學院數字經濟與金融創新研究中心聯席主任、研究員盤和林評價,通過大模型來引導用戶進行投資決策,是非常好的輔助工具,也能賦能金融行業,能解決一些金融消費級產品和用戶匹配的問題,螞蟻大模型應該圍繞消費者的偏好來開發應用,增加玩法。
在大模型的浪潮里,積極布局的并非螞蟻一家,尤其是今年以來,大模型產業進入“百模大戰”模式,賽道熱度不斷高漲。
例如消費金融領域, 11月3日,招聯消費金融發布消費金融行業首個130億參數開源大模型“招聯智鹿”。該模型落地消費金融實際業務場景,以客服場景為例,該模型可結合具體會話狀態與服務場景,實時精準地定制回復話術,助力客服工作提質增效,節約時間成本近80%。據了解,該模型未來還將應用于更多細分場景,如風控管理、代碼生成、運營提升等,并在“智能體”技術、仿真模型、科技向善等方面持續探索。
無獨有偶,今年8月,馬上消費金融也發布了首個零售金融大模型“天鏡”,已在自動化營銷、風控等實際業務場景應用近6個月。馬上消費金融CTO蔣寧介紹,“目前,馬上消費每天能基于用戶1000萬個行為作出個性化的營銷和風險判斷,每天做上億次模型計算,每秒可以處理150萬特征的計算”。
另外,今年一季度樂信自研大模型LexinGPT也正式對外亮相,樂信方面稱,已全面加速自研大模型在業務流程中的落地應用,例如,通過深度學習算法,大模型可以更高效進行數據清洗、分類和計算,形成了不同場景下,用于預測用戶行為偏好的眾多精準模型,包括借錢意愿度模型、營銷偏好模型、offer滿意度模型、還款意愿度模型、客戶流失預警模型等;另一方面,LexinGPT還在電銷、業務機器人等多個業務流程中深入落地使用。二季度,樂信加速金融垂直大語言模型應用落地,在數據分析、數倉設計、風控數倉升級優化等領域落地,大大降低了數據分析的參與門檻、提高數據分析效率。
蘇筱芮認為,垂直領域的金融大模型,對于金融行業來說有兩方面意義,一方面是前端對客的核心價值與場景,主要作用是能夠提升服務體驗,包括智能營銷、智能客服等方面,同時也可在中后臺運營管理方面,例如信貸審批、核保理賠等流程性任務層面提升工作效率;另一方面則是在智能投研、投顧等財富管理場景,以及量化交易等金融特定任務方面,需根據金融大模型開展訓練與微調,具備進一步探索創新的價值。
難點待解
不過,現階段,如何在金融領域發揮大模型的能力,業內認為還有多個挑戰需要解決。
正如中國工程院院士鄔賀銓不久前表示,金融大模型的發展目前仍面臨著三方面挑戰。首先是金融行業對數據安全性、隱私合規性都有著嚴格的要求。尤其是在風控方面,對時效性與精準性要求嚴格,而一般的基礎大模型透明性、可信性、專業性不足,很難直接遷移為金融大模型。同時是金融大數據在成本與質量上的平衡問題。由于金融行業內的數據難以共享,因此金融大模型的數據規模遠遠不及通用語料,導致金融大模型難以產生“智能涌現”的效果。此外則是本地私有部署需要自建算力設施,對軟硬件產品有嚴格的信創要求,而且參數規模大則算力成本高。
“技術局限尚需突破。”蘇筱芮同樣指出,目前大語言模型仍然為靜態數據驅動的學習范式,無法實現新知識的快速學習與迭代。尤其是涉及到時效數據與專有數據的場景下存在障礙。另外,巨大的模型訓練與推理算力等成本拉低效益比,企業前期面臨大量的人力、物力投入,此外,大模型在參數體量巨大的情況下,仍然存在較高的推理成本。在她看來,安全合規可信應用底線尚需剛性保障。另外,無論是大模型的訓練推理,還是對話應用的過程中,都存在過多的隱私暴露與數據安全風險,這還有賴于技術突破和監管合規的進一步建立。