圖片來(lái)源：圖蟲(chóng)創(chuàng)意

8月2日，記者從百度智能云方面獲悉，千帆大模型平臺(tái)已完成新一輪升級(jí)，重點(diǎn)升級(jí)了三大功能。

百度智能云AI與大數(shù)據(jù)平臺(tái)總經(jīng)理忻舟表示，目前，千帆大模型平臺(tái)已經(jīng)全面接入Llama2全系列、ChatGLM2、RWKV、MPT等33個(gè)大模型，成為國(guó)內(nèi)擁有大模型最多的平臺(tái)。接入的模型經(jīng)過(guò)千帆平臺(tái)二次性能增強(qiáng)，模型推理成本可降低50%。同時(shí)，千帆平臺(tái)上線了國(guó)內(nèi)最全的預(yù)置Prompt模板，模板數(shù)量多達(dá)103個(gè)，覆蓋對(duì)話、游戲、編程、寫(xiě)作十余個(gè)場(chǎng)景。第三，千帆是提供插件服務(wù)的大模型平臺(tái)，本次升級(jí)再次發(fā)布多款全新插件。

(相關(guān)資料圖)

2023年3月，百度智能云推出“千帆大模型平臺(tái)”，它是一站式的企業(yè)級(jí)大模型平臺(tái)，不但提供包括文心一言在內(nèi)的大模型服務(wù)及第三方大模型服務(wù)，還提供大模型開(kāi)發(fā)和應(yīng)用的整套工具鏈，能夠幫助企業(yè)解決大模型從訓(xùn)練到開(kāi)發(fā)過(guò)程中的問(wèn)題。

忻舟表示，本次千帆大模型平臺(tái)升級(jí)的目的是給企業(yè)、開(kāi)發(fā)者提供更加靈活、多樣化、高效的大模型服務(wù)，客戶可選擇最適合自身業(yè)務(wù)的大模型，再利用千帆平臺(tái)全套工具鏈進(jìn)行模型再訓(xùn)練，打造企業(yè)專屬大模型。

千帆接入Llama2等33個(gè)模型，推理成本可降低50%

當(dāng)前，開(kāi)源大模型生態(tài)發(fā)展迅速，大量模型涌現(xiàn)，在不同任務(wù)場(chǎng)景、參數(shù)量級(jí)與算力環(huán)境下體現(xiàn)出了差異化優(yōu)勢(shì)。如何選擇適合的大模型、如何應(yīng)用大模型能力提升市場(chǎng)競(jìng)爭(zhēng)力，成為越來(lái)越多企業(yè)迫切探索的方向。

為了滿足企業(yè)對(duì)大模型多樣的需求，百度智能云宣布，除了之前已經(jīng)接入的文心一言、BloomZ之外，本次升級(jí)后，千帆大模型平臺(tái)全面接入Llama2全系列、ChatGLM2、RWKV、MPT、Dolly、OpenLLaMA、Falcon等33個(gè)大模型。企業(yè)用戶可將不同大模型搭配使用，以滿足不同細(xì)分場(chǎng)景的業(yè)務(wù)需求。企業(yè)和開(kāi)發(fā)者可以登陸千帆大模型平臺(tái)操作臺(tái)，在“模型倉(cāng)庫(kù)”中直接調(diào)用、部署。

忻舟介紹，千帆平臺(tái)接入的大模型均經(jīng)過(guò)嚴(yán)格優(yōu)選，主要考核三大指標(biāo)：模型效果、模型安全性、可商用。

據(jù)介紹，一方面，千帆對(duì)每一個(gè)大模型進(jìn)行了二次性能增強(qiáng)。通過(guò)優(yōu)化模型吞吐、降低模型尺寸，實(shí)現(xiàn)模型推理速度的提升。據(jù)百度測(cè)算，調(diào)優(yōu)后模型體積可壓縮至25%-50%，推理成本可降低50%。

另一方面，千帆對(duì)第三方大模型做了二次安全增強(qiáng)。值得一提的是，千帆還提供多種低門檻調(diào)優(yōu)工具，包括SFT（全量參數(shù)微調(diào)、Prompt Tuning、LoRA）及強(qiáng)化學(xué)習(xí)（獎(jiǎng)勵(lì)模型學(xué)習(xí)、強(qiáng)化學(xué)習(xí)訓(xùn)練）等，同一模型還可通過(guò)多種方式持續(xù)調(diào)優(yōu)。

上線Prompt海量模板庫(kù)

Prompt是指通過(guò)自然語(yǔ)言向大模型提出問(wèn)題，問(wèn)題的好壞將直接影響大模型的內(nèi)容輸出質(zhì)量。實(shí)際應(yīng)用時(shí)，大模型往往因?yàn)镻rompt缺乏針對(duì)性、描述不清晰等原因影響到內(nèi)容準(zhǔn)確性。

為幫助客戶提高Prompt提問(wèn)質(zhì)量、提升模型輸出滿意度，本輪升級(jí)后，百度智能云千帆大模型平臺(tái)上線了海量預(yù)置Prompt模板庫(kù)，模板數(shù)量多達(dá)103個(gè)，包含對(duì)話、編程、電商、醫(yī)療、游戲、翻譯、演講等十余個(gè)場(chǎng)景。用戶可以根據(jù)需求選擇合適的模板，直接輸出給大模型,即可提高模型內(nèi)容的針對(duì)性和準(zhǔn)確度。

忻舟表示，很多企業(yè)使用大模型時(shí)，認(rèn)為效果不好是模型本身的問(wèn)題，其實(shí)很多時(shí)候重新編寫(xiě)Prompt就能達(dá)到預(yù)想的效果。海量Prompt模板的推出，降低了Prompt撰寫(xiě)難度。

提供插件服務(wù)的大模型平臺(tái)，千帆插件功能再上新

插件是大模型能力的延伸，可以讓大模型的認(rèn)知能力與外部信息、資源融合打通，極大擴(kuò)展大模型的功能邊界。據(jù)了解，今年6月，千帆平臺(tái)就上線了插件功能，是國(guó)內(nèi)首家提供插件服務(wù)的大模型平臺(tái)。

為實(shí)現(xiàn)客戶更加個(gè)性化的需求，千帆大模型平臺(tái)又發(fā)布了一系列插件功能。例如，剛剛上線的“Chatfile插件”，用戶可在大模型對(duì)話中一鍵上傳PDF/Doc格式文檔，大模型即可基于文檔內(nèi)容實(shí)現(xiàn)知識(shí)點(diǎn)檢索，長(zhǎng)文本摘要等功能。

值得一提的是，千帆的插件功能已應(yīng)用于百度內(nèi)部的辦公場(chǎng)景中，基于大模型技術(shù)打造的如流“超級(jí)助手”接入了會(huì)議室插件、內(nèi)部搜索插件等20個(gè)插件。百度員工用自然語(yǔ)言與“超級(jí)助手”對(duì)話，即可實(shí)現(xiàn)文檔搜索、會(huì)議室預(yù)定、飯卡充值、休假申請(qǐng)等功能。

忻舟表示，大量客戶調(diào)研顯示，企業(yè)對(duì)插件功能的需求非常迫切。