背景介紹

隨著大語言模型（Large Language Model, LLM）涌現(xiàn)，如何高效落地應(yīng)用LLM成為關(guān)鍵，以LLM為核心搭建各種Agent落地應(yīng)用（AI Agent ）成為新風(fēng)向。

貨拉拉在司機(jī)邀約、AI客服、創(chuàng)意生成等業(yè)務(wù)已經(jīng)應(yīng)用自研大模型提效，推進(jìn)AI應(yīng)用。各業(yè)務(wù)在摸索大模型落地的過程中，存在以下困難：

AI應(yīng)用集成難

構(gòu)建和使用AI應(yīng)用的用戶可能是場內(nèi)平臺能力，也可能是業(yè)務(wù)領(lǐng)域服務(wù)，也可能是飛書、瀏覽器插件這樣的SaaS系統(tǒng)，另外還有其他應(yīng)用場景或所需用戶。如何將AI應(yīng)用和這些場景或用戶無縫集成將決定用戶體驗和效果。

數(shù)據(jù)分散

 Prompt組裝或大模型的推理過程中可能涉及外部語料，這些語料來源存在多樣性（離線文件、場內(nèi)數(shù)據(jù)庫、第三方應(yīng)用），且可能涉及數(shù)據(jù)的ETL過程和Embedding存儲和查找。

落地成本高

各業(yè)務(wù)探索大模型落地需要定制化開發(fā)，例如會話記錄、模型抉擇、token分割等。

綜合如上現(xiàn)狀和問題，貨拉拉搭建了LLM應(yīng)用平臺（可視化界面，用戶可通過拖拽2min快速搭建部署應(yīng)用），貼合業(yè)務(wù)側(cè)需求，降低業(yè)務(wù)和算法應(yīng)用大模型的成本，縮短接入周期，支持快速便捷構(gòu)建AI應(yīng)用提效能。

LLM應(yīng)用平臺

1 平臺架

貨拉拉每月消息發(fā)送量高達(dá)26億，重復(fù)或近似的消息推送會導(dǎo)致用戶疲勞，消息點擊率下降，甚至用戶可能關(guān)閉消息推送通知，在消息層面流失之后不能再次被觸達(dá)。

針對以上問題，我們在營銷消息觸達(dá)時，采用AIGC輔助運營生成消息文案和改寫消息文案，助力運營提效、同時提高消息的點擊率。采用大模型生產(chǎn)AIGC文案，在貨拉拉LLM應(yīng)用平臺，僅2min可快速搭建AI應(yīng)用，支持業(yè)務(wù)落地。

文案代寫：用戶僅需輸入【關(guān)鍵詞】，通過flow 幾秒鐘可返回多個文案，在提升運營文案創(chuàng)作效率的同時，豐富了文案庫。例如，

關(guān)鍵詞：開城, 冷藏車上線, 贏x元京東卡文案改寫：用戶僅需輸入【待改寫文案】，通過flow 可快速返回多風(fēng)格候選文案，不僅提高文案改寫效率，同時也保證了文案的質(zhì)量和用戶體感。例如，

標(biāo)題：您有6張發(fā)貨神券已到賬??！

內(nèi)容：月末省錢日，6張發(fā)貨神券已到您的賬戶，單張最高立減30元，快去下單吧>>

2 AI邀約

貨拉拉邀約中心已經(jīng)積累了大量的線索，并且線索量還在不斷增加。不同邀約員針對邀約線索標(biāo)注習(xí)慣不同，導(dǎo)致線索管理相對低效。

針對上述問題，采用LLM應(yīng)用平臺構(gòu)建AI應(yīng)用，針對對脫敏線索數(shù)據(jù)處理，識別線索中司機(jī)的情緒和意圖，助力線索管理提效，進(jìn)而提升線線索跟進(jìn)率。

例如，針對以下兩個對話示例，通過LLM應(yīng)用平臺flow，可以快速標(biāo)記出司機(jī)的情感和意向。

3 智能廣告

貨拉拉廣告日均曝光量約2700w，廣告的曝光以圖片為主，但目前大模型針對圖片素材生成效果并不理想。針對廣告素材生成我們分步優(yōu)化，優(yōu)先支持素材文案生成和改寫在業(yè)務(wù)快速落地應(yīng)用。

針對廣告文案代寫和改寫，通過LLM應(yīng)用平臺搭建flow生成AI應(yīng)用后，用戶僅需要輸入【業(yè)務(wù)線名稱】或者【待改寫文案】便可快速生成多候選文案，提升運營廣告素材生成效率以及廣告點擊率。

文案代寫示例

業(yè)務(wù)線名稱：大車

文案改寫示例

待改寫文案：下單發(fā)貨搶紅包

4 輔助建模

LLM生成文案時需要運營輸入關(guān)鍵詞或者說明風(fēng)格，輔助LLM更好的理解以生成更好的結(jié)果。初始階段我們可以運營輔助，長遠(yuǎn)預(yù)期可自動化生產(chǎn)文案，自動化文案生成離不開優(yōu)秀的文案庫，因此類似風(fēng)格標(biāo)簽、關(guān)鍵詞總結(jié)均可以輔助我們豐富文案庫，為未來自動化生產(chǎn)文案奠定基礎(chǔ)。

以下是在貨拉拉LLM應(yīng)用平臺，針對風(fēng)格標(biāo)簽和關(guān)鍵詞總結(jié)的應(yīng)用示例，flow應(yīng)用搭建快速，且可快速響應(yīng)，結(jié)果質(zhì)量有保證。

風(fēng)格標(biāo)簽：針對文案可批量快速打上對應(yīng)的風(fēng)格標(biāo)簽，輔助豐富文案庫

文案1：標(biāo)題:速點！送您80元搬家券包；摘要:A.穩(wěn)穩(wěn)地接住 B.悄悄去下單

文案2：標(biāo)題:您有新的優(yōu)惠券入賬??；摘要:10元優(yōu)惠券已發(fā)放到您的賬戶上，快去使用吧~

文案3：標(biāo)題:貨拉拉誠邀您參與問卷調(diào)研；摘要:貨拉拉誠邀您參與問卷調(diào)研，并有機(jī)會獲得16元優(yōu)惠券喔~

文案4：標(biāo)題:要搬家？優(yōu)惠券即將過期??；摘要:A.放棄優(yōu)惠 B.點擊預(yù)約無憂搬家，包搬包運>>

文案5：標(biāo)題:（領(lǐng)）8.8折優(yōu)惠券！；摘要:立享優(yōu)惠，去發(fā)貨??????

文案6：標(biāo)題:您有新的優(yōu)惠券到賬啦；摘要:16元調(diào)研優(yōu)惠已到賬，快下單享受優(yōu)惠吧

關(guān)鍵詞總結(jié)：可針對文案內(nèi)容總結(jié)出核心關(guān)鍵詞，基于這些關(guān)鍵詞可再生成文案，豐富文案庫

總結(jié)

針對貨拉拉司內(nèi)LLM應(yīng)用落地低效的問題，我們搭建了貨拉拉LLM應(yīng)用平臺，大模型能力體系逐漸閉環(huán)，從完善的大模型工具鏈到AI開發(fā)平臺，助力加速AI應(yīng)用落地。

LLM應(yīng)用平臺支持對組件、模型、以及AI應(yīng)用進(jìn)行管理，同時可視化界面，用戶可以通過簡單的拖拽鏈接組件幾分鐘快速搭建應(yīng)用。使得應(yīng)用大模型效率提升98.75%，平均接入耗時從24小時降低到18分鐘。

LLM應(yīng)用平臺提供了大模型應(yīng)用業(yè)務(wù)的通解，已在營銷文案生成、貨運邀約情緒識別、智能廣告素材生成等7個業(yè)務(wù)場景落地。

LLM應(yīng)用平臺也在逐步完善，會持續(xù)不斷迭代，為LLM在貨拉拉司內(nèi)落地提供更優(yōu)質(zhì)、更高效的服務(wù)。