背景介紹

隨著大語言模型（Large Language Model, LLM）涌現(xiàn)，如何高效落地應用LLM成為關鍵，以LLM為核心搭建各種Agent落地應用（AI Agent ）成為新風向。

貨拉拉在司機邀約、AI客服、創(chuàng)意生成等業(yè)務已經應用自研大模型提效，推進AI應用。各業(yè)務在摸索大模型落地的過程中，存在以下困難：

AI應用集成難

構建和使用AI應用的用戶可能是場內平臺能力，也可能是業(yè)務領域服務，也可能是飛書、瀏覽器插件這樣的SaaS系統(tǒng)，另外還有其他應用場景或所需用戶。如何將AI應用和這些場景或用戶無縫集成將決定用戶體驗和效果。

數(shù)據(jù)分散

 Prompt組裝或大模型的推理過程中可能涉及外部語料，這些語料來源存在多樣性（離線文件、場內數(shù)據(jù)庫、第三方應用），且可能涉及數(shù)據(jù)的ETL過程和Embedding存儲和查找。

落地成本高

各業(yè)務探索大模型落地需要定制化開發(fā)，例如會話記錄、模型抉擇、token分割等。

綜合如上現(xiàn)狀和問題，貨拉拉搭建了LLM應用平臺（可視化界面，用戶可通過拖拽2min快速搭建部署應用），貼合業(yè)務側需求，降低業(yè)務和算法應用大模型的成本，縮短接入周期，支持快速便捷構建AI應用提效能。

LLM應用平臺

1 平臺架

貨拉拉每月消息發(fā)送量高達26億，重復或近似的消息推送會導致用戶疲勞，消息點擊率下降，甚至用戶可能關閉消息推送通知，在消息層面流失之后不能再次被觸達。

針對以上問題，我們在營銷消息觸達時，采用AIGC輔助運營生成消息文案和改寫消息文案，助力運營提效、同時提高消息的點擊率。采用大模型生產AIGC文案，在貨拉拉LLM應用平臺，僅2min可快速搭建AI應用，支持業(yè)務落地。

文案代寫：用戶僅需輸入【關鍵詞】，通過flow 幾秒鐘可返回多個文案，在提升運營文案創(chuàng)作效率的同時，豐富了文案庫。例如，

關鍵詞：開城, 冷藏車上線, 贏x元京東卡文案改寫：用戶僅需輸入【待改寫文案】，通過flow 可快速返回多風格候選文案，不僅提高文案改寫效率，同時也保證了文案的質量和用戶體感。例如，

標題：您有6張發(fā)貨神券已到賬?。?br>

內容：月末省錢日，6張發(fā)貨神券已到您的賬戶，單張最高立減30元，快去下單吧>>

2 AI邀約

貨拉拉邀約中心已經積累了大量的線索，并且線索量還在不斷增加。不同邀約員針對邀約線索標注習慣不同，導致線索管理相對低效。

針對上述問題，采用LLM應用平臺構建AI應用，針對對脫敏線索數(shù)據(jù)處理，識別線索中司機的情緒和意圖，助力線索管理提效，進而提升線線索跟進率。

例如，針對以下兩個對話示例，通過LLM應用平臺flow，可以快速標記出司機的情感和意向。

3 智能廣告

貨拉拉廣告日均曝光量約2700w，廣告的曝光以圖片為主，但目前大模型針對圖片素材生成效果并不理想。針對廣告素材生成我們分步優(yōu)化，優(yōu)先支持素材文案生成和改寫在業(yè)務快速落地應用。

針對廣告文案代寫和改寫，通過LLM應用平臺搭建flow生成AI應用后，用戶僅需要輸入【業(yè)務線名稱】或者【待改寫文案】便可快速生成多候選文案，提升運營廣告素材生成效率以及廣告點擊率。

文案代寫示例

業(yè)務線名稱：大車

文案改寫示例

待改寫文案：下單發(fā)貨搶紅包

4 輔助建模

LLM生成文案時需要運營輸入關鍵詞或者說明風格，輔助LLM更好的理解以生成更好的結果。初始階段我們可以運營輔助，長遠預期可自動化生產文案，自動化文案生成離不開優(yōu)秀的文案庫，因此類似風格標簽、關鍵詞總結均可以輔助我們豐富文案庫，為未來自動化生產文案奠定基礎。

以下是在貨拉拉LLM應用平臺，針對風格標簽和關鍵詞總結的應用示例，flow應用搭建快速，且可快速響應，結果質量有保證。

風格標簽：針對文案可批量快速打上對應的風格標簽，輔助豐富文案庫

文案1：標題:速點！送您80元搬家券包；摘要:A.穩(wěn)穩(wěn)地接住 B.悄悄去下單

文案2：標題:您有新的優(yōu)惠券入賬?。徽?10元優(yōu)惠券已發(fā)放到您的賬戶上，快去使用吧~

文案3：標題:貨拉拉誠邀您參與問卷調研；摘要:貨拉拉誠邀您參與問卷調研，并有機會獲得16元優(yōu)惠券喔~

文案4：標題:要搬家？優(yōu)惠券即將過期??；摘要:A.放棄優(yōu)惠 B.點擊預約無憂搬家，包搬包運>>

文案5：標題:（領）8.8折優(yōu)惠券??；摘要:立享優(yōu)惠，去發(fā)貨??????

文案6：標題:您有新的優(yōu)惠券到賬啦；摘要:16元調研優(yōu)惠已到賬，快下單享受優(yōu)惠吧

關鍵詞總結：可針對文案內容總結出核心關鍵詞，基于這些關鍵詞可再生成文案，豐富文案庫

總結

針對貨拉拉司內LLM應用落地低效的問題，我們搭建了貨拉拉LLM應用平臺，大模型能力體系逐漸閉環(huán)，從完善的大模型工具鏈到AI開發(fā)平臺，助力加速AI應用落地。

LLM應用平臺支持對組件、模型、以及AI應用進行管理，同時可視化界面，用戶可以通過簡單的拖拽鏈接組件幾分鐘快速搭建應用。使得應用大模型效率提升98.75%，平均接入耗時從24小時降低到18分鐘。

LLM應用平臺提供了大模型應用業(yè)務的通解，已在營銷文案生成、貨運邀約情緒識別、智能廣告素材生成等7個業(yè)務場景落地。

LLM應用平臺也在逐步完善，會持續(xù)不斷迭代，為LLM在貨拉拉司內落地提供更優(yōu)質、更高效的服務。