背景介紹

貨拉拉是一家從事同城、跨城貨運(yùn)、企業(yè)版物流服務(wù)、搬家、汽車銷售及車后市場服務(wù)的互聯(lián)網(wǎng)物流科技公司 。截至 2023 年底，貨拉拉業(yè)務(wù)范圍覆蓋全球 11 個(gè)市場，包括中國及東南亞、南亞、南美洲等地區(qū)，其中中國內(nèi)地總共覆蓋 363 座城市，月活司機(jī)達(dá) 90 萬，月活用戶達(dá)1200 萬。

隨著預(yù)訓(xùn)練大模型的出現(xiàn)為當(dāng)前 AI 領(lǐng)域的突破提供了新的通用化解決方案，讓人們真正看到了 AI 技術(shù)大規(guī)模普惠落地的可能，智能化應(yīng)用呈現(xiàn)了爆發(fā)式增長。

面對這一技術(shù)，既要抓住機(jī)遇立即行動，也要為人工智能的長跑做從長布局。AIGC 應(yīng)用要融入到企業(yè)技術(shù)和運(yùn)營中，緊貼應(yīng)用場景、致力于應(yīng)用創(chuàng)新，解決應(yīng)用落地的最后一公里。

圖：2024 AIGC 應(yīng)用層十大趨勢白皮書

根據(jù) IDC 關(guān)于 2024 AIGC 應(yīng)用層十大趨勢白皮書，不難看出，AIGC 應(yīng)用落地將建立在 AI Agent 技術(shù)和 AI 應(yīng)用開發(fā)平臺之上，近一年來各科技頭部企業(yè)紛紛落子 AI 應(yīng)用的普惠化。

例如 OpenAI 的 GPTs，百度的文心智能體平臺、字節(jié)跳動的 coze 平臺、騰訊的元器平臺、阿里的百煉平臺等。以預(yù)訓(xùn)練大模型為基礎(chǔ)的通用人工智能將作為一個(gè)元能力引擎，深度影響從企業(yè)市場到知識發(fā)展、內(nèi)容創(chuàng)作、協(xié)同交互等商業(yè)、工作的方方面面。

貨拉拉作為國內(nèi)貨運(yùn)領(lǐng)域賽道領(lǐng)跑企業(yè)，已經(jīng)在 AIGC 應(yīng)用落地方面做出了有益的嘗試和落地。

貨拉拉大模型應(yīng)用現(xiàn)狀與思考

貨拉拉內(nèi)的大模型業(yè)務(wù)領(lǐng)域多樣，目前已在營銷、邀約、客服、外呼等多個(gè)業(yè)務(wù)領(lǐng)域進(jìn)行大模型提效；企業(yè)內(nèi)的研發(fā)、測試、設(shè)計(jì)等用戶期望使用大模型；業(yè)務(wù)或用戶使用訴求多，例如在飛書中集成、或是網(wǎng)頁插件、或直接接口調(diào)用。

但各業(yè)務(wù)或用戶自行開發(fā)，工作量大且重復(fù)造輪子；且大模型推理過程中語料來源于公司內(nèi)部各處，無統(tǒng)一的知識中心；此外還存在做業(yè)務(wù)不清楚大模型怎么用，做大模型的不清楚業(yè)務(wù)的需求和使用方式。

基于此，貨拉拉的 大模型應(yīng)用一站式開發(fā)平臺 -- 悟空平臺 應(yīng)運(yùn)而出，依托于大模型為核心元能力引擎，采用低代碼和零代碼兩種開發(fā)方式，結(jié)合 AI Agent 相關(guān)思路和技術(shù)，提供多樣化的超級交互入口，最終為貨拉拉多元化的業(yè)務(wù)場景提供了高效、便捷、穩(wěn)定、可視化的大模型應(yīng)用開發(fā) SOP。

貨拉拉大模型應(yīng)用開發(fā)體系介紹

1

體系層級介紹

基于貨拉拉多元化的業(yè)務(wù)場景和訴求，設(shè)計(jì)了如下的大模型應(yīng)用開發(fā)體系分層：

用戶層：包含所有使用大模型能力的人或業(yè)務(wù)，例如邀約業(yè)務(wù)的用戶是企業(yè)內(nèi)邀約人員、營銷業(yè)務(wù)的用戶是運(yùn)營人員、代碼生成的用戶是技術(shù)員工。

交互層：交互層集成了瀏覽器插件、小程序、飛書工作臺、Web 頁面、機(jī)器人、Open API，通過悟空的應(yīng)用發(fā)布能力，業(yè)務(wù)可一鍵發(fā)布至所需的交互渠道，便于不同場景下的使用需求。

開發(fā)層：開發(fā)層是核心能力，是一個(gè)可視化的 AI 工具平臺，平臺向下對接貨拉拉自研大模型和外界大模型，向上提供統(tǒng)一的低代碼和零代碼 AI 應(yīng)用的構(gòu)建能力和統(tǒng)一發(fā)布機(jī)制，平臺自身提供 AI 應(yīng)用開發(fā)所需的技術(shù)功能，我將會在下面詳細(xì)介紹。

大模型層：悟空除支持貨運(yùn)大模型（自研）外，還接入了業(yè)界主流的多款開源和商業(yè)大模型，由悟空平臺統(tǒng)一管理與調(diào)用封裝。

下面，我將著重為大家介紹開發(fā)層（悟空平臺）和交互層（Lalabot）的設(shè)計(jì)。

2

悟空平臺

2.1 平臺架構(gòu)設(shè)計(jì)

現(xiàn)有平臺整體技術(shù)架構(gòu)如下：

悟空平臺技術(shù)架構(gòu)分為 5 個(gè)層級：

接入層：接入層位于平臺的最上層，面向場內(nèi)所有用戶。

• web 界面：提供一個(gè)統(tǒng)一的 web 平臺，用戶通過 web 平臺，可完成大模型或組件模板接入、知識構(gòu)建與管理、AI 插件注冊與調(diào)試、Prompt 編排與優(yōu)化、AI 應(yīng)用的構(gòu)建驗(yàn)證與發(fā)布、以及后置的 AI 應(yīng)用推理追蹤查詢、項(xiàng)目管理、成本與資源查詢和管控等所有操作。

• 接入渠道：悟空平臺提供多種對外的使用方式以支撐上游各業(yè)務(wù)場景需要。提供 AI 應(yīng)用調(diào)用流式 Chat 和非流式生成 API；集成飛書、企業(yè)微信等企業(yè)協(xié)作軟件機(jī)器人開放能力；面向企業(yè)內(nèi)非技術(shù)同學(xué)提供對話、寫作、繪圖一站式 AI 助手瀏覽器插件；以及 RAG、prompt 工程、工作流運(yùn)行、大模型調(diào)用等開放接口。

• 權(quán)限管理：負(fù)責(zé)功能、角色、應(yīng)用、知識庫等力度的權(quán)限管控。

應(yīng)用層：應(yīng)用層主要負(fù)責(zé)承接讓用戶如何簡便高效的構(gòu)建一個(gè)統(tǒng)一有效的 AI 能力。

• 低代碼 AI 應(yīng)用：通過拖拽組件到畫布的方式快捷搭建業(yè)務(wù) AI 流程，結(jié)合大模型、知識庫、工具等組件，完成 AI 應(yīng)用開發(fā)。

• 零代碼 AI 應(yīng)用：通過自然語言表達(dá)意圖的方式、提供行為說明，引入知識庫、工具等能力，對話式生成 AI 應(yīng)用的構(gòu)建。

• 應(yīng)用社區(qū)：悟空平臺支持優(yōu)秀 AI 應(yīng)用項(xiàng)目公開至應(yīng)用廣場，推動貨拉拉內(nèi)共建基于大模型的 AI 生態(tài)。用戶可以在應(yīng)用社區(qū)搜尋所需 AI 能力、學(xué)習(xí)參考構(gòu)建示例、快速復(fù)制到自身業(yè)務(wù)所在的工作空間。

功能層：悟空平臺的功能采用積木式設(shè)計(jì)，各功能模塊之間相互獨(dú)立，互不耦合，可單獨(dú)使用某一個(gè)模塊功能，也可以將多種功能包含融合，形成一個(gè)統(tǒng)一協(xié)作的 AI 能力。

• AI 工具：AI 工具是一種延伸大模型應(yīng)用場景和能力的解決方案，大模型是一個(gè)大腦，工具則像是四肢。大模型可自主決策使用工具，豐富大模型的應(yīng)用場景，完成此前無法完成的任務(wù)。

• Prompt 工程：Prompt 的優(yōu)劣直接決定大模型生成效果的好壞，悟空結(jié)合 AI Agent 技術(shù)，打造了 Prompt AI 助手，幫助用戶智能化的生成和優(yōu)化自己的 Prompt 結(jié)構(gòu)和信息，評測 Prompt 效果對比，以及快捷引用已保存的 Prompt。

• 知識管理：知識是 AI 應(yīng)用輸出回答的數(shù)據(jù)依據(jù)，悟空提供知識庫功能，幫助有專業(yè)數(shù)據(jù)積累或?qū)敵鼋Y(jié)果有準(zhǔn)確性、專業(yè)性要求的業(yè)務(wù)方或用戶。結(jié)合信息安全規(guī)范，底層知識引擎基于自研部署，且前置識別和脫敏風(fēng)險(xiǎn)信息，保證貨拉拉信息合規(guī)合法不外泄。

• 應(yīng)用監(jiān)控：AI 應(yīng)用的監(jiān)控是對業(yè)務(wù)使用穩(wěn)定性的保障。目前悟空平臺的監(jiān)控能力全方面覆蓋“事前事后”，AI 應(yīng)用構(gòu)建時(shí)，提供流程靜態(tài)測試、AI 應(yīng)用試運(yùn)行驗(yàn)證、AI 推理的環(huán)節(jié)埋點(diǎn)和可視化推理追蹤、資源的分配與管控。AI 應(yīng)用發(fā)布后，提供實(shí)時(shí)的 AI 應(yīng)用調(diào)用的 QPM、TPM、消耗成本、Tokens 等指標(biāo)曲線看板。

模型層：悟空平臺模型層主要使用貨拉拉自研大模型，此外，我們也針對業(yè)界優(yōu)秀的 Foundation Model 進(jìn)行微調(diào)和部署集成；以及集成了例如 OpenAI、通義千問等國內(nèi)外主流的閉源商業(yè)大模型的使用。

基建層：最底層是悟空平臺的基礎(chǔ)設(shè)施，包含數(shù)據(jù)庫、知識庫、詞庫、網(wǎng)關(guān)、三方服務(wù)的依賴，在此不做過多贅述。

  2.2 核心功能介紹

  2.2.1 零代碼 AI 應(yīng)用

零代碼 AI 應(yīng)用的構(gòu)建流程核心就是對話式生成，不同業(yè)務(wù)方的需求是不同的，所需的技能也不同。用戶進(jìn)入零代碼 AI 應(yīng)用構(gòu)建界面后，系統(tǒng)自動為該用戶分配一個(gè)構(gòu)建 AI 助手，構(gòu)建助手和用戶進(jìn)行聊天，在聊天過程中搜集完善用戶的訴求，在訴求完善過程中，一步步的去動態(tài)調(diào)整用戶所需的零代碼 AI 應(yīng)用配置，并根據(jù)上下文理解為完成用戶訴求所需要的技能，智能引入工具或知識或可用大模型等。

平臺上零代碼 AI 應(yīng)用構(gòu)建界面如下：

2.2.2 低代碼 AI 應(yīng)用

悟空平臺的低代碼 AI 應(yīng)用能力，旨在為貨拉拉提供靈活、通用、可配置、可調(diào)式的 AI 應(yīng)用構(gòu)建和使用能力。

低代碼 AI 應(yīng)用的使用流程如下：

低代碼 AI 應(yīng)用采用工作流的編排方式，流上的每一個(gè)環(huán)節(jié)都是一個(gè)具備不同功能的組件節(jié)點(diǎn)，組件是 AI 應(yīng)用的基本功能單位。也就是說每一個(gè)組件節(jié)點(diǎn)都有相對獨(dú)立的功能，以及定義其功能的輸入、輸出要求和配置參數(shù)。通過組件與組件之間的拼接，可以達(dá)到不同的 AI 能力。

按照功能相似度上的分類，悟空平臺目前已支持 AI Agent、Chain、記憶、提示詞、知識庫、工具、輸出解析等 14 種類型，每種類型下又有若干個(gè)實(shí)際組件可供使用。

流式的編排方式，意味著用戶可任意組合和連接組件，形成一條統(tǒng)一可執(zhí)行的流程配置。

一條可執(zhí)行的 AI 流程，其環(huán)節(jié)中可能包含一次或多次的大模型推理或其他相同功能節(jié)點(diǎn)執(zhí)行，用戶向流程開始節(jié)點(diǎn)輸入?yún)?shù)后，開始節(jié)點(diǎn)接收用戶輸入，將數(shù)據(jù)流經(jīng)下一節(jié)點(diǎn)，節(jié)點(diǎn)處理后數(shù)據(jù)流向下一節(jié)點(diǎn)，或回轉(zhuǎn)至之前環(huán)節(jié)（召回推理）。達(dá)到一次性的流程運(yùn)行或 Agent 多次內(nèi)置推理的能力。

平臺上低代碼 AI 應(yīng)用構(gòu)建界面如下：

  2.2.3 知識管理

知識主要用于 AI 應(yīng)用推理過程中，大模型生成結(jié)果時(shí)的上下文參考作用，目的就是在不涉及訓(xùn)練或微調(diào)模型的情況下，讓大模型生成結(jié)果盡量準(zhǔn)確專業(yè)，降低大模型幻覺。

悟空的知識管理底層包含多項(xiàng)相關(guān)技術(shù)，包含數(shù)據(jù)提取、Embedding Model、向量引擎、Re-Ranking、RAG 等，在此不做一一贅述，整體技術(shù)實(shí)現(xiàn)參考如下：

悟空平臺知識管理界面如下：

2.2.4 AI 工具

當(dāng)前貨拉拉企業(yè)內(nèi)各內(nèi)部服務(wù)和功能較為獨(dú)立分散，悟空AI工具功能模塊允許企業(yè)內(nèi)業(yè)務(wù)將自身能力注冊為自定義工具，利用AI的能力，將多個(gè)平臺或服務(wù)能力整合起來，形成一個(gè)簡便、一致、可對話的業(yè)務(wù)AI入口。

例如傳統(tǒng)的運(yùn)營活動，需要在運(yùn)營平臺上手動選擇活動城市、人群等信息，而將活動創(chuàng)建功能注冊為AI工具，我們只需要對話式的告訴活動Agent想在某一時(shí)間段內(nèi)某個(gè)城市中對哪些人群創(chuàng)建活動，活動Agent將自動理解運(yùn)營訴求并調(diào)用城市人群獲取和自動創(chuàng)建活動任務(wù)并下發(fā)生效。

此外平臺內(nèi)置和集成了豐富的工具，包括天氣查詢、聯(lián)網(wǎng)檢索、圖片理解、圖片生成、代碼解釋器、語音合成、地理編解碼、語言翻譯等 API 及多模態(tài)模型。使用這些工具，可以幫助用戶擴(kuò)展 AI 應(yīng)用能力邊界。例如接入「聯(lián)網(wǎng)搜索」組件，使AI應(yīng)用能夠檢索全網(wǎng)的實(shí)時(shí)信息；例如接入「天氣查詢」組件，使AI應(yīng)用能夠?qū)崟r(shí)獲取某地天氣預(yù)測等。

平臺目前為用戶提供數(shù)十種開放使用的 AI 工具，同時(shí)也在持續(xù)集成新的工具到工具庫中，此外還支持用戶通過多種方式自行在平臺上創(chuàng)建和發(fā)布自定義工具：

 2.2.5 應(yīng)用監(jiān)控

AI 應(yīng)用的一次推理過程，可能涉及提示詞組裝、知識檢索、工具調(diào)用、歷史記憶提取、Agent Planning、Action 下發(fā)等多個(gè)動作的執(zhí)行過程，最終輸出一個(gè)終態(tài)的結(jié)果。但終態(tài)結(jié)果是否符合用戶預(yù)期，中間動作過程經(jīng)歷了什么及怎樣追蹤推理鏈路，最終結(jié)果如何復(fù)現(xiàn)，本次推理耗費(fèi)了多少資源，花銷了多少成本，這些都不得而知。

悟空平臺提供了 AI 應(yīng)用的綜合監(jiān)控能力，監(jiān)控能力主要包含幾方面：一是對業(yè)務(wù)方或組織架構(gòu)粒度所屬的所有 AI 應(yīng)用調(diào)用指標(biāo)的宏觀匯總；二是提供針對指定 AI 應(yīng)用的調(diào)用指標(biāo)和成本消耗曲線看板；三是提供 AI 應(yīng)用的歷史推理輪數(shù)的查詢定位；四是針對某個(gè) AI 應(yīng)用的某次推理過程提供可視化的過程追蹤能力。

悟空平臺的應(yīng)用監(jiān)控大盤界面如下：

悟空平臺的可視化推理追蹤界面如下：

3Lalabot

  3.1 產(chǎn)品架構(gòu)設(shè)計(jì)

Lalabot 是為貨拉拉企業(yè)內(nèi)所有員工打造的一款先進(jìn) AI 助手，底層依托于 悟空平臺和大模型，支持瀏覽器插件、手機(jī)小程序、PC Web 等多端應(yīng)用，Lalabot 集聊天、寫作、AI 繪圖、圖升文、定制化 Agent 幾大功能于一身，助力貨拉拉企業(yè)內(nèi)員工高效、便捷的工作。

  3.2 核心功能介紹

  3.2.1 聯(lián)網(wǎng)搜索

由人工智能驅(qū)動的搜索輔助，用戶只需輸入自己的問題，AI 將對其進(jìn)行分析，使用多個(gè)相關(guān)搜索關(guān)鍵詞，并總結(jié)各種結(jié)果條目，以找到用戶問題的答案，并提供相關(guān)的提示詞去幫助用戶收集更深入的信息。

  3.2.2 定制化 Agent

上文介紹的悟空平臺 -- 貨拉拉一站式 AI 應(yīng)用開發(fā)平臺，用戶可以在悟空平臺上將構(gòu)建好的 AI 應(yīng)用一鍵發(fā)布到 Lalabot 上，打造專屬的 AI Agent，這些 Agent 能夠幫助用戶從處理簡單問題到執(zhí)行復(fù)雜的對話邏輯。而更棒的是，用戶可以將自己發(fā)布的定制 Agent 分享和公開，讓其他用戶一起使用。

  3.2.3 智能摘要

面對長網(wǎng)頁、論文、設(shè)計(jì)方案、會議記錄、聊天歷史這些長段上下文信息，可以讓 Lalabot 幫助摘要總結(jié)這些內(nèi)容，提取輸入內(nèi)容的核心內(nèi)容和重要結(jié)論，以便能夠快速了解內(nèi)容的主題、目的和匯總。

3.2.4 寫作與繪圖

Lalabot 的寫作代理，只需要用戶提供少量輸入，明確用戶寫作的主題方向，即可為用戶生成文章標(biāo)題和大綱，一旦達(dá)成一致，寫作代理將內(nèi)置搜索相關(guān)文獻(xiàn)資料，起草用戶文章，最終呈現(xiàn)給用戶一篇可用的文章。

而 Lalabot 的繪圖代理，只需要用戶輸入要繪制的簡短描述，繪圖代理會智能理解和擴(kuò)充用戶輸入的描述，最終生成待繪制圖片的詳細(xì)文字描述并和用戶達(dá)成一致，最終呈現(xiàn)給用戶繪制好的圖片。

貨拉拉大模型應(yīng)用落地

1

應(yīng)用落地詳情

依托于悟空平臺，貨拉拉目前已在 14+ 個(gè)業(yè)務(wù)或部門，50+ 個(gè)真實(shí)業(yè)務(wù)場景，探索和落地 AI 能力：

我將從貨拉拉數(shù)十個(gè) AI 業(yè)務(wù)場景中摘選幾個(gè)落地業(yè)務(wù)為大家簡要介紹。

2

智能邀約培訓(xùn)對練

邀約培訓(xùn)對練底層基于悟空 AI 能力，利用大模型、ASR、TTS、數(shù)字人等技術(shù)，打造一個(gè)能聽、能說，能理解的 AI 助手，實(shí)現(xiàn)智能化培訓(xùn)、質(zhì)檢、對練能力，提升高員工技能水準(zhǔn)，增強(qiáng)用戶體驗(yàn)，降低人力成本。

3

專業(yè)助理

專業(yè)化助理需求涵蓋智能問答、日報(bào)周報(bào)生成、企業(yè)專業(yè)方案生成、智能客服等多個(gè)子場景，貨拉拉在專業(yè)助理方面進(jìn)行了長期且有效的探索工作，幫助企業(yè)內(nèi)數(shù)十個(gè)業(yè)務(wù) AI 訴求進(jìn)行了落地。

智能周報(bào)生成：周報(bào)信息包含真實(shí)數(shù)據(jù)，包含多形式觀測驗(yàn)證的餅圖、趨勢圖、分布圖，最終生成的周報(bào)內(nèi)容能理解、可分析、有總結(jié)。

智能問答：回答精確率和回復(fù)效率之間相互權(quán)衡，業(yè)務(wù)問答準(zhǔn)確率提升至 90%+

4

AI 故障分析

依托于悟空平臺，我們和貨拉拉內(nèi)兄弟技術(shù)團(tuán)隊(duì)合作，在服務(wù)發(fā)布、網(wǎng)絡(luò)系統(tǒng)、監(jiān)控告警等多個(gè)領(lǐng)域探索利用 AI 能力降低資源投入，提高人效。

例如利用 AI，在 k8s 發(fā)布失敗時(shí)，對容器發(fā)布失敗故障原因分析和問題排查，輔助研發(fā)快速定位和修復(fù)問題；利用 AI 判斷系統(tǒng)告警是否為誤報(bào)，對告警信息分層，重要告警 AI 給出分析結(jié)果和處置建議并同步接收人。

總結(jié)與展望

隨著貨拉拉的 AI 應(yīng)用覆蓋面日漸廣泛，業(yè)務(wù)的訴求也逐漸進(jìn)階：

多模態(tài)大模型和 Multi Agent 技術(shù)的出現(xiàn)，標(biāo)志著 AI 能夠做的工作和能支持的業(yè)務(wù)范圍更加廣泛，貨拉拉 AI 應(yīng)用開發(fā)體系也在持續(xù)探索和吸收新的技術(shù)，從而更好的賦能貨拉拉業(yè)務(wù)。