美團(tuán)技術(shù)解析

簡(jiǎn)介：基澤，美團(tuán)點(diǎn)評(píng)技術(shù)專家，目前負(fù)責(zé)配送算法策略部機(jī)器學(xué)習(xí)組策略迭代工作。

周越，2017年加入美團(tuán)配送事業(yè)部算法策略組，主要負(fù)責(zé)ETA策略開(kāi)發(fā)。

顯杰，美團(tuán)點(diǎn)評(píng)技術(shù)專家，2018年加入美團(tuán)，目前主要負(fù)責(zé)配送算法數(shù)據(jù)平臺(tái)深度學(xué)習(xí)相關(guān)的研發(fā)工作。

1. 背景

ETA（Estimated Time of Arrival，“預(yù)計(jì)送達(dá)時(shí)間”），即用戶下單后，配送人員在多長(zhǎng)時(shí)間內(nèi)將外賣送達(dá)到用戶手中。送達(dá)時(shí)間預(yù)測(cè)的結(jié)果，將會(huì)以"預(yù)計(jì)送達(dá)時(shí)間"的形式，展現(xiàn)在用戶的客戶端頁(yè)面上，是配送系統(tǒng)中非常重要的參數(shù)，直接影響了用戶的下單意愿、運(yùn)力調(diào)度、騎手考核，進(jìn)而影響配送系統(tǒng)整體成本和用戶體驗(yàn)。

對(duì)于整個(gè)配送系統(tǒng)而言，ETA既是配送系統(tǒng)的入口和全局約束，又是系統(tǒng)的調(diào)節(jié)中樞。具體體現(xiàn)在：

• ETA在用戶下單時(shí)刻就需要被展現(xiàn)，這個(gè)預(yù)估時(shí)長(zhǎng)繼而會(huì)貫穿整個(gè)訂單生命周期，首先在用戶側(cè)給予準(zhǔn)時(shí)性的承諾，接著被調(diào)度系統(tǒng)用作訂單指派的依據(jù)及約束，而騎手則會(huì)按照這個(gè)ETA時(shí)間執(zhí)行訂單的配送，配送是否準(zhǔn)時(shí)還會(huì)作為騎手的工作考核結(jié)果。

• ETA作為系統(tǒng)的調(diào)節(jié)中樞，需要平衡用戶-騎手-商家-配送效率。從用戶的訴求出發(fā)，盡可能快和準(zhǔn)時(shí)，從騎手的角度出發(fā)，太短會(huì)給騎手極大壓力。從調(diào)度角度出發(fā)，太長(zhǎng)或太短都會(huì)影響配送效率。而從商家角度出發(fā)，都希望訂單被盡可能派發(fā)出去，因?yàn)檫@關(guān)系到商家的收入。

在這樣多維度的約束之下，外賣配送的ETA的建模和估計(jì)會(huì)變得更加復(fù)雜。與打車場(chǎng)景中的ETA做對(duì)比，外賣場(chǎng)景的ETA面臨如下的挑戰(zhàn)：

• 外賣場(chǎng)景中ETA是對(duì)客戶履約承諾的重要組成部分，無(wú)論是用戶還是騎手，對(duì)于ETA準(zhǔn)確性的要求非常高。而在打車場(chǎng)景，用戶更加關(guān)心是否能打到車，ETA僅提供一個(gè)參考，司機(jī)端對(duì)此也不是特別關(guān)注。

• 外賣場(chǎng)景中ETA包含更多環(huán)節(jié)，騎手全程完成履約過(guò)程，其中包括到達(dá)商家、商家出餐、等待取餐、路徑規(guī)劃、不同樓宇交付等較多的環(huán)節(jié)，且較高的合單率使得訂單間的流程互相耦合，不確定性很大，做出合理的估計(jì)也有更高難度。

下圖是騎手履約全過(guò)程的時(shí)間軸，過(guò)程中涉及各種時(shí)長(zhǎng)參數(shù)，可以看到有十幾個(gè)節(jié)點(diǎn)，其中關(guān)鍵時(shí)長(zhǎng)達(dá)到七個(gè)。這些時(shí)長(zhǎng)涉及多方，比如騎手（接-到-取-送）、商戶（出餐）、用戶（交付），要經(jīng)歷室內(nèi)室外的場(chǎng)景轉(zhuǎn)換，因此挑戰(zhàn)性非常高。對(duì)于ETA建模，不光是簡(jiǎn)單一個(gè)時(shí)間的預(yù)估，更需要的是全鏈路的時(shí)間預(yù)估，同時(shí)更需要兼顧"單量-運(yùn)力-用戶轉(zhuǎn)化率"轉(zhuǎn)化率之間的平衡。配送ETA的演變包括了數(shù)據(jù)、特征層面的持續(xù)改進(jìn)，也包括了模型層面一路從LR-XGB-FM-DeepFM-自定義結(jié)構(gòu)的演變。

具體ETA在整個(gè)配送業(yè)務(wù)中的位置及配送業(yè)務(wù)的整體機(jī)器學(xué)習(xí)實(shí)踐，請(qǐng)參看《機(jī)器學(xué)習(xí)在美團(tuán)配送系統(tǒng)的實(shí)踐：用技術(shù)還原真實(shí)世界》。

2. 業(yè)務(wù)流程迭代中的模型改進(jìn)

2.1 基礎(chǔ)模型迭代及選擇

與大部分CTR模型的迭代路徑相似，配送ETA模型的業(yè)務(wù)迭代經(jīng)歷了LR->樹(shù)模型->Embedding->DeepFM->針對(duì)性結(jié)構(gòu)修改的路徑。特征層面也進(jìn)行不斷迭代和豐富。

• 模型維度從最初考慮特征線性組合，到樹(shù)模型做稠密特征的融合，到Embedding考慮ID類特征的融合，以及FM機(jī)制低秩分解后二階特征組合，最終通過(guò)業(yè)務(wù)指標(biāo)需求，對(duì)模型進(jìn)行針對(duì)性調(diào)整。

• 特征維度逐步豐富到用戶畫(huà)像/騎手畫(huà)像/商家畫(huà)像/地址特征/軌跡特征/區(qū)域特征/時(shí)間特征/時(shí)序特征/訂單特征等維度。

目前版本模型在比較了Wide&Deep、DeepFM、AFM等常用模型后，考慮到計(jì)算性能及效果，最終選擇了DeepFM作為初步的Base模型。整個(gè)DeepFM模型特征Embedding化后，在FM（Factorization Machine）基礎(chǔ)上，進(jìn)一步加入deep部分，分別針對(duì)稀疏及稠密特征做針對(duì)性融合。FM部分通過(guò)隱變量?jī)?nèi)積方式考慮一階及二階的特征融合，DNN部分通過(guò)Feed-Forward學(xué)習(xí)高階特征融合。模型訓(xùn)練過(guò)程中采取了Learning Decay/Clip Gradient/求解器選擇/Dropout/激活函數(shù)選擇等，在此不做贅述。

2.2 損失函數(shù)

在ETA預(yù)估場(chǎng)景下，準(zhǔn)時(shí)率及置信度是比較重要的業(yè)務(wù)指標(biāo)。初步嘗試將Square的損失函數(shù)換成Absolute的損失函數(shù)，從直觀上更為切合MAE相比ME更為嚴(yán)苛的約束。在適當(dāng)Learning Decay下，結(jié)果收斂且穩(wěn)定。

同時(shí)，在迭代中考慮到相同的ETA承諾時(shí)間下，在前后N分鐘限制下，早到1min優(yōu)于晚到1min，損失函數(shù)的設(shè)計(jì)希望整體的預(yù)估結(jié)果能夠盡量前傾。對(duì)于提前部分，適當(dāng)降低數(shù)值懲罰。對(duì)于遲到部分，適當(dāng)增大數(shù)值懲罰。進(jìn)行多次調(diào)試設(shè)計(jì)后，最終確定以前后N分鐘以及原點(diǎn)作為3個(gè)分段點(diǎn)。在原先absolute函數(shù)優(yōu)化的基礎(chǔ)上，在前段設(shè)計(jì)1.2倍斜率absolute函數(shù)，后段設(shè)計(jì)1.8倍斜率absolute函數(shù)，以便讓結(jié)果整體往中心收斂，且預(yù)估結(jié)果更傾向于提前送達(dá)，對(duì)于ETA各項(xiàng)指標(biāo)均有較大幅度提升。

2.3 業(yè)務(wù)規(guī)則融入模型

目前的業(yè)務(wù)架構(gòu)是"模型+規(guī)則"，在模型預(yù)估一個(gè)ETA值之后，針對(duì)特定業(yè)務(wù)場(chǎng)景，會(huì)有特定業(yè)務(wù)規(guī)則時(shí)間疊加以滿足特定場(chǎng)景需求，各項(xiàng)規(guī)則由業(yè)務(wù)指標(biāo)多次迭代產(chǎn)生。這里產(chǎn)生了模型和規(guī)則整體優(yōu)化的割裂，在模型時(shí)間和規(guī)則時(shí)間分開(kāi)優(yōu)化后，即模型訓(xùn)練時(shí)并不能考慮到規(guī)則時(shí)間的影響，而規(guī)則時(shí)間在一年之中不同時(shí)間段，會(huì)產(chǎn)生不同的浮動(dòng)，在經(jīng)過(guò)一段時(shí)間重復(fù)迭代后，會(huì)加大割裂程度。

在嘗試了不同方案后，最終將整體規(guī)則寫(xiě)入到了TF模型中，在TF模型內(nèi)部調(diào)整整體規(guī)則參數(shù)。

• 對(duì)于簡(jiǎn)單的(ab+c)d等規(guī)則，可以將規(guī)則邏輯直接用TF的OP算子來(lái)實(shí)現(xiàn)，比如當(dāng)b、d為定值時(shí)，則a、c為可學(xué)習(xí)的參數(shù)。

• 對(duì)于過(guò)于復(fù)雜的規(guī)則部分，則可以借助一定的模型結(jié)構(gòu)，通過(guò)模型的擬合來(lái)代替，過(guò)多復(fù)雜OP算子嵌套并不容易同時(shí)優(yōu)化。

通過(guò)調(diào)節(jié)不同的擬合部分及參數(shù)，將多個(gè)規(guī)則完全在TF模型中實(shí)現(xiàn)。最終對(duì)業(yè)務(wù)指標(biāo)具備很大提升效果，且通過(guò)對(duì)部分定值參數(shù)的更改，具備部分人工干涉模型能力。

在這里，整體架構(gòu)就簡(jiǎn)化為多目標(biāo)預(yù)估的架構(gòu)，這里采用多任務(wù)架構(gòu)中常用的Shared Parameters的結(jié)構(gòu)，訓(xùn)練時(shí)按比例采取不同的交替訓(xùn)練策略。結(jié)構(gòu)上從最下面的模型中間融合層出發(fā)，分別在TF內(nèi)實(shí)現(xiàn)常規(guī)預(yù)測(cè)結(jié)構(gòu)及多個(gè)規(guī)則時(shí)間結(jié)構(gòu)，而其對(duì)應(yīng)的Label則仍然從常規(guī)的歷史值和規(guī)則時(shí)間值中來(lái)，這樣考慮了以下幾點(diǎn)：

• 模型預(yù)估時(shí)，已充分考慮到規(guī)則對(duì)整體結(jié)果的影響（例如多個(gè)規(guī)則的疊加效應(yīng)），作為整體一起考慮。

• 規(guī)則時(shí)間作為輔助Label傳入模型，對(duì)于模型收斂及Regularization，起到進(jìn)一步作用。

• 針對(duì)不同的目標(biāo)預(yù)估，采取不同的Loss，方便進(jìn)行針對(duì)性優(yōu)化，進(jìn)一步提升效果。

模型結(jié)構(gòu)在進(jìn)行預(yù)估目標(biāo)調(diào)整嘗試中：

• 嘗試過(guò)固定共享網(wǎng)絡(luò)部分及不固定共享部分參數(shù)，不固定共享參數(shù)效果明顯。

• 通常情況下激活函數(shù)差異不大，但在共享層到獨(dú)立目標(biāo)層中，不同的激活函數(shù)差異很大。

2.4 缺失值處理

在模型處理中，特征層面不可避免存在一定的缺失值，而對(duì)于缺失值的處理，完全借鑒了《美團(tuán)“猜你喜歡”深度學(xué)習(xí)排序模型實(shí)踐》文章中的方法。對(duì)于特征x進(jìn)入TF模型，進(jìn)行判斷，如果是缺失值，則設(shè)置w1參數(shù)，如果不是缺失值則進(jìn)入模型數(shù)值為w2*x，這里將w1和w2作為可學(xué)習(xí)參數(shù)，同時(shí)放入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。以此方法來(lái)代替均值/零值等作為缺失值的方法。

3. 長(zhǎng)尾問(wèn)題優(yōu)化

3.1 模型預(yù)估結(jié)果+長(zhǎng)尾規(guī)則補(bǔ)時(shí)

基礎(chǔ)模型學(xué)習(xí)的是整體的統(tǒng)計(jì)分布，但對(duì)于一些長(zhǎng)尾情形的學(xué)習(xí)并不充分，體現(xiàn)在長(zhǎng)尾情形下預(yù)估時(shí)間偏短（由于ETA擁有考核騎手的功能，預(yù)估偏短對(duì)騎手而言意味著很大的傷害）。故將長(zhǎng)尾拆解成兩部分來(lái)分析：

• 業(yè)務(wù)長(zhǎng)尾，即整體樣本分布造成的長(zhǎng)尾。主要體現(xiàn)在距離、價(jià)格等維度。距離越遠(yuǎn)，價(jià)格越高，實(shí)際送達(dá)時(shí)間越長(zhǎng)，但樣本占比越少，模型在這一部分上的表現(xiàn)整體都偏短。

• 模型長(zhǎng)尾，即由于模型自身對(duì)預(yù)估值的不確定性造成的長(zhǎng)尾。模型學(xué)習(xí)的是整體的統(tǒng)計(jì)分布，但不是對(duì)每個(gè)樣本的預(yù)估都有“信心”。實(shí)踐中采用RF多棵決策樹(shù)輸出的標(biāo)準(zhǔn)差來(lái)衡量不確定性。RF模型生成的決策樹(shù)是獨(dú)立的，每棵樹(shù)都可以看成是一個(gè)專家，多個(gè)專家共同打分，打分的標(biāo)準(zhǔn)差實(shí)際上就衡量了專家們的“分歧”程度（以及對(duì)預(yù)估的“信心”程度）。從下圖也可以看出來(lái)，隨著RF標(biāo)準(zhǔn)差的增加，模型的置信度和準(zhǔn)時(shí)率均在下降。

在上述拆解下，采用補(bǔ)時(shí)規(guī)則來(lái)解決長(zhǎng)尾預(yù)估偏短的問(wèn)題：長(zhǎng)尾規(guī)則補(bǔ)時(shí)為 <業(yè)務(wù)長(zhǎng)尾因子 , 模型長(zhǎng)尾因子> 組合。其中業(yè)務(wù)長(zhǎng)尾因子為距離、價(jià)格等業(yè)務(wù)因素，模型長(zhǎng)尾因子為RF標(biāo)準(zhǔn)差。最終的ETA策略即為模型預(yù)估結(jié)果+長(zhǎng)尾規(guī)則補(bǔ)時(shí)。

4. 工程開(kāi)發(fā)實(shí)踐

4.1 訓(xùn)練部分實(shí)踐

整體訓(xùn)練流程

對(duì)于線下訓(xùn)練，采取如下訓(xùn)練流程：

Spark原始數(shù)據(jù)整合 -> Spark生成TFRecord -> 數(shù)據(jù)并行訓(xùn)練 -> TensorFlow Serving線下GPU評(píng)估 -> CPU Inference線上預(yù)測(cè)

整個(gè)例行訓(xùn)練億級(jí)數(shù)據(jù)多輪Epoch下流程持續(xù)約4小時(shí)，其中TF訓(xùn)練中，考慮到TF實(shí)際計(jì)算效率并不是很高，有很大比例在數(shù)據(jù)IO部分，通過(guò)Spark生成TFRecord部分，在此可將速度加速約3.6倍。而在數(shù)據(jù)并行訓(xùn)練部分，16卡內(nèi)的并行度擴(kuò)展基本接近線性，具備良好的擴(kuò)展性。由于PS上參數(shù)量并未達(dá)到單機(jī)無(wú)法承受，暫時(shí)未對(duì)參數(shù)在PS上進(jìn)行切分。Serving線下GPU評(píng)估部分，是整個(gè)流程中的非必需項(xiàng)，雖然在訓(xùn)練過(guò)程中Chief Worker設(shè)置Valid集合可有一定的指標(biāo)，但對(duì)全量線下，通過(guò)Spark數(shù)據(jù)調(diào)用Serving GPU的評(píng)估具備短時(shí)間內(nèi)完成全部流程能力，且可以指定大量復(fù)雜自定義指標(biāo)。

數(shù)據(jù)并行訓(xùn)練方式

整個(gè)模型的訓(xùn)練在美團(tuán)的AFO平臺(tái)上進(jìn)行，先后嘗試分布式方案及單機(jī)多卡方案。考慮到生產(chǎn)及結(jié)果穩(wěn)定性，目前線上模型生產(chǎn)采用單機(jī)多卡方案進(jìn)行例行訓(xùn)練。

• 分布式方案

采用TF自帶的PS-Worker架構(gòu)，異步數(shù)據(jù)并行方式，利用tf.train.MonitoredTrainingSession協(xié)調(diào)整個(gè)訓(xùn)練過(guò)程。整個(gè)模型參數(shù)存儲(chǔ)于PS，每個(gè)Step上每個(gè)Worker拉取數(shù)據(jù)進(jìn)行數(shù)據(jù)并行計(jì)算，同時(shí)將梯度返回，完成一次更新。目前的模型單Worker吞吐1~2W/s，億級(jí)數(shù)據(jù)幾輪Epoch耗時(shí)在幾小時(shí)內(nèi)完成。同時(shí)測(cè)試該模型在平臺(tái)上的加速比，大約在16塊內(nèi)，計(jì)算能力隨著Worker數(shù)目線性增加，16卡后略微出現(xiàn)分離。在目前的業(yè)務(wù)實(shí)踐中，基本上4-6塊卡可以短時(shí)間內(nèi)完成例行的訓(xùn)練任務(wù)。

• 單機(jī)多卡方案

采用PS-Worker的方案在平臺(tái)上具備不錯(cuò)的擴(kuò)展性，但是也存在一定的弊端，使用RPC的通訊很容易受到其他任務(wù)的影響，整個(gè)的訓(xùn)練過(guò)程受到最慢Worker的影響，同時(shí)異步更新方式對(duì)結(jié)果也存在一定的波動(dòng)。對(duì)此，在線上生產(chǎn)中，最終選取單機(jī)多卡的方案，犧牲一定的擴(kuò)展性，帶來(lái)整體訓(xùn)練效果和訓(xùn)練速度的穩(wěn)定性。單機(jī)多卡方案采取多GPU手動(dòng)指定OP的Device，同時(shí)在各個(gè)Device內(nèi)完成變量共享，最后綜合Loss與梯度，將Grad更新到模型參數(shù)中。

TF模型集成預(yù)處理

模型訓(xùn)練過(guò)程中，ID類特征低頻過(guò)濾需要用到Vocab詞表，連續(xù)型特征都需要進(jìn)行歸一化。這里會(huì)產(chǎn)生大量的預(yù)處理文件，在線下處理流程中很容易在Spark中處理成Libsvm格式，然后載入到模型中進(jìn)行訓(xùn)練。但是在線上預(yù)測(cè)時(shí)，需要在工程開(kāi)發(fā)端載入多個(gè)詞表及連續(xù)型特征的歸一化預(yù)處理文件（avg/std值文件等），同時(shí)由于模型是按天更新，存在不同日期版本的對(duì)齊問(wèn)題。

為了簡(jiǎn)化工程開(kāi)發(fā)中的難度，在模型訓(xùn)練時(shí)，考慮將所有的預(yù)處理文件寫(xiě)入TF計(jì)算圖之中，每次在線預(yù)測(cè)只要輸入最原始的特征，不經(jīng)過(guò)工程預(yù)處理，直接可得到結(jié)果：

• 對(duì)于ID類特征，需要進(jìn)行低頻過(guò)濾，然后制作成詞表，TF模型讀入詞表的list_arr，每次inference通過(guò)ph_vals，得到對(duì)應(yīng)詞表的ph_idx。

tf_look_up = tf.constant(list_arr, dtype=tf.int64)table = tf.contrib.lookup.HashTable(tf.contrib.lookup.KeyValueTensorInitializer(tf_look_up, idx_range), 0)ph_idx = table.lookup(ph_vals) + idx_bias

• 對(duì)于連續(xù)型特征，在Spark處理完得到avg/std值后，直接寫(xiě)入TF模型計(jì)算圖中，作為constant節(jié)點(diǎn)，每個(gè)ph_in經(jīng)過(guò)兩個(gè)節(jié)點(diǎn)，得到相應(yīng)ph_out。

constant_avg = tf.constant(feat_avg, dtype=tf.float32, shape=[feat_dim], name="avg")constant_std = tf.constant(feat_std, dtype=tf.float32, shape=[feat_dim], name="std")ph_out = (ph_in - constant_avg) / constant_std

4.2 TF模型線上預(yù)測(cè)

配送機(jī)器學(xué)習(xí)平臺(tái)內(nèi)置了模型管理平臺(tái)，對(duì)算法訓(xùn)練產(chǎn)出的模型進(jìn)行統(tǒng)一管理和調(diào)度，管理線上模型所用的版本，并支持模型版本的切換和回退，同時(shí)也支持節(jié)點(diǎn)模型版本狀態(tài)的管理。

ETA使用的DeepFM模型用TensorFlow訓(xùn)練，生成SavedModel格式的模型，需要模型管理平臺(tái)支持Tensorflow SavedModel格式。

實(shí)現(xiàn)方案

線上服務(wù)加載TensorFlow SavedModel模型有多種實(shí)現(xiàn)方案：

• 自行搭建TensorFlow Serving CPU服務(wù)，通過(guò)gRPC API或RESTful API提供服務(wù)，該方案實(shí)現(xiàn)比較簡(jiǎn)單，但無(wú)法與現(xiàn)有的基于Thrift的模型管理平臺(tái)兼容。

• 使用美團(tuán)AFO GPU平臺(tái)提供的TensorFlow Serving服務(wù)。

• 在模型管理平臺(tái)中通過(guò)JNI調(diào)用TensorFlow提供的Java APITensorFlow Java API，完成模型管理平臺(tái)對(duì)SavedModel格式的支持。

最終采用TensorFlow Java API加載SavedModel在CPU上做預(yù)測(cè)，測(cè)試batch=1時(shí)預(yù)測(cè)時(shí)間在1ms以內(nèi)，選擇方案3作為實(shí)現(xiàn)方案。

遠(yuǎn)程計(jì)算模式

TensorFlow Java API的底層C++動(dòng)態(tài)鏈接庫(kù)對(duì)libstdc++.so的版本有要求，需要GCC版本不低于4.8.3，而目前線上服務(wù)的CPU機(jī)器大部分系統(tǒng)為CentOS 6, 默認(rèn)自帶GCC版本為4.4.7。如果每臺(tái)線上業(yè)務(wù)方服務(wù)器都支持TensorFlow SavedModel本地計(jì)算的話，需要把幾千臺(tái)服務(wù)器統(tǒng)一升級(jí)GCC版本，工作量比較大而且可能會(huì)產(chǎn)生其他風(fēng)險(xiǎn)。

因此，我們重新申請(qǐng)了幾十臺(tái)遠(yuǎn)程計(jì)算服務(wù)器，業(yè)務(wù)方服務(wù)器只需要把Input數(shù)據(jù)序列化后傳給TensorFlow Remote集群，Remote集群計(jì)算完后再將Output序列化后返回給業(yè)務(wù)方。這樣只需要對(duì)幾十臺(tái)計(jì)算服務(wù)器升級(jí)就可以了。

線上性能

模型上線后，支持了多個(gè)業(yè)務(wù)方的算法需求，遠(yuǎn)程集群計(jì)算時(shí)間的TP99基本上在5ms以內(nèi)，可以滿足業(yè)務(wù)方的計(jì)算需求。

5. 總結(jié)與展望

模型落地并上線后，對(duì)業(yè)務(wù)指標(biāo)帶來(lái)較大的提升。后續(xù)將會(huì)進(jìn)一步根據(jù)業(yè)務(wù)優(yōu)化模型，進(jìn)一步提升效果：

• 將會(huì)進(jìn)一步豐富多目標(biāo)學(xué)習(xí)框架，將取餐、送餐、交付、調(diào)度等整個(gè)配送生命周期內(nèi)的過(guò)程在模型層面考慮，對(duì)訂單生命周期內(nèi)多個(gè)目標(biāo)進(jìn)行建模，同時(shí)提升模型可解釋性。

• 模型融合特征層面的進(jìn)一步升級(jí)，在Embedding以外，通過(guò)更多的LSTM/CNN/自設(shè)計(jì)結(jié)構(gòu)對(duì)特征進(jìn)行更好的融合。

• 特征層面的進(jìn)一步豐富。

END

也許你還想看

【美團(tuán)技術(shù)解析】機(jī)器學(xué)習(xí)在美團(tuán)配送系統(tǒng)的實(shí)踐：用技術(shù)還原真實(shí)世界

【美團(tuán)技術(shù)解析】模型加速概述與模型裁剪算法技術(shù)解析

【美團(tuán)技術(shù)解析】無(wú)人車端到端駕駛模型概述