亚洲精品少妇久久久久久海角社区,色婷婷亚洲一区二区综合,伊人蕉久中文字幕无码专区,日韩免费高清大片在线

羅戈網(wǎng)
搜  索
登陸成功

登陸成功

積分  

京東到家商品治理體系的建設(shè)

[羅戈導(dǎo)讀]為了不斷提高平臺(tái)露出商品的價(jià)值,提高用戶的滿意度,我們?cè)O(shè)計(jì)并投入使用了京東到家商品治理系統(tǒng)。

背景

京東到家作為一個(gè)即時(shí)零售的電商平臺(tái),在提供1小時(shí)送達(dá)極致服務(wù)的同時(shí)也力求將萬(wàn)千好物送到消費(fèi)者的手中。為了不斷提高平臺(tái)露出商品的價(jià)值,提高用戶的滿意度,我們?cè)O(shè)計(jì)并投入使用了京東到家商品治理系統(tǒng),其主要職責(zé)是對(duì)商品新建、修改、呈現(xiàn)的全鏈路流程進(jìn)行干預(yù)及核驗(yàn),旨在發(fā)現(xiàn)解決商品信息中如:敏感詞、虛假宣傳、錯(cuò)誤信息等不符合平臺(tái)規(guī)范和質(zhì)量要求的問(wèn)題,保證商品與實(shí)物的匹配度,信息的正確性等。

系統(tǒng)架構(gòu)介紹

京東到家各業(yè)務(wù)線采用的是標(biāo)準(zhǔn)化的微服務(wù)架構(gòu)設(shè)計(jì),各個(gè)系統(tǒng)在迭代過(guò)程中只用按需申請(qǐng)對(duì)應(yīng)的組件即可,下圖為治理系統(tǒng)所用到的技術(shù)組件:

  • 消息中間件:使用京東的MQ中間件,實(shí)現(xiàn)業(yè)務(wù)解耦。

  • 存儲(chǔ):Redis集群、MySQL集群等。

  • Worker:基于TBSchedule分布式調(diào)度引擎框架構(gòu)建的服務(wù),進(jìn)行定時(shí)任務(wù)的執(zhí)行和分發(fā)。

  • 服務(wù)監(jiān)控:采用統(tǒng)一監(jiān)控與告警服務(wù)平臺(tái),可以達(dá)到秒級(jí)監(jiān)控、多方位監(jiān)控、服務(wù)告警、全鏈路追蹤等能力。

  • 服務(wù)間調(diào)用:使用京東的JSF平臺(tái),實(shí)現(xiàn)服務(wù)間注冊(cè)、服務(wù)間調(diào)用,服務(wù)治理等能力,支持請(qǐng)求超時(shí)自動(dòng)阻斷。

  • 日志服務(wù):日志采集與查詢服務(wù)。

系統(tǒng)架構(gòu)

早期的治理系統(tǒng)

治理系統(tǒng)的第一個(gè)需求與大多數(shù)業(yè)務(wù)系統(tǒng)類似,是基于數(shù)據(jù)的增刪改查,構(gòu)建一套敏感詞管理模塊,同時(shí)為商品主系統(tǒng)提供敏感詞的校驗(yàn)?zāi)芰Α?/p>

它的第二個(gè)需求是為運(yùn)營(yíng)同學(xué)提供一個(gè)核驗(yàn)結(jié)果的報(bào)表,其主要邏輯是通過(guò)上傳Excel,內(nèi)部解析完成后調(diào)用接口得到相應(yīng)的數(shù)據(jù)結(jié)果,基于MySQL進(jìn)行存儲(chǔ),然后提供查詢及展示的能力,以便運(yùn)營(yíng)使用。

但由于缺乏設(shè)計(jì)和長(zhǎng)遠(yuǎn)的思考,因此當(dāng)時(shí)的治理系統(tǒng)與商品主系統(tǒng)耦合嚴(yán)重,圖示如下:

早期治理系統(tǒng)業(yè)務(wù)架構(gòu)

而隨著平臺(tái)對(duì)商品信息合規(guī)性的要求越來(lái)越嚴(yán)格,針對(duì)商品分類、毛重、圖片等等諸多的治理需求也就接踵而來(lái)。但在上圖的設(shè)計(jì)之中,我們不難發(fā)現(xiàn),治理系統(tǒng)是以具體的業(yè)務(wù)來(lái)構(gòu)建對(duì)外接口的,那隨著業(yè)務(wù)需求的不斷增加,兩個(gè)系統(tǒng)之間交互的接口個(gè)數(shù)也會(huì)出現(xiàn)暴漲,這是我們不希望看到的。

另外,治理的最終目的是期望商品上的問(wèn)題能夠得到解決,而不僅僅只是發(fā)現(xiàn),因此將問(wèn)題暴露給運(yùn)營(yíng)或者商家,是勢(shì)在必行的,但當(dāng)下存在兩個(gè)問(wèn)題:

  1. 商品系統(tǒng)在自身的主流程中強(qiáng)依賴治理的核驗(yàn)?zāi)芰Γ译S著業(yè)務(wù)的增加,依賴會(huì)越來(lái)越多。

  2. 商品系統(tǒng)只能將前置攔截的核驗(yàn)結(jié)果告知商家,業(yè)務(wù)覆蓋面不全。

再加上有諸多問(wèn)題是屬于弱合規(guī)性(不需要強(qiáng)制攔截但又需要解決),因此我們決定將商品治理業(yè)務(wù)的核心由商品系統(tǒng)轉(zhuǎn)為治理系統(tǒng)。

為了實(shí)現(xiàn)高效率的商品治理,我們對(duì)治理系統(tǒng)的設(shè)計(jì)要求和定位作出了一點(diǎn)變更,提出了兩項(xiàng)基本原則:

  • 治理系統(tǒng)需要完成整個(gè)治理業(yè)務(wù)的閉環(huán),作為商品問(wèn)題發(fā)現(xiàn)及解決的總?cè)肟诤涂偝隹?/code>

  • 治理系統(tǒng)需要具備高拓展性,當(dāng)增加特定化治理需求時(shí)能夠迅速響應(yīng)

業(yè)務(wù)架構(gòu)升級(jí)

抽象思維顯神威

在理清治理系統(tǒng)的業(yè)務(wù)架構(gòu)升級(jí)思路之后,我們首先需要確定的一個(gè)問(wèn)題就是:治理系統(tǒng)最基礎(chǔ)的原子能力是什么?

以各個(gè)主系統(tǒng)為例,商品系統(tǒng)最基礎(chǔ)的原子能力即:商品的創(chuàng)建、修改和提供查詢能力、庫(kù)存系統(tǒng)最基礎(chǔ)的原子能力即:商品庫(kù)存信息的維護(hù)及查詢能力。根據(jù)治理業(yè)務(wù)的發(fā)展規(guī)劃,我們也基本確定出治理系統(tǒng)的原子能力,即:發(fā)現(xiàn)商品存在的合規(guī)問(wèn)題,并向外提供查詢和輔助解決的能力。

對(duì)于合規(guī)問(wèn)題的定義,我們做出了如下解釋,即:不符合電商平臺(tái)商品展示規(guī)范的如敏感詞、虛假渲傳等問(wèn)題。

例如商品名稱中包含敏感詞,會(huì)映射為敏感詞問(wèn)題,另外需要說(shuō)明的是:在編碼階段中,一種可量化的具體規(guī)則可以確定對(duì)應(yīng)的一種合規(guī)問(wèn)題,且同一個(gè)商品可能同時(shí)存在多個(gè)不同的合規(guī)問(wèn)題。

目前到家治理系統(tǒng)所涉獵的合規(guī)問(wèn)題主要有:

合規(guī)問(wèn)題大類 對(duì)外描述 問(wèn)題細(xì)節(jié)
商品毛重問(wèn)題 商品毛重不準(zhǔn)確 商品毛重與實(shí)際商品不符、商品毛重超過(guò)最大運(yùn)力限制等
商品信息不正確 商品信息不正確,請(qǐng)檢查具體內(nèi)容 商品名稱包含敏感詞、商品分類與實(shí)際商品不符、虛假宣傳等
商家商品經(jīng)營(yíng)范圍問(wèn)題 當(dāng)前售賣商品超出商家經(jīng)營(yíng)范圍 當(dāng)前售賣商品超出商家經(jīng)營(yíng)范圍等
圖片信息問(wèn)題 商品圖片信息存在問(wèn)題 商品無(wú)主圖、商品主圖為默認(rèn)圖、商品主圖為黑底圖等
未來(lái)計(jì)劃
商品價(jià)格問(wèn)題 -- --
商品畫像問(wèn)題 -- --
...

為了方便理解,我們可以將每一種合規(guī)問(wèn)題看作是一種策略,而針對(duì)策略的頂層接口又定義了四個(gè)核心方法:

  • 映射關(guān)聯(lián)的枚舉:每一個(gè)問(wèn)題都需要關(guān)聯(lián)具體的問(wèn)題原因

  • 問(wèn)題關(guān)聯(lián)的字段:每一個(gè)問(wèn)題都需要關(guān)聯(lián)具體的影響字段或被影響字段

  • 自定義過(guò)濾能力:根據(jù)業(yè)務(wù)特點(diǎn),減少無(wú)用處理

  • 核驗(yàn)方法:根據(jù)業(yè)務(wù)規(guī)則實(shí)現(xiàn)的具體核驗(yàn)邏輯

具體的實(shí)現(xiàn)邏輯如下圖所示:

以商品毛重信息填寫錯(cuò)誤為例,下圖為處理前后的展示結(jié)果:

毛重問(wèn)題有其對(duì)應(yīng)的關(guān)聯(lián)枚舉及文案映射,即:商品毛重不準(zhǔn)確(問(wèn)題類型),推薦毛重為 XXX(文案映射),所關(guān)聯(lián)的字段為:商品重量及商品名稱,再配合一定的過(guò)濾邏輯及核驗(yàn)算法,那么毛重問(wèn)題的抽象實(shí)體也就完成了,以此類推,我們后續(xù)在增加新的治理問(wèn)題時(shí),采用類似的方式即可。

如果是對(duì)設(shè)計(jì)模式涉獵較多的讀者應(yīng)該已經(jīng)判斷出來(lái),這種設(shè)計(jì)方案其實(shí)就是策略模式及模板方法模式的變種罷了,在編碼階段也肯定少不了工廠的使用,在編碼層面整體的變化如下圖所示:

上述方案落地之后,產(chǎn)研側(cè)對(duì)于治理業(yè)務(wù)的后續(xù)發(fā)展達(dá)成了基本共識(shí),同時(shí)需求的實(shí)現(xiàn)也變得簡(jiǎn)單起來(lái),我們不用再關(guān)注其他系統(tǒng)的邏輯,而是著眼于具體合規(guī)問(wèn)題的業(yè)務(wù)規(guī)則實(shí)現(xiàn)上。

業(yè)務(wù)方和產(chǎn)品可以更好的通過(guò)數(shù)據(jù)分析來(lái)確定未來(lái)的治理重點(diǎn)和需求規(guī)劃,研發(fā)人員也以優(yōu)雅的方式解決了系統(tǒng)間耦合、業(yè)務(wù)代碼重復(fù)的問(wèn)題。

難點(diǎn)問(wèn)題巧手破

初步定義好治理系統(tǒng)的業(yè)務(wù)架構(gòu)設(shè)計(jì)后,在后續(xù)迭代的過(guò)程中,我們遇到了兩個(gè)較為棘手的問(wèn)題,一個(gè)是業(yè)務(wù)問(wèn)題,一個(gè)是技術(shù)問(wèn)題。

業(yè)務(wù)問(wèn)題

業(yè)務(wù)方要求APP展示的商品主圖不能與默認(rèn)圖(例如空白圖、品牌商標(biāo)圖等不能體現(xiàn)商品信息的圖片)一致,然而商品圖片的核驗(yàn)邏輯一直由圖片核驗(yàn)系統(tǒng)承接。

這就引起了一個(gè)問(wèn)題:治理系統(tǒng)是否需要集成圖片核驗(yàn)邏輯,如果不集成,那又該如何將其圖片違規(guī)問(wèn)題納入至治理體系中?

如果是經(jīng)驗(yàn)豐富的開(kāi)發(fā)者一定會(huì)提出使用MQ的方式由圖片核驗(yàn)系統(tǒng)發(fā)送核驗(yàn)結(jié)果至治理系統(tǒng),來(lái)解決這個(gè)問(wèn)題。實(shí)際上我們也是這么做的,只不過(guò)做的更徹底一些。

在設(shè)計(jì)模式當(dāng)中,我們通常會(huì)將一系列類似業(yè)務(wù)整合成一個(gè)公共接口向外提供能力,我們將它稱之為:門面模式或者外觀模式。

對(duì)于上述的類似問(wèn)題,我們找到了公共的處理思路,即:將治理系統(tǒng)作為門面,其他系統(tǒng)作為組件,各系統(tǒng)都可以主動(dòng)的向治理系統(tǒng)提供需要治理的內(nèi)容

該方案確定之后,各種令人頭痛的業(yè)務(wù)場(chǎng)景也就變得簡(jiǎn)單起來(lái),而且此舉還擴(kuò)大了治理系統(tǒng)的邊界,例如商品無(wú)圖合規(guī)問(wèn)題,商品差評(píng)率高的問(wèn)題,只需要對(duì)應(yīng)系統(tǒng)將相關(guān)數(shù)據(jù)/結(jié)果以MQ的形式發(fā)送至治理系統(tǒng),然后由治理系統(tǒng)為其綁定具體的合規(guī)問(wèn)題即可。

在編碼層面我們采用的是最簡(jiǎn)單的MQ解耦的方式實(shí)現(xiàn),示意圖如下:

技術(shù)問(wèn)題

在治理迭代的過(guò)程中,有一系列的需求是針對(duì)平臺(tái)商品的圖片進(jìn)行治理,以破損圖邏輯為例。

在最開(kāi)始的處理邏輯中,大家查詢資料整合信息,發(fā)現(xiàn)平臺(tái)偶爾出現(xiàn)的破損圖是由于圖片在下載過(guò)程中未下載完整后流中斷,觸發(fā)上傳引起的。因此在第一版的邏輯中,我們查閱資料作出了如下邏輯判斷:當(dāng)圖片下載完成觸發(fā)上傳前,對(duì)比請(qǐng)求體中的ContentLength與實(shí)際圖片字節(jié)大小,問(wèn)題初步解決。

但是過(guò)了不久問(wèn)題再次爆發(fā),此時(shí)我們發(fā)現(xiàn)事情沒(méi)有那么簡(jiǎn)單。

由于到家平臺(tái)對(duì)接眾多的商家系統(tǒng),各個(gè)系統(tǒng)的圖片服務(wù)器與后臺(tái)邏輯不一,導(dǎo)致我們無(wú)法對(duì)所有圖片都使用文件大小比對(duì)的方式,因此我們重新調(diào)研并實(shí)現(xiàn)了針對(duì)破損圖的核驗(yàn)?zāi)芰Α?/p>

即通過(guò)下載后的圖片內(nèi)容進(jìn)行處理和分析,利用算法與目標(biāo)問(wèn)題的業(yè)務(wù)特征來(lái)進(jìn)行識(shí)別,至此,問(wèn)題基本解決。

同時(shí),基于該思路我們也衍生出針對(duì)黑底圖、默認(rèn)圖的處理方式,在圖片問(wèn)題的治理上更進(jìn)一步。

治理觸達(dá)終落地

基于上述的方案和設(shè)計(jì),治理系統(tǒng)在問(wèn)題發(fā)現(xiàn)的流程上已經(jīng)趨于完善,接下來(lái),產(chǎn)品提出了新的要求,即:部分問(wèn)題實(shí)現(xiàn)自動(dòng)治理及問(wèn)題觸達(dá)商家。

筆者在之前了解機(jī)器學(xué)習(xí)方面的知識(shí)時(shí),注意到這樣一個(gè)特點(diǎn),在機(jī)器學(xué)習(xí)中,模型可以分為兩種:判別模型和生成模型。忽略掉其具體含義,吸收其設(shè)計(jì)思想,我們也可以將治理系統(tǒng)分為兩個(gè)階段,即:發(fā)現(xiàn)解決

上述的業(yè)務(wù)抽象以及技術(shù)問(wèn)題、業(yè)務(wù)問(wèn)題都是在用以發(fā)現(xiàn)問(wèn)題,當(dāng)我們將解決問(wèn)題的目標(biāo)納入到整個(gè)治理體系時(shí),只需要對(duì)現(xiàn)有結(jié)構(gòu)進(jìn)行一定程度的拓展即可滿足。

仍然以商品毛重信息填寫錯(cuò)誤問(wèn)題舉例,我們只需要在上文的抽象中增加兩個(gè)待實(shí)現(xiàn)方法:

  • 是否需要自動(dòng)處理:毛重問(wèn)題需要自動(dòng)處理

  • 自動(dòng)處理的具體實(shí)現(xiàn)規(guī)則:當(dāng)實(shí)際毛重大于某一閾值時(shí),將商品系統(tǒng)下架處理(依托于商品對(duì)外接口能力)

在核驗(yàn)結(jié)果入庫(kù)前,根據(jù)具體的實(shí)現(xiàn)邏輯以及數(shù)據(jù)反饋結(jié)果來(lái)判斷需要人工處理還是系統(tǒng)處理即可。

而對(duì)于觸達(dá)需求,其實(shí)現(xiàn)就更簡(jiǎn)單了,因?yàn)槲覀冊(cè)谧畛蹙投x好了治理業(yè)務(wù)溝通的基本要素是一個(gè)個(gè)具體的治理問(wèn)題,我們只需要將存儲(chǔ)好的數(shù)據(jù)以接口亦或是MQ的形式露出即可。

至此,整個(gè)治理體系從編碼層面也就建設(shè)完成,其核心邏輯在三個(gè)環(huán)節(jié):

  1. 商品變動(dòng)MQ/其他系統(tǒng)治理內(nèi)容通知觸發(fā)具體合規(guī)問(wèn)題核驗(yàn)。

  2. 針對(duì)核驗(yàn)結(jié)果進(jìn)行判斷:人工處理或系統(tǒng)自動(dòng)處理(處理的能力需借助于商品對(duì)外接口)。

  3. 核驗(yàn)結(jié)果對(duì)外露出。

下圖為治理系統(tǒng)當(dāng)前整體業(yè)務(wù)結(jié)構(gòu)圖:

治理系統(tǒng)整體架構(gòu)圖

治理業(yè)務(wù)全景圖

從治理平臺(tái)業(yè)務(wù)架構(gòu)升級(jí)至今,已經(jīng)穩(wěn)定運(yùn)行9個(gè)多月,在業(yè)務(wù)發(fā)展過(guò)程當(dāng)中,已經(jīng)累計(jì)治理平臺(tái)商品480W+,構(gòu)建出了8種識(shí)別能力,3種處理方式及兩種觸達(dá)方式。同時(shí)立足于商品、標(biāo)品系統(tǒng)為商品的快速建品、基礎(chǔ)信息建設(shè)、治理審核等保駕護(hù)航,下圖為到家治理全景圖:

治理業(yè)務(wù)全景圖

未來(lái)規(guī)劃

目前的治理體系是圍繞商品系統(tǒng)的主環(huán)節(jié)來(lái)設(shè)計(jì)和搭建的,其影響范圍較窄,我們完全可以將商品治理的成果運(yùn)用于商品體系之外的其他系統(tǒng)。

例如下圖中的各個(gè)業(yè)務(wù)場(chǎng)景:

以搜索推薦為例,我們可以為各個(gè)合規(guī)問(wèn)題制定相應(yīng)的扣減分?jǐn)?shù),搜索側(cè)在構(gòu)建數(shù)據(jù)時(shí)將當(dāng)前商品的合規(guī)分?jǐn)?shù)納入至自身體系中,在滿足搜索條件后按分值大小進(jìn)行排序。

另外,也有很多用算法無(wú)法識(shí)別的問(wèn)題需要納入至治理體系中,例如:商品差評(píng)率高、退貨率高等等。

總結(jié)

隨著業(yè)務(wù)的不斷發(fā)展,對(duì)于商品信息的質(zhì)量要求也會(huì)越來(lái)越高,到家治理系統(tǒng)還需要和各個(gè)上下游系統(tǒng)一起聯(lián)動(dòng),提供更精細(xì)化的商品管控能力,期待未來(lái)我們的治理能力越來(lái)越出色,為用戶提供更加真實(shí)、貼合實(shí)際的商品數(shù)據(jù)以及更加優(yōu)質(zhì)的服務(wù)。

免責(zé)聲明:羅戈網(wǎng)對(duì)轉(zhuǎn)載、分享、陳述、觀點(diǎn)、圖片、視頻保持中立,目的僅在于傳遞更多信息,版權(quán)歸原作者。如無(wú)意中侵犯了您的版權(quán),請(qǐng)第一時(shí)間聯(lián)系,核實(shí)后,我們將立即更正或刪除有關(guān)內(nèi)容,謝謝!
上一篇:冷鏈特寫丨疫情下,商超企業(yè)流通率提升精準(zhǔn)解決方案
下一篇:騰飛的中國(guó)算力基礎(chǔ)設(shè)施,讓數(shù)字世界擁有無(wú)限可能
羅戈訂閱
周報(bào)
1元 2元 5元 10元

感謝您的打賞

登錄后才能發(fā)表評(píng)論

登錄

相關(guān)文章

2025-05-01
2025-03-31
2025-03-26
2025-03-24
2025-03-24
2025-03-21
活動(dòng)/直播 更多

倉(cāng)儲(chǔ)管理之全局視角:從入門到精通

  • 時(shí)間:2025-04-24 ~ 2025-05-16
  • 主辦方:馮銀川
  • 協(xié)辦方:羅戈網(wǎng)

¥:2080.0元起

報(bào)告 更多

2025年3月物流行業(yè)月報(bào)-個(gè)人版

  • 作者:羅戈研究

¥:9.9元