[羅戈導(dǎo)讀]為了不斷提高平臺(tái)露出商品的價(jià)值，提高用戶的滿意度，我們?cè)O(shè)計(jì)并投入使用了京東到家商品治理系統(tǒng)。
京東到家作為一個(gè)即時(shí)零售的電商平臺(tái)，在提供1小時(shí)送達(dá)極致服務(wù)的同時(shí)也力求將萬(wàn)千好物送到消費(fèi)者的手中。為了不斷提高平臺(tái)露出商品的價(jià)值，提高用戶的滿意度，我們?cè)O(shè)計(jì)并投入使用了京東到家商品治理系統(tǒng)，其主要職責(zé)是對(duì)商品新建、修改、呈現(xiàn)的全鏈路流程進(jìn)行干預(yù)及核驗(yàn)，旨在發(fā)現(xiàn)并解決商品信息中如：敏感詞、虛假宣傳、錯(cuò)誤信息等不符合平臺(tái)規(guī)范和質(zhì)量要求的問(wèn)題，保證商品與實(shí)物的匹配度，信息的正確性等。
京東到家各業(yè)務(wù)線采用的是標(biāo)準(zhǔn)化的微服務(wù)架構(gòu)設(shè)計(jì)，各個(gè)系統(tǒng)在迭代過(guò)程中只用按需申請(qǐng)對(duì)應(yīng)的組件即可，下圖為治理系統(tǒng)所用到的技術(shù)組件：
消息中間件：使用京東的MQ中間件，實(shí)現(xiàn)業(yè)務(wù)解耦。
存儲(chǔ)：Redis集群、MySQL集群等。
Worker：基于TBSchedule分布式調(diào)度引擎框架構(gòu)建的服務(wù)，進(jìn)行定時(shí)任務(wù)的執(zhí)行和分發(fā)。
服務(wù)監(jiān)控：采用統(tǒng)一監(jiān)控與告警服務(wù)平臺(tái)，可以達(dá)到秒級(jí)監(jiān)控、多方位監(jiān)控、服務(wù)告警、全鏈路追蹤等能力。
服務(wù)間調(diào)用：使用京東的JSF平臺(tái)，實(shí)現(xiàn)服務(wù)間注冊(cè)、服務(wù)間調(diào)用，服務(wù)治理等能力，支持請(qǐng)求超時(shí)自動(dòng)阻斷。
日志服務(wù)：日志采集與查詢服務(wù)。
治理系統(tǒng)的第一個(gè)需求與大多數(shù)業(yè)務(wù)系統(tǒng)類似，是基于數(shù)據(jù)的增刪改查，構(gòu)建一套敏感詞管理模塊，同時(shí)為商品主系統(tǒng)提供敏感詞的校驗(yàn)?zāi)芰Α?/p>
它的第二個(gè)需求是為運(yùn)營(yíng)同學(xué)提供一個(gè)核驗(yàn)結(jié)果的報(bào)表，其主要邏輯是通過(guò)上傳Excel，內(nèi)部解析完成后調(diào)用接口得到相應(yīng)的數(shù)據(jù)結(jié)果，基于MySQL進(jìn)行存儲(chǔ)，然后提供查詢及展示的能力，以便運(yùn)營(yíng)使用。
但由于缺乏設(shè)計(jì)和長(zhǎng)遠(yuǎn)的思考，因此當(dāng)時(shí)的治理系統(tǒng)與商品主系統(tǒng)耦合嚴(yán)重，圖示如下：
而隨著平臺(tái)對(duì)商品信息合規(guī)性的要求越來(lái)越嚴(yán)格，針對(duì)商品分類、毛重、圖片等等諸多的治理需求也就接踵而來(lái)。但在上圖的設(shè)計(jì)之中，我們不難發(fā)現(xiàn)，治理系統(tǒng)是以具體的業(yè)務(wù)來(lái)構(gòu)建對(duì)外接口的，那隨著業(yè)務(wù)需求的不斷增加，兩個(gè)系統(tǒng)之間交互的接口個(gè)數(shù)也會(huì)出現(xiàn)暴漲，這是我們不希望看到的。
另外，治理的最終目的是期望商品上的問(wèn)題能夠得到解決，而不僅僅只是發(fā)現(xiàn)，因此將問(wèn)題暴露給運(yùn)營(yíng)或者商家，是勢(shì)在必行的，但當(dāng)下存在兩個(gè)問(wèn)題：
商品系統(tǒng)在自身的主流程中強(qiáng)依賴治理的核驗(yàn)?zāi)芰?，且隨著業(yè)務(wù)的增加，依賴會(huì)越來(lái)越多。
商品系統(tǒng)只能將前置攔截的核驗(yàn)結(jié)果告知商家，業(yè)務(wù)覆蓋面不全。
再加上有諸多問(wèn)題是屬于弱合規(guī)性（不需要強(qiáng)制攔截但又需要解決），因此我們決定將商品治理業(yè)務(wù)的核心由商品系統(tǒng)轉(zhuǎn)為治理系統(tǒng)。
為了實(shí)現(xiàn)高效率的商品治理，我們對(duì)治理系統(tǒng)的設(shè)計(jì)要求和定位作出了一點(diǎn)變更，提出了兩項(xiàng)基本原則：
治理系統(tǒng)需要完成整個(gè)治理業(yè)務(wù)的閉環(huán)，作為商品問(wèn)題發(fā)現(xiàn)及解決的總?cè)肟诤涂偝隹?/code>
治理系統(tǒng)需要具備高拓展性，當(dāng)增加特定化治理需求時(shí)能夠迅速響應(yīng)
在理清治理系統(tǒng)的業(yè)務(wù)架構(gòu)升級(jí)思路之后，我們首先需要確定的一個(gè)問(wèn)題就是：治理系統(tǒng)最基礎(chǔ)的原子能力是什么？
以各個(gè)主系統(tǒng)為例，商品系統(tǒng)最基礎(chǔ)的原子能力即：商品的創(chuàng)建、修改和提供查詢能力、庫(kù)存系統(tǒng)最基礎(chǔ)的原子能力即：商品庫(kù)存信息的維護(hù)及查詢能力。根據(jù)治理業(yè)務(wù)的發(fā)展規(guī)劃，我們也基本確定出治理系統(tǒng)的原子能力，即：發(fā)現(xiàn)商品存在的合規(guī)問(wèn)題，并向外提供查詢和輔助解決的能力。
對(duì)于合規(guī)問(wèn)題的定義，我們做出了如下解釋，即：不符合電商平臺(tái)商品展示規(guī)范的如敏感詞、虛假渲傳等問(wèn)題。
例如商品名稱中包含敏感詞，會(huì)映射為敏感詞問(wèn)題，另外需要說(shuō)明的是：在編碼階段中，一種可量化的具體規(guī)則可以確定對(duì)應(yīng)的一種合規(guī)問(wèn)題，且同一個(gè)商品可能同時(shí)存在多個(gè)不同的合規(guī)問(wèn)題。
目前到家治理系統(tǒng)所涉獵的合規(guī)問(wèn)題主要有：
| 合規(guī)問(wèn)題大類 | 對(duì)外描述 | 問(wèn)題細(xì)節(jié) |
|---|---|---|
| 商品毛重問(wèn)題 | 商品毛重不準(zhǔn)確 | 商品毛重與實(shí)際商品不符、商品毛重超過(guò)最大運(yùn)力限制等 |
| 商品信息不正確 | 商品信息不正確，請(qǐng)檢查具體內(nèi)容 | 商品名稱包含敏感詞、商品分類與實(shí)際商品不符、虛假宣傳等 |
| 商家商品經(jīng)營(yíng)范圍問(wèn)題 | 當(dāng)前售賣商品超出商家經(jīng)營(yíng)范圍 | 當(dāng)前售賣商品超出商家經(jīng)營(yíng)范圍等 |
| 圖片信息問(wèn)題 | 商品圖片信息存在問(wèn)題 | 商品無(wú)主圖、商品主圖為默認(rèn)圖、商品主圖為黑底圖等 |
| 未來(lái)計(jì)劃 | ||
商品價(jià)格問(wèn)題 |
-- | -- |
商品畫像問(wèn)題 |
-- | -- |
... |
為了方便理解，我們可以將每一種合規(guī)問(wèn)題看作是一種策略，而針對(duì)策略的頂層接口又定義了四個(gè)核心方法：
映射關(guān)聯(lián)的枚舉：每一個(gè)問(wèn)題都需要關(guān)聯(lián)具體的問(wèn)題原因
問(wèn)題關(guān)聯(lián)的字段：每一個(gè)問(wèn)題都需要關(guān)聯(lián)具體的影響字段或被影響字段
自定義過(guò)濾能力：根據(jù)業(yè)務(wù)特點(diǎn)，減少無(wú)用處理
核驗(yàn)方法：根據(jù)業(yè)務(wù)規(guī)則實(shí)現(xiàn)的具體核驗(yàn)邏輯
具體的實(shí)現(xiàn)邏輯如下圖所示：
以商品毛重信息填寫錯(cuò)誤為例，下圖為處理前后的展示結(jié)果：
毛重問(wèn)題有其對(duì)應(yīng)的關(guān)聯(lián)枚舉及文案映射，即：商品毛重不準(zhǔn)確（問(wèn)題類型），推薦毛重為 XXX（文案映射），所關(guān)聯(lián)的字段為：商品重量及商品名稱，再配合一定的過(guò)濾邏輯及核驗(yàn)算法，那么毛重問(wèn)題的抽象實(shí)體也就完成了，以此類推，我們后續(xù)在增加新的治理問(wèn)題時(shí)，采用類似的方式即可。
如果是對(duì)設(shè)計(jì)模式涉獵較多的讀者應(yīng)該已經(jīng)判斷出來(lái)，這種設(shè)計(jì)方案其實(shí)就是策略模式及模板方法模式的變種罷了，在編碼階段也肯定少不了工廠的使用，在編碼層面整體的變化如下圖所示：
上述方案落地之后，產(chǎn)研側(cè)對(duì)于治理業(yè)務(wù)的后續(xù)發(fā)展達(dá)成了基本共識(shí)，同時(shí)需求的實(shí)現(xiàn)也變得簡(jiǎn)單起來(lái)，我們不用再關(guān)注其他系統(tǒng)的邏輯，而是著眼于具體合規(guī)問(wèn)題的業(yè)務(wù)規(guī)則實(shí)現(xiàn)上。
業(yè)務(wù)方和產(chǎn)品可以更好的通過(guò)數(shù)據(jù)分析來(lái)確定未來(lái)的治理重點(diǎn)和需求規(guī)劃，研發(fā)人員也以優(yōu)雅的方式解決了系統(tǒng)間耦合、業(yè)務(wù)代碼重復(fù)的問(wèn)題。
初步定義好治理系統(tǒng)的業(yè)務(wù)架構(gòu)設(shè)計(jì)后，在后續(xù)迭代的過(guò)程中，我們遇到了兩個(gè)較為棘手的問(wèn)題，一個(gè)是業(yè)務(wù)問(wèn)題，一個(gè)是技術(shù)問(wèn)題。
業(yè)務(wù)方要求APP展示的商品主圖不能與默認(rèn)圖（例如空白圖、品牌商標(biāo)圖等不能體現(xiàn)商品信息的圖片）一致，然而商品圖片的核驗(yàn)邏輯一直由圖片核驗(yàn)系統(tǒng)承接。
這就引起了一個(gè)問(wèn)題：治理系統(tǒng)是否需要集成圖片核驗(yàn)邏輯，如果不集成，那又該如何將其圖片違規(guī)問(wèn)題納入至治理體系中？
如果是經(jīng)驗(yàn)豐富的開發(fā)者一定會(huì)提出使用MQ的方式由圖片核驗(yàn)系統(tǒng)發(fā)送核驗(yàn)結(jié)果至治理系統(tǒng)，來(lái)解決這個(gè)問(wèn)題。實(shí)際上我們也是這么做的，只不過(guò)做的更徹底一些。
在設(shè)計(jì)模式當(dāng)中，我們通常會(huì)將一系列類似業(yè)務(wù)整合成一個(gè)公共接口向外提供能力，我們將它稱之為：門面模式或者外觀模式。
對(duì)于上述的類似問(wèn)題，我們找到了公共的處理思路，即：將治理系統(tǒng)作為門面，其他系統(tǒng)作為組件，各系統(tǒng)都可以主動(dòng)的向治理系統(tǒng)提供需要治理的內(nèi)容。
該方案確定之后，各種令人頭痛的業(yè)務(wù)場(chǎng)景也就變得簡(jiǎn)單起來(lái)，而且此舉還擴(kuò)大了治理系統(tǒng)的邊界，例如商品無(wú)圖合規(guī)問(wèn)題，商品差評(píng)率高的問(wèn)題，只需要對(duì)應(yīng)系統(tǒng)將相關(guān)數(shù)據(jù)/結(jié)果以MQ的形式發(fā)送至治理系統(tǒng)，然后由治理系統(tǒng)為其綁定具體的合規(guī)問(wèn)題即可。
在編碼層面我們采用的是最簡(jiǎn)單的MQ解耦的方式實(shí)現(xiàn)，示意圖如下：
在治理迭代的過(guò)程中，有一系列的需求是針對(duì)平臺(tái)商品的圖片進(jìn)行治理，以破損圖邏輯為例。
在最開始的處理邏輯中，大家查詢資料整合信息，發(fā)現(xiàn)平臺(tái)偶爾出現(xiàn)的破損圖是由于圖片在下載過(guò)程中未下載完整后流中斷，觸發(fā)上傳引起的。因此在第一版的邏輯中，我們查閱資料作出了如下邏輯判斷：當(dāng)圖片下載完成觸發(fā)上傳前，對(duì)比請(qǐng)求體中的ContentLength與實(shí)際圖片字節(jié)大小，問(wèn)題初步解決。
但是過(guò)了不久問(wèn)題再次爆發(fā)，此時(shí)我們發(fā)現(xiàn)事情沒(méi)有那么簡(jiǎn)單。
由于到家平臺(tái)對(duì)接眾多的商家系統(tǒng)，各個(gè)系統(tǒng)的圖片服務(wù)器與后臺(tái)邏輯不一，導(dǎo)致我們無(wú)法對(duì)所有圖片都使用文件大小比對(duì)的方式，因此我們重新調(diào)研并實(shí)現(xiàn)了針對(duì)破損圖的核驗(yàn)?zāi)芰Α?/p>
即通過(guò)下載后的圖片內(nèi)容進(jìn)行處理和分析，利用算法與目標(biāo)問(wèn)題的業(yè)務(wù)特征來(lái)進(jìn)行識(shí)別，至此，問(wèn)題基本解決。
同時(shí)，基于該思路我們也衍生出針對(duì)黑底圖、默認(rèn)圖的處理方式，在圖片問(wèn)題的治理上更進(jìn)一步。
基于上述的方案和設(shè)計(jì)，治理系統(tǒng)在問(wèn)題發(fā)現(xiàn)的流程上已經(jīng)趨于完善，接下來(lái)，產(chǎn)品提出了新的要求，即：部分問(wèn)題實(shí)現(xiàn)自動(dòng)治理及問(wèn)題觸達(dá)商家。
筆者在之前了解機(jī)器學(xué)習(xí)方面的知識(shí)時(shí)，注意到這樣一個(gè)特點(diǎn)，在機(jī)器學(xué)習(xí)中，模型可以分為兩種：判別模型和生成模型。忽略掉其具體含義，吸收其設(shè)計(jì)思想，我們也可以將治理系統(tǒng)分為兩個(gè)階段，即：發(fā)現(xiàn)和解決。
上述的業(yè)務(wù)抽象以及技術(shù)問(wèn)題、業(yè)務(wù)問(wèn)題都是在用以發(fā)現(xiàn)問(wèn)題，當(dāng)我們將解決問(wèn)題的目標(biāo)納入到整個(gè)治理體系時(shí)，只需要對(duì)現(xiàn)有結(jié)構(gòu)進(jìn)行一定程度的拓展即可滿足。
仍然以商品毛重信息填寫錯(cuò)誤問(wèn)題舉例，我們只需要在上文的抽象中增加兩個(gè)待實(shí)現(xiàn)方法：
是否需要自動(dòng)處理：毛重問(wèn)題需要自動(dòng)處理
自動(dòng)處理的具體實(shí)現(xiàn)規(guī)則：當(dāng)實(shí)際毛重大于某一閾值時(shí)，將商品系統(tǒng)下架處理（依托于商品對(duì)外接口能力）
在核驗(yàn)結(jié)果入庫(kù)前，根據(jù)具體的實(shí)現(xiàn)邏輯以及數(shù)據(jù)反饋結(jié)果來(lái)判斷需要人工處理還是系統(tǒng)處理即可。
而對(duì)于觸達(dá)需求，其實(shí)現(xiàn)就更簡(jiǎn)單了，因?yàn)槲覀冊(cè)谧畛蹙投x好了治理業(yè)務(wù)溝通的基本要素是一個(gè)個(gè)具體的治理問(wèn)題，我們只需要將存儲(chǔ)好的數(shù)據(jù)以接口亦或是MQ的形式露出即可。
至此，整個(gè)治理體系從編碼層面也就建設(shè)完成，其核心邏輯在三個(gè)環(huán)節(jié)：
商品變動(dòng)MQ/其他系統(tǒng)治理內(nèi)容通知觸發(fā)具體合規(guī)問(wèn)題核驗(yàn)。
針對(duì)核驗(yàn)結(jié)果進(jìn)行判斷：人工處理或系統(tǒng)自動(dòng)處理（處理的能力需借助于商品對(duì)外接口）。
核驗(yàn)結(jié)果對(duì)外露出。
下圖為治理系統(tǒng)當(dāng)前整體業(yè)務(wù)結(jié)構(gòu)圖：
從治理平臺(tái)業(yè)務(wù)架構(gòu)升級(jí)至今，已經(jīng)穩(wěn)定運(yùn)行9個(gè)多月，在業(yè)務(wù)發(fā)展過(guò)程當(dāng)中，已經(jīng)累計(jì)治理平臺(tái)商品480W+，構(gòu)建出了8種識(shí)別能力，3種處理方式及兩種觸達(dá)方式。同時(shí)立足于商品、標(biāo)品系統(tǒng)為商品的快速建品、基礎(chǔ)信息建設(shè)、治理審核等保駕護(hù)航，下圖為到家治理全景圖：
目前的治理體系是圍繞商品系統(tǒng)的主環(huán)節(jié)來(lái)設(shè)計(jì)和搭建的，其影響范圍較窄，我們完全可以將商品治理的成果運(yùn)用于商品體系之外的其他系統(tǒng)。
例如下圖中的各個(gè)業(yè)務(wù)場(chǎng)景：
以搜索推薦為例，我們可以為各個(gè)合規(guī)問(wèn)題制定相應(yīng)的扣減分?jǐn)?shù)，搜索側(cè)在構(gòu)建數(shù)據(jù)時(shí)將當(dāng)前商品的合規(guī)分?jǐn)?shù)納入至自身體系中，在滿足搜索條件后按分值大小進(jìn)行排序。
另外，也有很多用算法無(wú)法識(shí)別的問(wèn)題需要納入至治理體系中，例如：商品差評(píng)率高、退貨率高等等。
隨著業(yè)務(wù)的不斷發(fā)展，對(duì)于商品信息的質(zhì)量要求也會(huì)越來(lái)越高，到家治理系統(tǒng)還需要和各個(gè)上下游系統(tǒng)一起聯(lián)動(dòng)，提供更精細(xì)化的商品管控能力，期待未來(lái)我們的治理能力越來(lái)越出色，為用戶提供更加真實(shí)、貼合實(shí)際的商品數(shù)據(jù)以及更加優(yōu)質(zhì)的服務(wù)。
2025年京東物流-河北大件宅配、京東幫資源招商
2057 閱讀
多多買菜：悶聲增長(zhǎng)
1340 閱讀
義烏漲完廣州漲 通達(dá)兔等快遞全年或增收數(shù)十億！
1220 閱讀單品年銷千萬(wàn)，新品研發(fā)提速，國(guó)民零食如何借拼多多復(fù)興？
1149 閱讀18天抵歐！寧波舟山港迎來(lái)史上最快中歐航線
1106 閱讀歐盟《關(guān)鍵原材料法案》：全球資源戰(zhàn)略格局的重大轉(zhuǎn)變及應(yīng)對(duì)策略
1101 閱讀又出傷人事件！買A退B、簽收訛詐、押金不退……快遞小哥如何避坑？
980 閱讀京東物流遼寧省區(qū)大件京東幫/宅配招商
940 閱讀美團(tuán)閃購(gòu)攜手家電品牌實(shí)現(xiàn)空調(diào)半日送裝
971 閱讀2025年1-6月港口貨物、集裝箱吞吐量
974 閱讀
微信-客服二維碼-1_7FYvfo9xbJql.png?x-oss-process=image/quality,Q_80)
粵公網(wǎng)安備 44030402005698號(hào)
