導(dǎo)讀：在本文中，我們介紹了交付時(shí)間預(yù)估迭代的三個(gè)版本，分別為基于地址結(jié)構(gòu)的樹模型、向量召回方案以及輕量級(jí)的End-to-End的深度學(xué)習(xí)網(wǎng)絡(luò)。同時(shí)介紹了如何在性能和指標(biāo)之間取舍，以及模型策略迭代的中間歷程，希望能給從事相關(guān)工作的同學(xué)們有所啟發(fā)和幫助。

1. 背景

可能很多同學(xué)都不知道，從打開美團(tuán)App點(diǎn)一份外賣開始，然后在半小時(shí)內(nèi)就可以從騎手小哥手中拿到溫?zé)岬娘埐?，這中間涉及的環(huán)節(jié)有多么復(fù)雜。而美團(tuán)配送技術(shù)團(tuán)隊(duì)的核心任務(wù)，就是將每天來自祖國(guó)各地的數(shù)千萬份訂單，迅速調(diào)度幾十萬騎手小哥按照最優(yōu)路線，并以最快的速度送到大家手中。

在這種場(chǎng)景下，騎手的交付時(shí)間，即騎手到達(dá)用戶附近下車后多久能送到用戶手中，就是一個(gè)非常重要的環(huán)節(jié)。下圖是一個(gè)訂單在整個(gè)配送鏈路的時(shí)間構(gòu)成，時(shí)間軸最右部分描述了交付環(huán)節(jié)在整個(gè)配送環(huán)節(jié)中的位置。交付時(shí)間衡量的是騎手送餐時(shí)的交付難度，包括從騎手到達(dá)用戶樓宇附近，到將餐品交付到用戶手中的整個(gè)時(shí)間。

交付時(shí)間的衡量是非常有挑戰(zhàn)的一件事，因?yàn)轵T手在送餐交付到用戶手中時(shí)會(huì)碰到不同的問題，例如：騎手一次送餐給樓宇內(nèi)多個(gè)用戶，騎手對(duì)于特定樓宇尋址特別困難，騎手在交付樓宇附近只能步行，老舊小區(qū)沒有電梯，寫字樓無法上樓，或者難以等到電梯等等。交付時(shí)間預(yù)估需要具備刻畫交付難度的能力，在定價(jià)、調(diào)度等多個(gè)場(chǎng)景中被廣泛使用。例如根據(jù)交付難度來確定是否調(diào)節(jié)騎手郵資，根據(jù)交付難度來確定是否調(diào)節(jié)配送運(yùn)單的順序，從而避免超時(shí)等等?？偟膩碚f，交付時(shí)間預(yù)估是配送業(yè)務(wù)基礎(chǔ)服務(wù)的重要一環(huán)。

但是，交付時(shí)間預(yù)估存在如下的困難：

• 輸入信息較少，且多為非數(shù)值型數(shù)據(jù)，目前能夠被用來預(yù)估的僅有如下維度特征：交付地址、交付點(diǎn)的經(jīng)緯度、區(qū)域、城市，適配常規(guī)機(jī)器學(xué)習(xí)模型需要重新整理且容易丟失信息。

• 計(jì)算性能要求很高。由于是基礎(chǔ)服務(wù)，會(huì)被大量的服務(wù)調(diào)用，需要性能TP99保證在10ms以內(nèi)，整個(gè)算法平均響應(yīng)時(shí)間需要控制在5ms內(nèi)，其中包括數(shù)據(jù)處理及RPC的時(shí)間。且該標(biāo)準(zhǔn)為CPU環(huán)境下的性能要求，而非GPU下的性能要求。

上圖為部分版本所對(duì)應(yīng)的性能，平響時(shí)間均在5ms內(nèi)，TP99基本在10ms內(nèi)

總結(jié)起來，交付時(shí)間預(yù)估的問題，在于需要使用輕量級(jí)的解決方案來處理多種數(shù)據(jù)形式的非數(shù)值型數(shù)據(jù)，并提取有效信息量，得到相對(duì)準(zhǔn)確的結(jié)果。在相同效果的前提下，我們更傾向于性能更優(yōu)的方案。

在本文中，我們介紹了交付時(shí)間預(yù)估迭代的三個(gè)版本，分別為基于地址結(jié)構(gòu)的樹模型、向量召回方案以及輕量級(jí)的End-to-End的深度學(xué)習(xí)網(wǎng)絡(luò)。同時(shí)介紹了如何在性能和指標(biāo)之間取舍，以及模型策略迭代的中間歷程，希望能給從事相關(guān)工作的同學(xué)們有所啟發(fā)和幫助。

2. 技術(shù)迭代路徑

首先，在交付時(shí)間預(yù)估的技術(shù)迭代上，我們主要經(jīng)歷了三個(gè)大版本的改動(dòng)，每一版本在5ms計(jì)算性能的約束下，追求輕量化的解決方案，在兼顧提升效果的基礎(chǔ)上，不顯著增加性能的消耗。

本章節(jié)分別敘述了3個(gè)模型的迭代路徑，包括技術(shù)選型、關(guān)鍵方案及最終效果。

2.1 樹模型

技術(shù)選型

最早也是最容易被考慮到的是利用規(guī)則，核心思路是利用樹結(jié)構(gòu)衡量地址相似性，盡可能在相似的交付地址上積聚結(jié)構(gòu)化數(shù)據(jù)，然后利用局部的回歸策略，得到相對(duì)充裕的回歸邏輯，而未能達(dá)到回歸策略要求的則走兜底的策略。

為了快速聚積局部數(shù)據(jù)，樹模型是一個(gè)較為合適的解決方案，樹的規(guī)則解析能夠有效地聚集數(shù)據(jù)，同時(shí)一個(gè)層級(jí)并不深的樹，在計(jì)算速度上，具備足夠的優(yōu)勢(shì)，能夠在較短的時(shí)間內(nèi)，得到相對(duì)不錯(cuò)的解決方案。

觀察用戶填寫地址以及聯(lián)系實(shí)際中地址的層級(jí)結(jié)構(gòu)，不難發(fā)現(xiàn)，一個(gè)地址可以由四級(jí)結(jié)構(gòu)組成：地址主干詞（addr）、樓宇號(hào)（building）、單元號(hào)（unit）、樓層（floor）。其中的地址主干詞在實(shí)際中可能對(duì)應(yīng)于小區(qū)名或者學(xué)校名等地標(biāo)名稱。例如望京花園1號(hào)樓2單元5樓，解析為（望京花園，1號(hào)樓，2單元，5樓）。通過分析，實(shí)際交付時(shí)長(zhǎng)與樓層高低呈正相關(guān)關(guān)系，且不同交付地址的交付時(shí)長(zhǎng)隨樓層增加的變化幅度也有所區(qū)別，所以可以使用線性回歸模型擬合樓層信息和交付時(shí)長(zhǎng)的關(guān)系，而地址主干詞、樓宇號(hào)、單元號(hào)作為其層級(jí)索引。但用戶填寫的地址中并不一定包含完整的四級(jí)結(jié)構(gòu)，就會(huì)存在一定比例的缺失，所以利用這樣的層級(jí)結(jié)構(gòu)構(gòu)建成一棵樹，然后充分利用上一層已知的信息進(jìn)行預(yù)估。預(yù)測(cè)時(shí)，只需根據(jù)結(jié)點(diǎn)的分支找到對(duì)應(yīng)的模型即可，如果缺失，使用上一層結(jié)構(gòu)進(jìn)行預(yù)測(cè)。對(duì)于沒有達(dá)到訓(xùn)練模型要求數(shù)據(jù)量的地址，使用其所在的區(qū)域平均交付時(shí)長(zhǎng)作為交付時(shí)長(zhǎng)的預(yù)估結(jié)果，這部分也可以看作區(qū)域信息，作為樹結(jié)構(gòu)的根節(jié)點(diǎn)。

迭代路徑

整體的思路是基于離散特征訓(xùn)練樹模型，在樹的結(jié)點(diǎn)上基于樓層訓(xùn)練線性回歸模型。樹結(jié)點(diǎn)訓(xùn)練分裂規(guī)則：（1）數(shù)據(jù)量大于閾值；（2）分裂后MAE（平均絕對(duì)誤差）的和小于分裂前。考慮到數(shù)據(jù)的時(shí)效性，采用加權(quán)線性回歸增加近期數(shù)據(jù)的權(quán)重。

2.2 樹模型+向量召回方案

技術(shù)選型

向量召回作為主流的召回方案之一，被業(yè)界廣泛使用，在使用LSH、PQ乘積量化等常用開源工具基礎(chǔ)上，高維向量召回性能通常在毫秒量級(jí)。

而從算法上考慮，樹模型中NLP地址解析結(jié)果能夠達(dá)到模型使用要求的僅為70%+，剩余20%+的地址無法通過訓(xùn)練得到的模型從而只能走降級(jí)策略。利用高維向量來表達(dá)語義相似性，即利用向量來表達(dá)地址相似性，從而用相似數(shù)據(jù)對(duì)應(yīng)的模型來替代相似但未被召回?cái)?shù)據(jù)，將地址主干詞進(jìn)行Embedding后，擺脫主干詞完全匹配的低魯棒性。

例如，在地址上可能會(huì)出現(xiàn)【7天酒店晉陽街店】數(shù)據(jù)量比較充足，但【7天連鎖酒店太原高新區(qū)晉陽街店】數(shù)據(jù)量不充足從而無法訓(xùn)練模型的案例，這可能是同一個(gè)交付位置。我們希望盡可能擴(kuò)大地址解析的成功率。

迭代路徑

整個(gè)技術(shù)路徑較為清晰簡(jiǎn)單，即利用Word2Vec將charLevel字符進(jìn)行Embedding，獲得該地址的向量表示，并且融入GPS位置信息，設(shè)計(jì)相應(yīng)兜底策略。

向量召回方案決策路徑

最終效果

比較大地提升了整體策略的召回率，提升了12.20pp，對(duì)于未被上一版本樹模型召回的地址，指標(biāo)有了顯著的提升，其中ME下降87.14s，MAE下降38.13s，1min絕對(duì)偏差率減小14.01pp，2min絕對(duì)偏差率減小18.45pp，3min絕對(duì)偏差率減小15.90pp。

2.3 End-to-End輕量化深度學(xué)習(xí)方案

技術(shù)選型

在樹模型的基礎(chǔ)上，迭代到向量召回方案，整個(gè)模型的召回率有了較大幅度的增長(zhǎng)，但仍然不是100%。分析發(fā)現(xiàn)，召回率提升的障礙在于NLP對(duì)于地址解析的覆蓋率。

整個(gè)方案的出發(fā)點(diǎn)：

從模型復(fù)雜度考慮，同樣僅僅使用地址信息的話，在提升模型VC維的基礎(chǔ)上，使用其他的模型方案至少可以持平樹模型的效果，如果在這基礎(chǔ)上還能融入其他信息，那么對(duì)于原模型的基線，還能有進(jìn)一步的提升。

考慮到不僅僅需要使用地址數(shù)據(jù)，同時(shí)需要使用GPS數(shù)據(jù)、大量ID類的Embedding，對(duì)于各類非數(shù)值類型的處理靈活性考慮，采用深度學(xué)習(xí)的方案，來保證多源且多類型特征能在同一個(gè)優(yōu)化體系下優(yōu)化學(xué)習(xí)。

工程上需要考慮的點(diǎn)：

交付模型作為基礎(chǔ)模型，被廣泛應(yīng)用在路徑構(gòu)造、定價(jià)、ETA等各個(gè)業(yè)務(wù)中頻繁調(diào)用，在樹模型版本中，對(duì)于性能的要求為平均響應(yīng)時(shí)間5ms，TP99在10ms左右，本方案需要考慮沿襲原業(yè)務(wù)的性能，不能顯著增加計(jì)算耗時(shí)。

交付模型的難點(diǎn)在于非數(shù)值型特征多，信息獲取形式的多樣化，當(dāng)前的瓶頸并不在于模型的復(fù)雜度低。如果可以輕量地獲取信息及融合，沒必要對(duì)Fusion后的信息做較重的處理方案。

所以整體的設(shè)計(jì)思路為：利用深度學(xué)習(xí)融合非數(shù)值型特征，在簡(jiǎn)單Fusion的基礎(chǔ)上，直接得到輸出結(jié)構(gòu)，對(duì)于組件的選擇，盡可能選用Flops較低的設(shè)計(jì)。該設(shè)計(jì)背后意圖是，在充分使用原始輸入信息，在盡可能避免信息損失的基礎(chǔ)上，將非數(shù)值型的信息融入進(jìn)去。并將信息充分融合，直接對(duì)接所需要的目標(biāo)。而選用的融合組件結(jié)構(gòu)盡可能保證高性能，且具備較高學(xué)習(xí)效率。這里分別針對(duì)地址選用了較為Robust的LSTM，針對(duì)GPS選用了自定義的雙線性Embedding，兼顧性能和效果。

迭代路徑

開始采用端到端的深度學(xué)習(xí)模型，這里首先需要解決的是覆蓋率問題，直接采用LSTM讀取charLevel的地址數(shù)據(jù)，經(jīng)過全連接層直接輸出交付時(shí)間。作為第一版本的數(shù)據(jù)，該版本數(shù)據(jù)基本持平樹模型效果，但對(duì)于樹模型未召回的20%數(shù)據(jù)，有了較大的提升。

地址信息輸入charLevel模型

在采用charLevel的地址奏效后，我們開始采用加入用戶地址GPS的信息，由于GPS為經(jīng)緯度信息，非數(shù)值型數(shù)據(jù)，我們使用一種基于地理位置格點(diǎn)的雙線性插值方法進(jìn)行Embedding。該方案具備一定的擴(kuò)展性，對(duì)不同的GPS均能合理得到Embedding向量，同時(shí)具備平滑特性，對(duì)于多對(duì)偏移較小的GPS點(diǎn)能夠很好的進(jìn)行支持。

最終方案將地址Embedding后，以及GPS點(diǎn)的Embedding化后，加入下單時(shí)間、城市ID、區(qū)域ID等特征后，再進(jìn)行特征融合及變換，得到交付模型的時(shí)間預(yù)估輸出。整個(gè)模型是一個(gè)端到端的訓(xùn)練，所有參數(shù)均為Trainable。

模型結(jié)構(gòu)示意圖

擴(kuò)展組件

在證實(shí)End-to-End路徑可行后，我們開始進(jìn)行擴(kuò)展組件建設(shè)，包括自定義損失函數(shù)、數(shù)據(jù)采樣修正、全國(guó)模型統(tǒng)一等操作，得到一系列正向效果，并開發(fā)上線。

特征重要性分析

對(duì)于深度學(xué)習(xí)模型，我們有一系列特征重要性評(píng)估方案，這里采用依次進(jìn)行Feature Permutation的方式，作為評(píng)估模型特征重要性的方式。

考慮GPS經(jīng)緯度和用戶地址存在較大程度的信息重疊，評(píng)估結(jié)果如下。Shuffle后，用戶地址的特征重要性高于GPS經(jīng)緯度的特征重要性。加入GPS后ME下降不如地址信息明顯，主要是地址信息包含一定冗余信息（下文會(huì)分析），而其他信息的影響則可以忽略不計(jì)。

注：在配送的其他案例中，商戶GPS的經(jīng)緯度重要性>>用戶地址重要性>>用戶GPS的經(jīng)緯度重要性，該特征重要性僅僅為本案例特征重要性排序，不同學(xué)習(xí)目標(biāo)下可能會(huì)有比較明顯差別。

最終效果

End-to-End深度學(xué)習(xí)模型的最終效果較為顯著：對(duì)于樹模型及向量召回方案的最痛點(diǎn)，覆蓋率得到徹底解決，覆蓋率提升到100%。ME下降4.96s，MAE下降8.17s，1min絕對(duì)偏差率減小2.38pp，2min絕對(duì)偏差率減小5.08pp，3min絕對(duì)偏差率減小3.46pp。同時(shí)，對(duì)于之前樹模型及向量召回方案未能覆蓋到的運(yùn)單，提升則更為明顯。

3. 模型相關(guān)分析

在整個(gè)技術(shù)迭代的過程中，由于整個(gè)解決方案對(duì)于性能有著較為苛刻的要求，需要單獨(dú)對(duì)方案性能進(jìn)行分析。本章節(jié)對(duì)向量召回方案及深度學(xué)習(xí)方案進(jìn)行了相應(yīng)的性能分析，以便在線下確認(rèn)性能指標(biāo)，最終保證上線后性能均達(dá)到要求。下文分別著重介紹了向量匹配的工具Faiss以及TensorFlow Operation算子的選取，還有對(duì)于整體性能的影響。

同時(shí)對(duì)比End-to-End生成向量與Word2Vec生成向量的質(zhì)量區(qū)別，對(duì)于相關(guān)項(xiàng)目具備一定的借鑒意義。

3.1 向量召回性能

最近鄰搜索（Nearest Neighbor Search）指的是在高維度空間內(nèi)找到與查詢點(diǎn)最近點(diǎn)的問題。在數(shù)據(jù)樣本小的時(shí)候，通過線性搜索就能滿足需求，但隨著數(shù)據(jù)量的增加，如達(dá)到上百萬、上億點(diǎn)時(shí)候，傾向于將數(shù)據(jù)結(jié)構(gòu)化表示來更加精確地表達(dá)向量信息。

此時(shí)近似最近鄰搜索ANN（Approximate Nearest Neighbor）是一個(gè)可參考的技術(shù)，它能在近似召回一部分之后，再進(jìn)行線性搜索，平衡效率和精度。目前大體上有以下3類主流方法：基于樹的方法，如K-D樹等；基于哈希的方法，例如LSH；基于矢量量化的方法，例如PQ乘積量化。在工業(yè)檢索系統(tǒng)中，乘積量化是使用較多的一種索引方法。

針對(duì)向量召回的工具，存在大量的開源實(shí)現(xiàn)，在技術(shù)選型的過程中，我們參照ANN-Benchmarks以及Erikbern/ANN-Benchmarks中的性能評(píng)測(cè)結(jié)果。在眾多ANN相關(guān)的工具包內(nèi)，考慮到性能、內(nèi)存、召回精度等因素，同時(shí)可以支持GPU，在向量召回方案的測(cè)試中，選擇以Faiss作為Benchmark。

Faiss是FaceBook在2017年開源的一個(gè)用于稠密向量高效相似性搜索和密集向量聚類的庫(kù)，能夠在給定內(nèi)存使用下，在速度和精度之間權(quán)衡?？梢栽谔峁┒喾N檢索方式的同時(shí)，具備C++/Python等多個(gè)接口，也對(duì)大部分算法支持GPU實(shí)現(xiàn)。

下圖為Faiss測(cè)評(píng)曲線：

交付時(shí)間模型召回的性能測(cè)試如下，可以達(dá)到性能需求。

• 召回候選集數(shù)量：8W條向量【由于采用了GPS距離作為距離限制，故召回測(cè)試采用8W數(shù)量級(jí)】。

• 測(cè)試機(jī)器：Mac本機(jī)CPU【CPU已滿足性能，故不再測(cè)試GPU】。

3.2 序列模塊性能

在TensorFlow系統(tǒng)中，以C API為界限，將系統(tǒng)劃分為【前端】和【后端】?jī)蓚€(gè)子系統(tǒng)，前端扮演Client角色，完成計(jì)算圖的構(gòu)造，然后由Protobuf發(fā)送給后端啟動(dòng)計(jì)算圖計(jì)算。計(jì)算圖的基礎(chǔ)單元是OP，代表的是某種操作的抽象。在TensorFlow中，考慮到實(shí)現(xiàn)的不同，不同OP算子的選擇，對(duì)于計(jì)算性能具有較大影響。

為了評(píng)測(cè)深度學(xué)習(xí)交付模型的性能瓶頸，首先對(duì)整個(gè)模型進(jìn)行Profile，下圖即為Profile后的Timeline，其中整個(gè)計(jì)算大部分消耗在序列模塊處理部分，即下圖中的藍(lán)色部分。故需要對(duì)序列模塊的計(jì)算性能進(jìn)行OP算子的加速。

考慮到序列處理的需求，評(píng)估使用了LSTM/GRU/SRU等模塊，同時(shí)在TensorFlow中，LSTM也存在多種實(shí)現(xiàn)形式，包括BasicLSTMCell、LSTMCell、LSTMBlockCell、LSTMBlockFusedCell和CuDNNLSTM等實(shí)現(xiàn)，由于整個(gè)交付模型運(yùn)行在CPU上，故排除CuDNNLSTM，同時(shí)設(shè)置了全連接層FullyConnect加入評(píng)估。

從評(píng)估中可以發(fā)現(xiàn)，全連接層速度最快，但是對(duì)于序列處理會(huì)損失2.3pp效果，其余的序列模型效果差異不大，但不同的OP實(shí)現(xiàn)對(duì)結(jié)果影響較大。原生的BasicLSTM性能較差，contrib下的LSTMBlockFusedCell性能最好，GRU/SRU在該場(chǎng)景下未取得顯著優(yōu)勢(shì)。

這是LSTMBlockFusedCell的官方說明，其核心實(shí)現(xiàn)是將LSTM的Loop合并為一個(gè)OP，調(diào)用時(shí)候整個(gè)Timeline上更為緊湊，同時(shí)節(jié)約時(shí)間和內(nèi)存：

This is an extremely efficient LSTM implementation, that uses a single TF op for the entire LSTM. It should be both faster and more memory-efficient than LSTMBlockCell defined above.

以下是序列模塊的性能測(cè)試：

• 環(huán)境：Tensorflow1.10.0，CentOS 7。

• 測(cè)試方法：CPU inference 1000次，取最長(zhǎng)的地址序列，求平均時(shí)間。

• 結(jié)論：LSTMBlockFused實(shí)現(xiàn)性能最佳?！綟ullyConnect性能最快，但對(duì)性能有損失】

注：在評(píng)估中，不僅僅包括了序列模型，也包括了其他功能模塊，故參數(shù)量及模型大小按照總體模型而言

3.3 向量效果分析

將向量召回與深度學(xué)習(xí)模型進(jìn)行橫向比較，二者中間過程均生成了高維向量。不難發(fā)現(xiàn)，二者具備一定的相似性，這里就引發(fā)了我們的思考：

• 相較于向量召回，深度學(xué)習(xí)模型帶來的提升主要來自于哪里？

• 有監(jiān)督的lstm學(xué)習(xí)到的Embedding向量與自監(jiān)督的Word2Vec得到的向量在地址相似性計(jì)算中有多大差別，孰優(yōu)孰劣？

首先，我們分析第一個(gè)問題，End-to-End模型提升主要來自哪里？

我們直接將End-to-End模型得到的char embedding抽取出來，直接放入到Word2Vec方案內(nèi)，取代Word2Vec生成的char embedding，再進(jìn)行向量召回的評(píng)估。結(jié)果如下表所示，單獨(dú)抽取出來的char embedding在向量召回方案中，表現(xiàn)與Word2Vec生成的向量基本一致，并沒有明顯的優(yōu)勢(shì)。

注：

• 1min絕對(duì)偏差率定義：|pred-label|<=60s

• 2min絕對(duì)偏差率定義：|pred-label|<=120s

• 3min絕對(duì)偏差率定義：|pred-label|<=180s

此時(shí)的變量有2個(gè)方面:

1. 對(duì)于charLevel地址的學(xué)習(xí)結(jié)構(gòu)不同，一個(gè)為Word2Vec，一個(gè)為L(zhǎng)STM。

2. 輸入信息的不同，Word2Vec的信息輸入僅僅為地址主干詞，而End-to-End的信息輸入則包括了地址主干詞、地址附屬信息、GPS等其他信息。

注：

• 完整地址：卓瑪護(hù)膚造型（洞庭湖店） （洞庭湖路與天山路交叉路口卓瑪護(hù)膚造型）

• 地址主干詞：卓瑪護(hù)膚造型店

• 地址附屬信息：（洞庭湖店）（洞庭湖路與天山路交叉路口卓瑪護(hù)膚造型）

為了排除第二方面的因素，即b的因素，使用地址主干詞作為輸入，而不用地址附屬信息和其他模型結(jié)構(gòu)的輸入，保持模型輸入跟Word2Vec一致。在測(cè)試集上，模型的效果比完整地址有明顯的下降，MAE增大約15s。同時(shí)將char embedding提取出來，取代Word2Vec方案的char embedding，效果反而變差了。結(jié)合2.3節(jié)中的特征重要性，可知，深度學(xué)習(xí)模型帶來的提升主要來自對(duì)地址中冗余信息（相較于向量召回）的利用，其次是多個(gè)新特征的加入。另外，對(duì)比兩個(gè)End-to-End模型的效果，地址附屬信息中也包含著對(duì)匹配地址有用的信息。

針對(duì)第二個(gè)問題，有監(jiān)督的End-to-End學(xué)習(xí)到的Embedding向量，與自監(jiān)督的Word2Vec得到的向量在地址相似性計(jì)算中有多大差別，孰優(yōu)孰劣？

采用地址主干詞代替完整地址，作為End-to-End模型的輸入進(jìn)行訓(xùn)練，其他信息均保持不變。使用地址主干詞訓(xùn)練得到的Embedding向量，套用到向量召回方案中。

從評(píng)估結(jié)果來看，對(duì)于不同的閾值，End-to-End的表現(xiàn)差異相對(duì)Word2Vec較小。相同閾值下，End-to-End召回率更高，但是效果不如Word2Vec。

從相似計(jì)算結(jié)果看，End-to-End模型會(huì)把一些語義不相關(guān)但是交付時(shí)間相近的地址，映射到同一個(gè)向量空間，而Word2Vec則是學(xué)習(xí)一個(gè)更通用的文本向量表示。

例如，以下兩個(gè)交付地址會(huì)被認(rèn)為向量距離相近，但事實(shí)上只是交付時(shí)間相近：

南內(nèi)環(huán)西街與西苑南路交叉口金昌盛國(guó)會(huì)<=>辰憬家園迎澤西大街西苑南路路口林香齋酒店

如果想要針對(duì)更為復(fù)雜的目標(biāo)和引入更多信息，可以使用End-to-End框架；只是計(jì)算文本相似性，從實(shí)驗(yàn)結(jié)果看，Word2Vec更好一些。同時(shí)，通過查看Case也可以發(fā)現(xiàn)，End-to-End更關(guān)注結(jié)果相似性，從而召回一部分語義上完全不相關(guān)的向量。兩個(gè)模型目標(biāo)上的不同，從而導(dǎo)致了結(jié)果的差異。

4. 總結(jié)與展望

在本篇中，依次展示了在配送交付場(chǎng)景下的三次模型策略迭代過程，以及在較為苛刻性能要求限制下，如何用輕量化的方案不斷提高召回率及效果。同時(shí)，對(duì)迭代過程中的性能進(jìn)行簡(jiǎn)單的分析及衡量，這對(duì)相關(guān)的項(xiàng)目也具備一定的借鑒意義，最后對(duì)Word2Vec及End-to-End生成的向量進(jìn)行了比較。

事實(shí)上，本文中提及的向量召回及深度學(xué)習(xí)融合非數(shù)值型特征的方案，已經(jīng)在業(yè)界被廣泛使用。但對(duì)于差異化的場(chǎng)景，本文仍具備一定的借鑒價(jià)值，特別是對(duì)于訂單-騎手匹配、訂單-訂單匹配等非搜索推薦領(lǐng)域的場(chǎng)景化應(yīng)用，以及TF OP算子的選用及分析、Embedding生成方式帶來的差異，希望能夠給大家提供一些思路和啟發(fā)。

5. 關(guān)聯(lián)閱讀

交付時(shí)間預(yù)估與ETA預(yù)估及配送其他業(yè)務(wù)關(guān)系：

• 交付時(shí)間預(yù)估是ETA預(yù)估中的重要一環(huán)，關(guān)于ETA預(yù)估，請(qǐng)參見《深度學(xué)習(xí)在美團(tuán)配送ETA預(yù)估中的探索與實(shí)踐》。

• 具體ETA在整個(gè)配送業(yè)務(wù)中的位置及配送業(yè)務(wù)的整體機(jī)器學(xué)習(xí)實(shí)踐，請(qǐng)參看《機(jī)器學(xué)習(xí)在美團(tuán)配送系統(tǒng)的實(shí)踐：用技術(shù)還原真實(shí)世界》。