近日關(guān)注到某通物流新成立分公司招聘數(shù)據(jù)工程師，招聘要求如下：

任職要求：

1. 精通HiveSQL，有較豐富的HiveSQL性能調(diào)優(yōu)經(jīng)驗(yàn)

2. 優(yōu)秀的分析問題和解決問題的能力，對解決具有挑戰(zhàn)性問題充滿激情

3. 熟悉至少一項(xiàng)分布式計(jì)算平臺，例如Hadoop，Spark，Hive，Storm，Kafka等

4. 至少熟練使用Shell、Python、Perl等腳本語言之一

5. 了解數(shù)據(jù)倉庫建設(shè)基本思路，有數(shù)據(jù)倉庫建設(shè)項(xiàng)目經(jīng)驗(yàn)

結(jié)合這樣的招聘要求，今天我想以自身多年的系統(tǒng)開發(fā)及產(chǎn)品管理經(jīng)驗(yàn)，給大家分享一些心得，希望對大家有所有幫助。

 一個(gè)誤區(qū)：業(yè)務(wù)在線化尚未實(shí)現(xiàn)，已經(jīng)在談大數(shù)據(jù)及AI

首先，我們來看看大數(shù)據(jù)的含義：大數(shù)據(jù)是指數(shù)據(jù)量級大到現(xiàn)有的軟硬件無法從中獲取“合理的、科學(xué)的、或者有意義的知識”。一般常用的處理工具是Hadoop，Spark。

其次，人工智能（Artificial Intelligence），英文縮寫為AI。簡單的理解就是用計(jì)算機(jī)程序從已有的大量數(shù)據(jù)中計(jì)算出需要的結(jié)果。

毫無疑問，基于當(dāng)前計(jì)算機(jī)技術(shù)能力的發(fā)展這兩者必然會改變未來，尤其是物流行業(yè)這樣一個(gè)操作密集型的行業(yè)。當(dāng)下物流企業(yè)的高層技術(shù)管理人員，對這兩者賦能物流企業(yè)寄予厚望。

從本文開頭任職要求可以看出，這個(gè)大型物流企業(yè)在以處理大數(shù)據(jù)要求招聘數(shù)據(jù)開發(fā)工程師，那么作為新興部門或企業(yè)，是否有必要招此類開發(fā)工程師？是否能接地氣，實(shí)用性高不高？

數(shù)據(jù)處理分析就如同一個(gè)廚師將各種食材，進(jìn)行加工處理，得出一道美味的菜肴。所以數(shù)據(jù)原材料是數(shù)據(jù)分析師處理的“食材”，數(shù)據(jù)處理加工的工具如同加工過程中的烹飪工具，處理結(jié)果就是最后的“菜肴”。那么如果烹飪工具很高級，廚師技術(shù)很高，但是食材缺乏，怎么能做出美味的“菜肴”？

食材分多種，有基礎(chǔ)食材，有清洗后食材，有刀切完成的食材。下圖表示數(shù)據(jù)分析與基礎(chǔ)工作流程的嵌套邏輯：

上圖還可以用另外一種實(shí)際操作場景予以表述：

1、底層表示最基礎(chǔ)的數(shù)據(jù)采集層，比如商品出售時(shí)掃描商品碼是第一個(gè)采集數(shù)據(jù)行為，然后客人用相應(yīng)的支付寶賬號進(jìn)行付款，這是第二個(gè)需要采集的數(shù)據(jù)。最基礎(chǔ)的數(shù)據(jù)采集，表示在第一現(xiàn)場做的行為的數(shù)據(jù)記錄，這是我們進(jìn)行數(shù)據(jù)分析的前提，這期間如果數(shù)據(jù)的采集量極其大，那么需要用處理性能高的服務(wù)器與工具，此時(shí)Spark就能發(fā)揮作用。這個(gè)底層系統(tǒng)我們一般稱為基礎(chǔ)業(yè)務(wù)系統(tǒng)；

2、中間第二，第三層是數(shù)據(jù)分析加數(shù)據(jù)采集，比如根據(jù)商品流動排名分析（這是第一層數(shù)據(jù)分析的結(jié)果），店主購買排名第一的銷售商品，這是第二層的采集行為，其建立在第一層分析基礎(chǔ)上，以分析結(jié)果作為第二層數(shù)據(jù)采集的起點(diǎn)，向后延伸采集更多的數(shù)據(jù)，這兩層管理系統(tǒng)，我們稱為業(yè)務(wù)管理系統(tǒng)。

3、最上面一層是數(shù)據(jù)結(jié)果層，比如該商品根據(jù)流出與采購下達(dá)，預(yù)計(jì)某個(gè)具體日期的庫存量，并作出相應(yīng)的補(bǔ)貨或促銷推薦。這是最后展示及可被系統(tǒng)自動推薦用于決策的數(shù)據(jù)。整個(gè)過程完成了所有數(shù)據(jù)處理及人工智能。一般這個(gè)層次是最后的數(shù)據(jù)呈現(xiàn)層，一般使用BI工具進(jìn)行數(shù)據(jù)分發(fā)。

上面這個(gè)例子說明數(shù)據(jù)分析與流程嵌套之間的關(guān)系：沒有基礎(chǔ)采集準(zhǔn)備就沒有可分析的材料，沒有數(shù)據(jù)分析的結(jié)果作為二層管理流程的起點(diǎn)就沒有后續(xù)的采集節(jié)點(diǎn)。數(shù)據(jù)分析與流程相輔相成，這是為什么我在上一篇《聯(lián)盟成網(wǎng)之“坑”》中說到依附于體系的流程探索如繡花，需要試錯(cuò)與積累，逐層細(xì)化，從而讓系統(tǒng)流程覆蓋率逐漸提高，數(shù)據(jù)協(xié)調(diào)能力提升，管理能力才能穩(wěn)健的原因。

可以想象，巧婦在做無米之炊的時(shí)候，她只有兩個(gè)選擇：1.去自己找米；2.不做飯了。對數(shù)據(jù)開發(fā)工程師來說就是：1.我去填基礎(chǔ)數(shù)據(jù)采集不全的坑；2.我離職不干了。

填坑的場景在物流網(wǎng)絡(luò)中如下：你想讓數(shù)據(jù)開發(fā)做分撥更優(yōu)的人員模型配置，現(xiàn)在貨物已經(jīng)做了條碼標(biāo)記，流轉(zhuǎn)過程中可以進(jìn)行掃描記錄，但是場地分揀貨裝卸操作過程中，庫位未標(biāo)記，人員標(biāo)記也未記錄到系統(tǒng)中，根本無法知道現(xiàn)有人員的效能。數(shù)據(jù)開發(fā)工程師等著業(yè)務(wù)部門去布設(shè)流程開發(fā)基礎(chǔ)業(yè)務(wù)操作系統(tǒng)太慢了，自己直接沖進(jìn)去做基礎(chǔ)操作系統(tǒng)了。

上述情形說明一個(gè)優(yōu)秀的數(shù)據(jù)分析工程師在條件完備的公司下可以很好地利用他的能力為管理者提供更好的決策依據(jù)。在一個(gè)條件尚不成熟的企業(yè)，寧可潛心做管理建設(shè)與體系打造，不要過早引入大數(shù)據(jù)分析工程師，造成企業(yè)成本浪費(fèi)與優(yōu)秀人才信任透支。

電商類行業(yè)以互聯(lián)網(wǎng)為基礎(chǔ)發(fā)展而來，本身是在線化產(chǎn)物，大數(shù)據(jù)AI的應(yīng)用往往集中在此，這也是市面上近期大數(shù)據(jù)分析工程師這么火熱的原因。物流行業(yè)本質(zhì)上仍是傳統(tǒng)行業(yè)，互聯(lián)網(wǎng)信息技術(shù)只是幫助物流提高效率，國內(nèi)物流任何一家企業(yè)說他在線化已經(jīng)完全實(shí)現(xiàn)為時(shí)尚早，所以國內(nèi)物流且應(yīng)該更多反觀自己內(nèi)部的信息化進(jìn)度，先少關(guān)注一點(diǎn)高精尖技術(shù)。

AI核心本質(zhì)是人工建立的算法模型，讓計(jì)算機(jī)語言將人腦中的算法模型予以表現(xiàn)。市面上經(jīng)常會說一些數(shù)據(jù)分析的方法論：回歸分析、聚類分析、神經(jīng)網(wǎng)絡(luò)方法等。在實(shí)際模型建設(shè)中，這些方法論能幫助實(shí)際應(yīng)用模型的作用微乎其微。更多的是從實(shí)際場景與需求出發(fā)，把專業(yè)人士多年的經(jīng)驗(yàn)從大腦中進(jìn)行提取，歸納，抽象。人腦中的經(jīng)驗(yàn)與精華才是人工智能的“本”，代碼與軟件實(shí)現(xiàn)是“末”。

此文系作者個(gè)人觀點(diǎn)，不代表物流沙龍立場

-END-