計劃系列6-數(shù)據(jù)清洗

首先還是簡單說一下范圍、目的和目標。

范圍

本來應(yīng)該至少有歷史銷售數(shù)據(jù)、庫存數(shù)據(jù)、生產(chǎn)數(shù)據(jù)三個部分的。在需求預(yù)測部分先只說歷史銷售數(shù)據(jù)；而歷史銷售數(shù)據(jù)至少有客戶下單數(shù)據(jù)、首次承諾數(shù)據(jù)、發(fā)貨數(shù)據(jù)三種選擇。筆者偏向于以發(fā)貨數(shù)據(jù)為基礎(chǔ)進行預(yù)測。

----客戶下單的數(shù)據(jù)不是更代表客戶的真實需求嗎？而計算預(yù)測準確率則往往以首次承諾數(shù)據(jù)為準，那么為什么還是選擇發(fā)貨數(shù)據(jù)呢？一個解釋是：發(fā)貨數(shù)據(jù)綜合了客戶的實際需求以及（潛在）要求的服務(wù)水平，但這實際上只是說明了發(fā)貨數(shù)據(jù)是一個可選擇的輸入。更重要的原因是：另外兩個數(shù)據(jù)不好處理?？蛻粝聠蔚臄?shù)據(jù)多種多樣，有的客戶習(xí)慣于在下單時留些余量，包括數(shù)量和時間；還有的客戶隨時想要就要，都是急單；有的客戶是定量法，有的客戶是定時法+MPQ；有的客戶月底直接把計劃給他們的數(shù)據(jù)丟過來占著產(chǎn)能和材料，發(fā)貨前再臨時調(diào)整。這些個性化的信息往往只是停留在銷售人員個人的經(jīng)驗之中，一來收集需要工作量和時間成本，二來也不是每個人都愿意告訴他人。首次承諾日期也有不足之處，例如對于客戶需求變更，需要把變更后的首次承諾放進去，因為這個行為除了可以用來考核銷售員以外沒有什么作用，又往往是銷售員自己填寫，所以經(jīng)常會有不易識別的錯誤數(shù)據(jù)混進去（如客戶拆單，結(jié)果又不影響計算預(yù)測的時候），銷售人員之間有風(fēng)格差異，而且這些錯誤不一定有郵件或者傳真作為證據(jù)，即使是當事人也會記得不準確。綜合評價下來，并不比發(fā)貨歷史數(shù)據(jù)更好。

目的

銷售預(yù)測是為了得到一套更好用的計劃，而不是以其準確度來評價的。數(shù)據(jù)清洗工作則是為了銷售預(yù)測更方便，基于這個預(yù)測做出來的計劃更實用。

目標

假設(shè)客戶的真實需求是f(x)，市場波動自身是g(x)，預(yù)測結(jié)果的偏差是ε(x)的時候，如果ε(x)< g(x)，可以暫時認為進一步處理的意義較小。因此找到g(x)的某些特征，將之作為目標的邊界，是清洗時要做的事情之一；同樣的，清洗工作也有時間限制的要求。

要得到g(x)，首先想到的是求發(fā)貨數(shù)據(jù)的標準差。因為g(x)特性的不同，標準差也并非全都適用，這一點不屬于本篇的內(nèi)容，本篇仍以標準差為例。

在課本中，數(shù)據(jù)結(jié)構(gòu)是這樣的：

而實際的數(shù)據(jù)結(jié)構(gòu)是這樣的（為避免過于復(fù)雜，未分客戶）：

為什么會出現(xiàn)這樣的情況呢，我們需要回歸到銷售的上家客戶的采購行為會有定量和定期兩大類策略。這需要被分辨出來，進一步的，可以就其中的混合方式做成連續(xù)規(guī)則。如果把標準差/平均值作為一個維度，次數(shù)/總次數(shù)作為另一個維度，可以得到以下結(jié)果：

標準差/平均差在0.4以下的時候，定量是主要模式；g(x)需要同時考慮客戶端消耗量和發(fā)貨周期的變化，存在三方庫時需要考慮三方庫的消耗量，而近期消耗量往往占比較高。

標準差/平均差較大的時候，定時是主要模式，g(x)主要考慮預(yù)測顆粒度和客戶端消耗量，存在三方庫時也需要考慮三方庫的消耗量。特別的，當次數(shù)/總次數(shù)接近于1的時候，通常存在MilkRun甚至JIT（現(xiàn)在被改名JIS了？）這種定時的極端模式。

以上也會影響銷售預(yù)測時顆粒度和預(yù)測方法的選擇，這是后面章節(jié)的內(nèi)容了。

另外還要考慮一些周期性因素（如去年的趨勢線）和產(chǎn)品生命周期帶來的影響。

接下來開始清洗行動（必要時中間可能有次序調(diào)整）：

1、手工調(diào)整特例數(shù)據(jù)，主要是退貨、換貨、調(diào)賬和轉(zhuǎn)庫；清除不必要的零值；處理節(jié)假日，如上表中T6列。

2、決定初始顆粒度，通常是1天。

3、上期趨勢線權(quán)重系數(shù)平整化（如可能）。

4、產(chǎn)品生命周期影響系數(shù)（如可能）。

5、按SKU做ABC分類（如果未分類），按SKU按客戶做數(shù)據(jù)透視，和均值、標準差的計算

6、按SKU抓出所有發(fā)貨量超出均值正負0. 67倍標準差的發(fā)貨內(nèi)容。

7、按ABC分類，可能的影響（大/小客戶，停線/失銷/呆滯）和發(fā)生頻次分別進行打分，取其積，得到重要度排序。

8、對上面重要度較高的項目，分SKU調(diào)整（通常是增加，除了A類5Km以內(nèi)的JIT）顆粒度和按客戶（包括送達地點的不同）拆分進行迭代，直至重要度排序達到極限。

9、如必要且時間允許，可以調(diào)查排序靠前的訂單發(fā)生情況（這里常見是銷售或是其他人員的處理錯失，只要每次都問同類數(shù)據(jù)，幾次后一半會改正的）。

永遠不要把有限的時間投入到無限的逼近中去。

特別提醒：清洗過程中一定要注意存盤和備份。