00 寫(xiě)在前面
很久沒(méi)有更新文章了，很多粉絲也在不斷地催更，之所以一直沒(méi)有更新，一方面不想因為更新而更新，這樣出來(lái)的內容質(zhì)量也不高，另一方面，我公眾號的文章都是按照系列更新的，并不是零散的知識點(diǎn)，這樣更便于大家系統地查看，如果大家有看過(guò)，應該注意到，到目前為止，我已經(jīng)更新了【初識數據分析】、【數據分析思維】、【數據分析工具】、【數據分析統計學(xué)】、【數據分析面試寶典】、【機器學(xué)習】等6個(gè)系列，所以我也一直在思考，接下來(lái)和大家聊一聊哪些話(huà)題、寫(xiě)哪個(gè)系列。
不知道大家有沒(méi)有類(lèi)似的經(jīng)歷？有沒(méi)有曾經(jīng)因為追求高端的算法和工具而沒(méi)有及時(shí)交付最終的業(yè)務(wù)結果，最后被老板一通批評；有沒(méi)有拿著(zhù)一個(gè)單點(diǎn)的數據分析結果就給出了一個(gè)全面的結論和建議；有沒(méi)有給過(guò)一些因果倒置或者幸存者偏差的結論，導致業(yè)務(wù)走了彎路。
這些經(jīng)歷大家多多少少都會(huì )遇到，為什么會(huì )犯這些錯誤？因為我們缺乏了一些基本的數據分析思維。剛好最近一直在拜讀郭煒的【數據分析思維課】，講地很好，內容深入淺出，很接地氣。我們很多人缺乏的不是數據分析的理論，而是在實(shí)際場(chǎng)景中應用理論的能力，理論 實(shí)際場(chǎng)景=方法論，如何把看似浮在空中的理論落地到實(shí)際的工作場(chǎng)景中來(lái)，就需要通過(guò)簡(jiǎn)單易懂的案例和近似白話(huà)的語(yǔ)言傳達出來(lái)，這也是為什么會(huì )有【白話(huà)數據分析】這個(gè)系列的原因。無(wú)論你是什么階段什么水平，我們從生活/工作中最常見(jiàn)的案例出發(fā)，用最直白的文字把理論講清楚，真正掌握數據分析的基本思維和原理，這也是寫(xiě)這個(gè)系列文章的初衷。
因為是白話(huà)，所以在這個(gè)系列文章中，沒(méi)有晦澀難懂的公式和復雜的程序，我只是希望用大白話(huà)的形式，結合工作和生活中的各種各樣的例子，學(xué)會(huì )怎樣從數據分析的角度來(lái)解決這些問(wèn)題，掌握一些數據分析最基本的知識。放我們再看待同一件事情的時(shí)候，思路和以前不一樣了，可以從數據的角度來(lái)詮釋身邊發(fā)生的事情，用數據的思維來(lái)做出你的判斷。
01 舉個(gè)栗子
最近，公司的一位數據分析同事的競品分析報告里提到：我們客戶(hù)的平均客單價(jià)是 100元錢(qián)，競爭對手的只有 50 元，我們的客戶(hù)比對方的高端多了。所以我們產(chǎn)品要走高端路線(xiàn)這些結論可信嗎？還真不一定。
再舉一個(gè)例子，某游戲公司做了款游戲，有 Android 和 iOS 版本。一個(gè)數據分析師看完用戶(hù)的付費數據后，發(fā)現整體上 iOS 付費率比較高。他就直接告訴老板說(shuō)，我們 iOS的用戶(hù)付費率要高于A(yíng)ndroid的用戶(hù)付費率，我們應該集中資源開(kāi)發(fā)iOS客戶(hù)端！這個(gè)結論可信么？還真不一定。
我們在日常生活中也會(huì )遇到這種情況，可以看到各種統計數據，某市的人均住房面積是 120 平米，全國人均年收入超過(guò) 30 萬(wàn)元，看完這個(gè)數據之后，開(kāi)始懷疑人生了，對不起，我那么有錢(qián)我自己都不知道。
02 平均值為啥不靠譜？
以后看到這么不專(zhuān)業(yè)的統計報告就別看了。稍微有點(diǎn)數據思維的朋友都知道，這是我們被平均了，那準確客觀(guān)的平均值統計應該是怎樣的？首先，我們得知道平均值究竟是什么。從概念上看，平均值有很多種。單從數學(xué)上來(lái)說(shuō)，就有算術(shù)平均值、幾何平均值、平方平均值、調和平均值、加權平均值等等。當然，我們日常生活中提到的平均值都默認是算術(shù)平均值，也就是一組數據中所有數據之和再除以數據的個(gè)數。這個(gè)概念很簡(jiǎn)單，但是算術(shù)平均值有很大的短板，其容易受到極端值的影響而不能很好地表征整體水平。它無(wú)法客觀(guān)準確地反映數據整體情況。更進(jìn)一步來(lái)說(shuō)，整體平均值是在數據呈均勻分布或者正態(tài)分布的情況下才會(huì )有意義，如果忽略整個(gè)數據的分布情況，只提平均值，其實(shí)是沒(méi)有意義的。這也就是為什么你會(huì )在讀一些統計分析報告時(shí)覺(jué)得自己不是被加薪了，就是被幸福了。
03 啥是辛普森悖論？
好，再回到剛才的問(wèn)題，統計報告說(shuō)人均年收入達到了30w元，你很容易就會(huì )想到這里面有些年薪很高的人拉高了整體水平，所以需要分開(kāi)來(lái)看，這個(gè)時(shí)候就需要去看細分群體的平均值，比整體平均值更有意義。整體平均值不能代表各細分群體情況，局部群體結論和整體平均值結論可能會(huì )背道而馳。
這個(gè)現象就是數據分析中最常見(jiàn)的辛普森悖論，辛普森悖論是 1951 年由 E.H. 辛普森提出的，簡(jiǎn)單來(lái)講就是在分組比較中都占優(yōu)勢的一方，有的時(shí)候在總評中反而是失勢的一方。指局部的結論和整體的結論完全相反。
再舉個(gè)例子說(shuō)明一下，公司要對客服部的服務(wù)質(zhì)量進(jìn)行評估，我們發(fā)現無(wú)論是男生還是女生，一組的優(yōu)秀客服比例都比二組好，但總體上一組的優(yōu)秀客服比例卻比二組低。
兩組客服質(zhì)量表現
一組
二組
女
男
女
男
優(yōu)秀客服
40
60
140
4
總客服人數
40
200
200
40
優(yōu)秀客服比例
100%
30%
70%
10%
一組的優(yōu)秀客服比例是：(40 60)/(60 200)≈40%
二組的優(yōu)秀客服比例是:(140 4)/(200 40)=60%
二組的的整體優(yōu)秀客服比例明顯高于一組。
再分開(kāi)男女單獨比較：
一組女生優(yōu)秀客服比例100%，高于二組女生的70%。
一組男生優(yōu)秀客服比例30%，高于二組男生生的10%。
一組的男生優(yōu)秀客服比例和女生優(yōu)秀客服比例都比二組高，但為什么一組整體優(yōu)秀客服比例卻比二組低？二組的優(yōu)秀客服比例高的原因在于二組女生多，一組女生少，一組女生表現雖然好，但人數太少，拉不起整個(gè)一組的表現，導致二組整體成績(jì)比一組好。
細心的同學(xué)可能注意到了，這種悖論一般出現在分組樣本不均衡的情況下，上面的例子中，兩組男女性比例相差較大。我們通常會(huì )講到質(zhì)量這個(gè)詞，而且是一起出現，但實(shí)際上，質(zhì)與量是兩個(gè)不同的方面，我們在考慮質(zhì)的時(shí)候，一定要注意量的影響，我們如果把這兩者揉成一個(gè)質(zhì)，就會(huì )出現辛普森悖論。
回顧一下文章開(kāi)頭提到的案例，我們發(fā)現Android用戶(hù)的付費率比iOS用戶(hù)低，再細分下去就會(huì )發(fā)現，我們也是錯誤地把質(zhì)（付費率）和量（用戶(hù)數）混為一談，結論很有可能是錯誤的。因為很有可能出現這樣一種情況：Android 無(wú)論是男性還是女性的付費率分別都比 iOS 高，但是整體上因為Android男性用戶(hù)比較多，而iOS女性用戶(hù)比較多，簡(jiǎn)單一點(diǎn)可以理解為，Android以男性用戶(hù)為主，iOS則恰巧相反，以女性用戶(hù)為主，占據主導因素的Android男性的付費率比iOS女性的付費率要低，所以最終導致整體上Android用戶(hù)的付費率比iOS用戶(hù)低。簡(jiǎn)單的道理來(lái)說(shuō)，就是Android最大的優(yōu)勢（男性用戶(hù)）沒(méi)有比過(guò)iOS最大的優(yōu)勢（女性用戶(hù)），這是決定最終整體走向的關(guān)鍵。
04 總體/局部，我們信哪個(gè)？
那么問(wèn)題來(lái)了？如果真的出現了辛普森悖論，那我們到底應該相信整體的結論還是細分的結論？我想到這里，大家應該比較清晰了，只要細分的用戶(hù)群體足夠大，有統計學(xué)意義上的顯著(zhù)性，那一定是以細分結論為準，因為真理都是需要抽絲剝繭，藏在細節處。但是如果細分的群體太小，比如上面的例子中，細分以后各組的用戶(hù)數都很小，不具統計學(xué)意義，那細分的結論就不可信了。所以還是那句話(huà)，無(wú)論是整體還是細分，在看質(zhì)的同時(shí)，一定要兼顧量的影響，這是理解辛普森悖論最重要的一點(diǎn)。
講到這里，平均值和辛普森悖論也給我們一些生活上的啟發(fā)，它告訴我們要抓大放小，把握住重要的東西，充分沉淀我們的優(yōu)勢，這樣整體上我們就有更強的競爭力，不要因為某一個(gè)不重要的單項優(yōu)勢就得意忘形，也不要因為一個(gè)微不足道的失敗就一蹶不振。生活要有一顆平常心，我們的目標是讓我們這一生的人生平均值逐步提高。