數(shù)據(jù)分析統(tǒng)計(jì)學(xué)知識(shí)（統(tǒng)計(jì)學(xué)從概念到數(shù)據(jù)分析）
一、什么是數(shù)據(jù)描述統(tǒng)計(jì)分析？
簡(jiǎn)單而言，描述性統(tǒng)計(jì)分析是用幾個(gè)關(guān)鍵的數(shù)字來(lái)描述數(shù)據(jù)集的整體情況<集中性和離散型(波動(dòng)性大小)>。
描述數(shù)據(jù)集常用4個(gè)指標(biāo)：平均值 四分位數(shù) 標(biāo)準(zhǔn)差 標(biāo)準(zhǔn)分，利用這些指標(biāo)可以進(jìn)行數(shù)據(jù)的頻數(shù)分析、數(shù)據(jù)的集中趨勢(shì)分析、數(shù)據(jù)離散程度分析、數(shù)據(jù)的分布、以及一些基本的統(tǒng)計(jì)圖形。
通常我們拿到一份數(shù)據(jù)集，首先對(duì)獲取的數(shù)據(jù)進(jìn)行清洗，整理成我們業(yè)務(wù)所需要的新數(shù)據(jù)，然后再對(duì)新數(shù)據(jù)進(jìn)行描述性統(tǒng)計(jì)分析，常用的是 Excel 中自帶的分析分析工具（描述性統(tǒng)計(jì)分析），Excel加載后即可使用。
二、描述統(tǒng)計(jì)分析常用指標(biāo)
01 – 均值
均值容易受極值的影響，當(dāng)數(shù)據(jù)集中出現(xiàn)極值時(shí)，所得到的的均值結(jié)果將會(huì)出現(xiàn)較大的偏差。
02 – 中位數(shù)
數(shù)據(jù)按照從小到大的順序排列時(shí)，最中間的數(shù)據(jù)即為中位數(shù)。
當(dāng)數(shù)據(jù)個(gè)數(shù)為奇數(shù)時(shí)，中位數(shù)即最中間的數(shù)，如果有N個(gè)數(shù)，則中間數(shù)的位置為(N+1)/2；當(dāng)數(shù)據(jù)個(gè)數(shù)為偶數(shù)時(shí)，中位數(shù)為中間兩個(gè)數(shù)的平均值，中間位置的算法是(N+1)/2。中位數(shù)不受極值影響，因此對(duì)極值缺乏敏感性。
03 – 眾數(shù)
數(shù)據(jù)中出現(xiàn)次數(shù)最多的數(shù)字，即頻數(shù)最大的數(shù)值。眾數(shù)可能不止一個(gè)，眾數(shù)不能能用于數(shù)值型數(shù)據(jù)，還可用于非數(shù)值型數(shù)據(jù)，不受極值影響。
04 – 極差
極差=最大值-最小值，是描述數(shù)據(jù)分散程度的量，極差描述了數(shù)據(jù)的范圍，但無(wú)法描述其分布狀態(tài)。且對(duì)異常值敏感，異常值得出現(xiàn)使得數(shù)據(jù)集的極差有很強(qiáng)的誤導(dǎo)性。
05 – 四分位數(shù)
數(shù)據(jù)從小到大排列并分成四等份，處于三個(gè)分割點(diǎn)位置的數(shù)值，即為四分位數(shù)，四分位數(shù)分為上四分位數(shù)（數(shù)據(jù)從小到大排列排在第75%的數(shù)字，即最大的四分位數(shù)）、下四分位數(shù)（數(shù)據(jù)從小到大排列排在第25%位置的數(shù)字，即最小的四分位數(shù)）、中間的四分位數(shù)即為中位數(shù)。四分位數(shù)可以很容易地識(shí)別異常值。（一般通過(guò)箱線圖表示數(shù)據(jù)更直觀）
在上下邊緣之外的數(shù)據(jù)一般認(rèn)為是異常值。
06 – 標(biāo)準(zhǔn)差
標(biāo)準(zhǔn)差（Standard Deviation），也稱均方差（mean square error），是各數(shù)據(jù)偏離平均數(shù)的距離的平均數(shù)，它是離均差平方和平均后的方根，用σ表示。標(biāo)準(zhǔn)差是方差的算術(shù)平方根。標(biāo)準(zhǔn)差能反映一個(gè)數(shù)據(jù)集的離散程度。
- 標(biāo)準(zhǔn)差越大，波動(dòng)越大，平均數(shù)相同的，標(biāo)準(zhǔn)差未必相同。
- 標(biāo)準(zhǔn)差可以反映平均數(shù)不能反映出的東西（比如穩(wěn)定度等）。
Excel中有STDEV,STDEVP;STDEVA,STDEVPA四個(gè)函數(shù)，分別表示樣本標(biāo)準(zhǔn)差、總體標(biāo)準(zhǔn)差；包含邏輯值運(yùn)算的樣本標(biāo)準(zhǔn)差、包含邏輯值運(yùn)算的總體標(biāo)準(zhǔn)差
在計(jì)算方法上的差異是：
- 樣本標(biāo)準(zhǔn)差=（樣本方差/(數(shù)據(jù)個(gè)數(shù)-1))^2
- 總體標(biāo)準(zhǔn)差=（總體方差/(數(shù)據(jù)個(gè)數(shù)))^2。
07 – 標(biāo)準(zhǔn)分
標(biāo)準(zhǔn)分又叫標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)化值，每個(gè)數(shù)據(jù)距離平均值多少個(gè)標(biāo)準(zhǔn)差。標(biāo)準(zhǔn)分布又稱正太分布。
切比雪夫定理2.0正態(tài)分布中，至少有68%的數(shù)據(jù)，位于平均數(shù)1個(gè)標(biāo)準(zhǔn)差范圍內(nèi)。正態(tài)分布中，至少有95%的數(shù)據(jù)，位于平均數(shù)2個(gè)標(biāo)準(zhǔn)差范圍內(nèi)。正態(tài)分布中，至少有99.8%的數(shù)據(jù)，位于平均數(shù)3個(gè)標(biāo)準(zhǔn)差范圍內(nèi)。
三、統(tǒng)計(jì)概率思維
概率思維:
1、如果要求的是若干事件中"至少"有一個(gè)發(fā)生的概率，則馬上聯(lián)想到概率加法公式；當(dāng)事件組相互獨(dú)立時(shí)，用對(duì)立事件的概率公式;
2、若某事件是伴隨著一個(gè)完備事件組的發(fā)生而發(fā)生，則馬上聯(lián)想到該事件的發(fā)生概率是用全概公式計(jì)算；若一個(gè)完備事件組的發(fā)生而發(fā)生，則馬上聯(lián)想到該事件的發(fā)生概率是用全概公式計(jì)算;
3、凡求解各概率分布已知的若干個(gè)獨(dú)立隨機(jī)變量組成的系統(tǒng)滿足某種關(guān)系的概率(或已知概率求隨機(jī)變量個(gè)數(shù))的問(wèn)題，馬上聯(lián)想到用中心極限定理處理。
四、統(tǒng)計(jì)概率常用
01 – 貝葉斯定律模型
對(duì)于由證據(jù)的積累來(lái)推測(cè)一個(gè)事物發(fā)生的概率具有重大作用， 它告訴我們當(dāng)我們要預(yù)測(cè)一個(gè)事物， 我們需要的是首先根據(jù)已有的經(jīng)驗(yàn)和知識(shí)推斷一個(gè)先驗(yàn)概率， 然后在新證據(jù)不斷積累的情況下調(diào)整這個(gè)概率。整個(gè)通過(guò)積累證據(jù)來(lái)得到一個(gè)事件發(fā)生概率的過(guò)程我們稱為貝葉斯分析。
02 – 二項(xiàng)分布
二項(xiàng)分布是一種離散型的概率分布。二項(xiàng)代表特有兩種可能的結(jié)果，把一種稱為成功，另一種稱為失敗，每次試驗(yàn)成功和失敗的概率是相溝通的，每次試驗(yàn)互相獨(dú)立。例如：拋硬幣。
03 – 泊松分布
主要踴躍軌跡某事件在特定時(shí)間或空間中發(fā)生的次數(shù)，比如一天內(nèi)中獎(jiǎng)的個(gè)數(shù)，一個(gè)月內(nèi)某機(jī)器損壞的次數(shù)等。
描述性統(tǒng)計(jì)分析是屬于統(tǒng)計(jì)學(xué)中比較小的一個(gè)理論知識(shí)，但是在日常的數(shù)據(jù)分析中，能夠快速地讓我們對(duì)一份數(shù)據(jù)進(jìn)行了解，并能夠通過(guò)科學(xué)的圖表展示，發(fā)現(xiàn)數(shù)據(jù)規(guī)律，進(jìn)行未知數(shù)據(jù)的預(yù)測(cè)。
