做數(shù)據(jù)分析,大部分時間都在干什么?
60%的時間都在整理數(shù)據(jù)?!
很多人剛看到這個圖,可能覺得很夸張,其實這一點都不夸張!甚至我們有時候清洗數(shù)據(jù)的時間占比還要更高!
數(shù)據(jù)清洗,具體都在干什么?
大家肯定能想到一些,例如缺失值、重復(fù)值、異常值…… 這些都很對,但別忘記了,以上僅是純數(shù)據(jù)層面的數(shù)據(jù)清洗,我們實際工作中,業(yè)務(wù)層面的數(shù)據(jù)清洗才是更大的考驗!(數(shù)據(jù)化管理的《數(shù)說》線上課程有介紹,有興趣的朋友可以后臺回復(fù) “數(shù)說” 看介紹)
本篇文章,給大家介紹一個圖表-- 箱形圖,可以很方便地幫我們?nèi)?發(fā)現(xiàn)異常值,提高我們清洗數(shù)據(jù)的效率!
箱形圖是什么?
沒錯了,上面這個就是 箱形圖了!中間部分是不是確實像一個箱子?
平時我們要看一組數(shù)據(jù)的分布集中情況時,可以直接用到統(tǒng)計的數(shù)字(如平均數(shù),中位數(shù),眾位數(shù)等),也可以用圖形化的方法 (箱形圖就是其中的一種) 。在上面的箱形圖中,有些名詞要解釋一下:
首先是對一組數(shù)字從小到大進行排序,然后:
第一四分位數(shù):處于第25%位置的數(shù)字
中位數(shù)(第二四分位數(shù)):處于最中間位置的數(shù)字,這組數(shù)字中一半會比它大,另一半比它小
第三四分位數(shù):處于第75%位置的數(shù)字
上邊緣:第三四分位數(shù) + 1.5 *(第三四分位數(shù) - 第一四分位數(shù))或正常值的最大值
下邊緣:第一四分位數(shù) - 1.5 *(第三四分位數(shù) - 第一四分位數(shù))或正常值的最小值
離群值:在上邊緣或下邊緣以外的值,就是離群值(異常值)
以上就是箱形圖中,可以展示出來的值。
箱形圖能做什么?
箱形圖,是以圖形方式快速查看一個或多個數(shù)據(jù)集的好方法,可以幫助我們看到數(shù)據(jù)組中的:
1、 關(guān)鍵數(shù)值,例如平均值、中位數(shù)和上下四分位數(shù)
2、 異常值,如果這組數(shù)存在異常值(大于上邊緣,或小于下邊緣),則會自動在圖中顯示出來
3、 數(shù)據(jù)分布,根據(jù)中位數(shù)線是否位于正中心、靠上/下,去判斷分布情況
以下通過2個案例去簡介一下箱形圖的應(yīng)用,建議大家也可以結(jié)合企業(yè)的數(shù)據(jù),或者百度更多的案例進行深入研究學(xué)習(xí)。
應(yīng)用舉例1:分析5大手機品牌的京東零售價格分布情況
從上方的箱形圖,我們可以看到最低售價是599元,最高售價是12298元;在橙色的箱子里面,表示50%的手機零售價格是介于1699-4787元之間的。
極端異常值是分別有:9998、10498、10999、12298,即表示這些數(shù)極大地偏離大部分的數(shù)據(jù),即超過9098元的零售價格可以看成為零售價中的異常價格值,算絕對高端的價格了。這些異常值可以作為我們的重點研究對象,值得我們花時間去了解其異常的原因。
應(yīng)用舉例2:比較不同銷售員的業(yè)績情況,以下是根據(jù)11月每個店員每天的銷售業(yè)績數(shù)據(jù)做出來的箱形圖
上面的箱形圖可以看到,每個店員的最小銷售額、最大銷售額,銷售額中位數(shù)這些關(guān)鍵數(shù)字,同時也方便我們?nèi)M向?qū)Ρ炔煌牡陠T,如比較中位數(shù)店員4的大部分業(yè)績都是要比另外三個人要高的(背后的原因,可能是高價產(chǎn)品銷售能力強,或者連帶率更高)。從圖表上總體來看,店員2的業(yè)績最穩(wěn)定,店員4的業(yè)績最不穩(wěn)定。另外可以看到,店員2的數(shù)據(jù)中,有7643、8113、8227三個離群值,表明是大幅度地偏離了大部分的數(shù)據(jù),需要我們?nèi)ふ移渲械脑颍员氵M一步分析。
其實還有更多的箱線圖應(yīng)用場景,例如在質(zhì)量管理中,人事評測,探索性數(shù)據(jù)分析中都可以用到,主要是用它來識別異常數(shù)據(jù),直觀比較多組數(shù)據(jù)之間的分布情況。
關(guān)于箱形圖的技術(shù)方面,在Excel2016以上版本是自帶圖表,直接選中數(shù)據(jù)源插入就行;如果是Excel2013及以下的版本,可以用股價圖/堆積柱形圖等方法去實現(xiàn)(具體請自行百度);如果是PBI,可以自行從市場導(dǎo)入箱形圖,然后使用。
建議大家可以用自己的數(shù)據(jù)來探索(員工工資數(shù)據(jù)、商品零售價數(shù)據(jù)、銷售業(yè)績數(shù)據(jù)……),探索在更多的場景去使用,有更多的意見也歡迎大家評論分享~
------------------
想了解數(shù)據(jù)化管理出口的產(chǎn)品,歡迎


