數據分析崗筆試題

異常值（Outlier） 是指樣本中的個(gè)別值，其數值明顯偏離所屬樣本的其余觀(guān)測值。在數理統計里一般是指一組觀(guān)測值中與平均值的偏差超過(guò)兩倍標準差的測定值。

Grubbs’ test（是以Frank E. Grubbs命名的），又叫maximum normed residual test，是一種用于單變量數據集異常值識別的統計檢測，它假定數據集來(lái)自正態(tài)分布的總體。

未知總體標準差σ，在五種檢驗法中，優(yōu)劣次序為：t檢驗法、格拉布斯檢驗法、峰度檢驗法、狄克遜檢驗法、偏度檢驗法。

點(diǎn)評：考察的內容是統計學(xué)基礎功底。

二、什么是聚類(lèi)分析？聚類(lèi)算法有哪幾種？請選擇一種詳細描述其計算原理和步驟。

聚類(lèi)分析(cluster analysis)是一組將研究對象分為相對同質(zhì)的群組(clusters)的統計分析技術(shù)。 聚類(lèi)分析也叫分類(lèi)分析(classification analysis)或數值分類(lèi)(numerical taxonomy)。聚類(lèi)與分類(lèi)的不同在于，聚類(lèi)所要求劃分的類(lèi)是未知的。

聚類(lèi)分析計算方法主要有： 層次的方法（hierarchical method）、劃分方法（partitioning method）、基于密度的方法（density-based method）、基于網(wǎng)格的方法（grid-based method）、基于模型的方法（model-based method）等。其中，前兩種算法是利用統計學(xué)定義的距離進(jìn)行度量。

k-means 算法的工作過(guò)程說(shuō)明如下：首先從n個(gè)數據對象任意選擇 k 個(gè)對象作為初始聚類(lèi)中心；而對于所剩下其它對象，則根據它們與這些聚類(lèi)中心的相似度（距離），分別將它們分配給與其最相似的（聚類(lèi)中心所代表的）聚類(lèi)；然 后再計算每個(gè)所獲新聚類(lèi)的聚類(lèi)中心（該聚類(lèi)中所有對象的均值）；不斷重復這一過(guò)程直到標準測度函數開(kāi)始收斂為止。一般都采用均方差作為標準測度函數. k個(gè)聚類(lèi)具有以下特點(diǎn)：各聚類(lèi)本身盡可能的緊湊，而各聚類(lèi)之間盡可能的分開(kāi)。

其流程如下：

（1）從 n個(gè)數據對象任意選擇 k 個(gè)對象作為初始聚類(lèi)中心；

（2）根據每個(gè)聚類(lèi)對象的均值（中心對象），計算每個(gè)對象與這些中心對象的距離；并根據最小距離重新對相應對象進(jìn)行劃分；

（3）重新計算每個(gè)（有變化）聚類(lèi)的均值（中心對象）；

（4）循環(huán)（2）、（3）直到每個(gè)聚類(lèi)不再發(fā)生變化為止（標準測量函數收斂）。

優(yōu)點(diǎn)：本算法確定的K 個(gè)劃分到達平方誤差最小。當聚類(lèi)是密集的，且類(lèi)與類(lèi)之間區別明顯時(shí)，效果較好。對于處理大數據集，這個(gè)算法是相對可伸縮和高效的，計算的復雜度為 O(NKt)，其中N是數據對象的數目，t是迭代的次數。一般來(lái)說(shuō)，K<

缺點(diǎn)：1. K 是事先給定的，但非常難以選定；2. 初始聚類(lèi)中心的選擇對聚類(lèi)結果有較大的影響。

點(diǎn)評：考察的內容是常用數據分析方法，做數據分析一定要理解數據分析算法、應用場(chǎng)景、使用過(guò)程、以及優(yōu)缺點(diǎn)。

三、根據要求寫(xiě)出SQL

表A結構如下：

Member_ID（用戶(hù)的ID，字符型）

Log_time（用戶(hù)訪(fǎng)問(wèn)頁(yè)面時(shí)間，日期型（只有一天的數據））

URL（訪(fǎng)問(wèn)的頁(yè)面地址，字符型）

要求：提取出每個(gè)用戶(hù)訪(fǎng)問(wèn)的第一個(gè)URL（按時(shí)間最早），形成一個(gè)新表（新表名為B，表結構和表A一致）

createtable B asselectMember_ID, min(Log_time), URL from Agroup byMember_ID ;

點(diǎn)評：SQL語(yǔ)句，簡(jiǎn)單的數據獲取能力，包括表查詢(xún)、關(guān)聯(lián)、匯總、函數等。

另外，這個(gè)答案其實(shí)是不對的，實(shí)現有很多方法，任由大家去發(fā)揮吧。

四、銷(xiāo)售數據分析

以下是一家B2C電子商務(wù)網(wǎng)站的一周銷(xiāo)售數據，該網(wǎng)站主要用戶(hù)群是辦公室女性，銷(xiāo)售額主要集中在5種產(chǎn)品上，如果你是這家公司的分析師，

a) 從數據中，你看到了什么問(wèn)題？你覺(jué)得背后的原因是什么？

b) 如果你的老板要求你提出一個(gè)運營(yíng)改進(jìn)計劃，你會(huì )怎么做？

a) 從這一周的數據可以看出，周末的銷(xiāo)售額明顯偏低。這其中的原因，可以從兩個(gè)角度來(lái)看：站在消費者的角度，周末可能不用上班，因而也沒(méi)有購買(mǎi)該產(chǎn)品的欲望；站在產(chǎn)品的角度來(lái)看，該產(chǎn)品不能在周末的時(shí)候引起消費者足夠的注意力。

b) 針對該問(wèn)題背后的兩方面原因，我的運營(yíng)改進(jìn)計劃也分兩方面：一是，針對消費者周末沒(méi)有購買(mǎi)欲望的心理，進(jìn)行引導提醒消費者周末就應該準備好該產(chǎn)品；二是，通過(guò)該產(chǎn)品的一些類(lèi)似于打折促銷(xiāo)等活動(dòng)來(lái)提升該產(chǎn)品在周末的人氣和購買(mǎi)力。

點(diǎn)評：數據解讀能力，獲取數據是基本功，僅僅有數據獲取能力是不夠的，其次是對數據的解讀能力。

五、用戶(hù)調研

某公司針對A、B、C三類(lèi)客戶(hù)，提出了一種統一的改進(jìn)計劃，用于提升客戶(hù)的周消費次數，需要你來(lái)制定一個(gè)事前試驗方案，來(lái)支持決策，請你思考下列問(wèn)題：

a) 試驗需要為決策提供什么樣的信息？

c) 按照上述目的，請寫(xiě)出你的數據抽樣方法、需要采集的數據指標項，以及你選擇的統計方法。

a) 試驗要能證明該改進(jìn)計劃能顯著(zhù)提升A、B、C三類(lèi)客戶(hù)的周消費次數。

b) 根據三類(lèi)客戶(hù)的數量，采用分層比例抽樣；

需要采集的數據指標項有：客戶(hù)類(lèi)別，改進(jìn)計劃前周消費次數，改進(jìn)計劃后周消費次數；

選用統計方法為：分別針對A、B、C三類(lèi)客戶(hù)，進(jìn)行改進(jìn)前和后的周消費次數的，兩獨立樣本T-檢驗（two-sample t-test）。

點(diǎn)評：業(yè)務(wù)理解能力和數據分析思路，這是數據分析的核心競爭力。

綜上所述：一個(gè)合格的數據分析應該具備統計學(xué)基礎知識、數據分析方法、數據獲取、數據解讀和業(yè)務(wù)理解、數據分析思想幾個(gè)方面能力，即將成為數據分析師的親們，你們準備好了嗎？