數據分析與挖掘

百度MTC是業界領先的移動應用測試服務平台，為廣大開發者在移動應用測試中面臨的成本、技術和效率問題提供解決方案。同時分享行業領先的百度技術，作者來自百度員工和業界領袖等。

1、 概述

1.1 用戶研究縱覽

移動app成功的關鍵在於市場營銷和產品設計，數據分析與挖掘解決的核心就是市場營銷過程中的客戶定位和產品設計過程中的用戶體驗改善。向目標用戶提供所需的產品和服務，是任何一款移動APP應用成功的秘訣。而如何找到目標客戶，如何了解用戶的產品需求，則需要依靠數據分析和挖掘的力量。無論是客戶定位，還是用戶體驗，歸根揭底還是用戶研究，在這一點上，移動APP產品的成功和其他任何類型的產品沒有任何區別。
用戶研究可以從定性分析和定量分析兩個不同的維度展開：定性分析是從小規模的數據樣本中發現新事物的方法，主要應用於用戶體驗調查；定量分析是用大數據量的樣本來測試和證明某些事情的方法，主要應用於用戶行為數據分析。

1.2 數據分析與挖掘流程規范

數據分析與挖掘型系統建設與傳統的業務操作型系統建設不同，有其自身的特點和規則。數據分析和挖掘是數據庫知識發現（KDD：Knowledge-Discovery in Databases）中一個重要的環節，KDD是通過從數據集中識別出有效的、新穎的、潛在有用的，以及最終可理解的模式的非平凡過程。
跨行業數據挖掘標准流程（CRISP-DM：cross-industry standard process for data mining）是KDD過程模型中占據領先位置，采用量達到近60%，由歐盟機構聯合起草的數據分析和挖掘過程模型。CRISP-DM包括6個不同的環節，如下圖所示：
1. 業務理解（Business Understanding）：
最初的階段集中在理解項目目標和從業務的角度理解需求，同時將這個知識轉化為數據挖掘問題的定義和完成目標的初步計劃。
2. 數據理解（Data Understanding）：
數據理解階段從初始的數據收集開始，通過一些活動的處理，目的是熟悉數據，識別數據的質量問題，首次發現數據的內部屬性，或是探測引起興趣的子集去形成隱含信息的假設。
3. 數據准備（Data Preparation）：
數據准備階段包括從未處理的數據中構造最終數據集的所有活動。這些數據將是模型工具的輸入值。這個階段的任務能執行多次，沒有任何規定的順序。任務包括表、記錄和屬性的選擇，以及為模型工具轉換和清洗數據。
4. 數據建模（Modeling）：
在這個階段，可以選擇和應用不同的模型技術，模型參數被調整到最佳的數值。一般，有些技術可以解決一類相同的數據挖掘問題。有些技術在數據形成上有特殊要求，因此需要經常跳回到數據准備階段。
5. 模型評估（Evaluation）：
到這個階段，你已經從數據分析的角度建立了一個高質量顯示的模型。在開始最後部署模型之前，重要的事情是徹底地評估模型，檢查構造模型的步驟，確保 模型可以完成業務目標。這個階段的關鍵目的是確定是否有重要業務問題沒有被充分的考慮。在這個階段結束後，一個數據挖掘結果使用的決定必須達成。
6. 模型發布（Deployment）：
通常，模型的創建不是項目的結束。模型的作用是從數據中找到知識，獲得的知識需要便於用戶使用的方式重新組織和展現。根據需求，這個階段可以產生簡 單的報告，或是實現一個比較復雜的、可重復的數據挖掘過程。在很多案例中，這個階段是由客戶而不是數據分析人員承擔部署的工作。

2、 用戶行為數據分析

2.1 目標

用戶行為數據是指用戶與移動APP應用之間的交互行為信息，是用戶研究維度中定量分析部分，通過分析用戶的登錄、操作日志，獲取用戶對於移動APP產品的使用信息和用戶設備、網絡環境等信息。

2.2 方法

用戶行為數據獲取通常采用數據埋點的方式進行，通過在記錄用戶詳細操作日志，了解用戶與產品的詳細交互行為，以及用戶訪問移動APP時的設備、網絡環境等信息。傳統的數據埋點方式，需要企業開發自己的信息采集程序和日志處理程序，實現成本和開發工作量具體，如果同時兼容平台差異，成本會更大，因此並不適合新興移動APP。用戶行為數據的分析，可以借用成熟的數據統計分析平台進行。

2.3 工具

百度移動統計平台是百度公司推出的一款專業的移動APP統計分析工具，支持ios和android平台。開發者可以方便地通過嵌入統計SDK，實現對移動應用的全面監測，實時掌握產品表現，准確洞察用戶行為。
百度移動統計平台針對移動APP提供強大的應用統計分析功能，包括：
1. 流量來源：渠道流量對比、細分渠道分析，准確監控不同推廣位數據，實時獲知渠道貢獻；
2. 受眾洞察：基於百度的海量數據積累，多維度分析並呈現用戶畫像信息；
3. 終端分析：設備分布一目了然（設備型號、品牌、操作系統、分辨率、聯網方式、運營商等）；
百度移動統計功能界面如下圖所示：

2.4 輸出

用戶行為數據分析的結果是用戶角色畫像，構建用戶的標簽模型，用戶標簽數據的獲取則主要是依賴數據挖掘算法，標簽體系的構成針對不同的行業、不同業務、不同用戶，各有不同，需要更專業的行業用戶畫像模型，在此不做過多的討論。用戶畫像輸出結果示例如下圖所示：

3、 用戶體驗數據分析

3.1 目標

一款移動APP要想取得成功，除了滿足用戶功能性的需求之外，還必須提供良好的用戶體驗。用戶體驗是指產品如何與外界發生聯系並發揮作用，亦即人們如何“接觸”和“使用”產品。用戶體驗形成了用戶對企業或產品的整體印象，界定了企業或產品與競爭對手的差異，並且決定了用戶是否還會再次光顧。優質的用戶體驗是企業或產品重要的資產，能夠給企業帶來投資回報率（ROI）的提升和用戶轉化率（conversion rate）的提升。

3.2 方法

改善用戶體驗的前提是獲取用戶體驗數據，用戶體驗數據的可以采用傳統的直接接觸用戶來了解用戶，也可以通過互聯網模式遠程異地在線調研來了解用戶，兩者互為補充，相輔相成。直接接觸用戶模式通過用戶訪談和現場調查進行，溝通充分，效果顯著，但是目標調研對象選擇、溝通成本和樣本規模受到時間、資金投入的限制。互聯網遠程異地在線調研模式實現了線下問題線上化，通過線上問答，可以節約成本，擴大樣本規模，是直接接觸用戶模式的一種有益補充。二者主要特點對比如下圖所示：

3.3 工具

百度眾測平台是百度公司開發的眾包模式在軟件和產品測試上的延伸和典型應用，它將企業產品的相關測試工作交由網絡社區大眾來完成，是一個任務眾包平台，即服務於百度自身產品，也面相公眾提供服務。百度眾測平台的目的是利用大眾的測試能力和測試資源，在短時間內完成大工作量的產品體驗，並能夠保證質量，第一時間將體驗結果反饋至平台，再由平台管理人員將信息搜集，交給開發人員，這樣就能從用戶角度出發，改善產品質量、提升用戶體驗。
百度眾測平台主要提供以下幾種測試任務類型：

1. 快速判斷任務：一般是簡單的單選題，用戶可以快速完成判斷。
2. 問卷調查任務：用戶只需要完成在線問卷調查就可以得到相應的禮券獎勵；
3. 產品找茬任務：體驗一款新產品，提交該產品的BUG或提出該產品的改進建議。
4. 特殊任務：企業可以基於特定目的，設定特殊任務，如當前正在進行的尚德教育機構創意征集任務。
5. 實地調研任務：調研對象招募類項目，通過發起實地調研任務，招募符合條件的調研對象，參與用戶現場溝通。

百度眾測平台首頁操作界面如下圖所示：

更多干貨分享請關注”百度MTC學院“http://mtc.baidu.com/academy/article