數據分析工作總結
總結是指社會團體、企業單位和個人在自身的某一時期、某一項目或某些工作告一段落或者全部完成后進行回顧檢查、分析評價,從而肯定成績,得到經驗,找出差距,得出教訓和一些規律性認識的一種書面材料,它能夠給人努力工作的動力,不妨讓我們認真地完成總結吧。總結一般是怎么寫的呢?下面是小編精心整理的數據分析工作總結,歡迎大家借鑒與參考,希望對大家有所幫助。
近期主要完成了某產品用戶畫像分析,從9月底拿到數據,到上周輸出第三稿,中間歷時一個半月,如果從收到需求,到三稿輸出,那就超過兩個月,在這次整個分析過程中,遇到了不少問題,嘗試了使用不同方法,現在是時候做一個復盤、總結、反思。
在開始階段,遇到的主要問題是客戶的要求是分析產品用戶畫像報告,因為沒有直接跟客戶溝通,而需求只有簡單的一句話,我只能根據經驗列出要分析的要點,確定需要的數據維度。在我確定分析框架后,我發現如果按照我方的想法最后輸出的.結果卻不是客戶想到的,那就白做了,所以確定分析框架后還需要客戶確認,思路是否可行,分析方向有無異議。這個問題還算比較好解決,客戶同意了分析思路即可。
經過與客戶溝通后,到了第二階段,發起提數需求。這個過程總體算比較順利,客戶方數據庫工程師首先反饋了一份樣本數據,讓我方確認數據是否正確,如正確,則提供全量樣本。數據驗證的過程,主要是由我來完成,對樣本數據,我提出了一些疑問,對方也一一解答。當然還有個別字段邏輯問題,我沒有發現,對后續的分析帶來了一些影響,造成最后能使用的維度減少,是一個遺憾。
拿到全量數據后,對數據進行清洗。在這個過程中發現數據質量非常不理想,很多字段的缺失值占比很大,個別字段也有異常值,總體樣本中能使用的記錄銳減。一開始我的處理方法比較簡單,對缺失值占比達的字段直接不使用,帶來的后果就是輸出的第一版分析報告過于簡單。
重新回到數據,再次對數據進行摸底,而且也調整分析方法,嘗試使用聚類分析方法,按用戶活躍渠道,對用進行分群,分群后,再結合其他維度,對用戶進行描述。這一次輸出的報告還是存在一些問題,最大問題就是用戶群之間區別不明顯,只能繼續修改。中間因為要做另一個分析,用戶畫像分析就暫時先放一邊。
完成另一個分析后,繼續回到產品用戶畫像分析,這次同事提出了一些建議,在沒有更好的思路前,我按照同事的建議第三次修改分析報告。當然還是要先處理數據,這次我對異常值、缺失值就行了處理,異常值使用的是蓋帽法,對缺失值,在一些字段中用0填補,這樣增加了可使用的維度。數據清洗完后,對連續變量進行分箱處理,這一次還是先使用聚類分析,對幾個字段進行聚類,這樣增加了兩個大的維度,接著基于兩個大的維度,使用對應分析方法,結合其他維度觀察變量間的關系,最后的結果顯示有部分變量之間是存在明顯的關系,有些幾乎沒有區別。數據處理完后,再次輸出分析報告。
完成第三次分析后,我回過頭來看看分析中存在的問題,尤其是使用對應分析,查閱了一些資料,發現在對應分析中,應該先進行預分析。聚類分析,兩次我都是使用k—means聚類,其實還可以使用二階聚類,二階聚類適用于分類變量,這是快速聚類不適用的,我嘗試在清洗后的數據中使用二階聚類,效果尚可。
最近恰好又在看丁亞軍老師的講課視頻,講到聚類分析,再結合我在工作中的應用,對聚類分析方法有了新的認識。聚類方法在剛興起的時候,是不被傳統的統計學家們接受,因為這個方法太簡單,沒有使用到過多的統計學知識。在實際的工作中,聚類使用的頻率還是很高的,尤其是在用戶分群方面,用戶特征的描述。對應分析是第一次用到,為什么會想到使用對應分析,主要是根據變量類型,幾個分類型變量,探究變量間的關系,除了相關分析外,對應分析也使用,而且它的結果更直觀。
最后能完成第三稿也要感謝同事的建議,一個人的力量是有限的,群策群力、集思廣益才能做得更好。
【數據分析工作總結】相關文章:
數據分析總結09-05
大數據分析團隊口號04-17
簡單的數據分析的教學心得體會12-09
數據分析師適合看什么書08-06
數據文員工作總結02-23
《數據分析思維產品經理的成長筆記》讀后感05-16
1Web日志數據分析模型的設計思想與實現03-30
基于大數據審計的信息安全日志分析法03-31
高三老師建議理性分析數據做好填報定位12-05