2017-4-5 濤濤
產(chǎn)品改版前設(shè)計(jì)師該對哪些內(nèi)容進(jìn)行調(diào)研？改版后該用哪些指標(biāo)、哪些數(shù)據(jù)要注意？筆者結(jié)合項(xiàng)目實(shí)踐，寫成此篇改版調(diào)研經(jīng)驗(yàn)小結(jié)（效果評估篇），歸納出一些通用型的經(jīng)驗(yàn)和流程來幫助設(shè)計(jì)師自行開展改版項(xiàng)目的調(diào)研工作。
互聯(lián)網(wǎng)產(chǎn)品的節(jié)奏特點(diǎn)就是小步快跑，不斷迭代優(yōu)化，因此產(chǎn)品改版是很常見的情況。設(shè)計(jì)師和產(chǎn)品同學(xué)等也都意識到可以借助調(diào)研幫助實(shí)現(xiàn)業(yè)務(wù)目標(biāo)和更好滿足用戶需求。但是在實(shí)際工作中，筆者經(jīng)常會遇到設(shè)計(jì)師在改版前會來討論要調(diào)研的內(nèi)容，表示不太清楚從何入手，或者改版后過來咨詢“我們想看看改版后的效果，但是不知道該用哪些指標(biāo)，看哪些數(shù)據(jù)？” 鑒于以上情況，筆者結(jié)合項(xiàng)目實(shí)踐，歸納出一些通用型的經(jīng)驗(yàn)和流程來幫助設(shè)計(jì)師自行開展改版項(xiàng)目的調(diào)研工作，由于篇幅的問題，本文先只介紹改版后的效果評估部分，總結(jié)起來，可以從3個意識，5個環(huán)節(jié)入手，具體請看下文。
在介紹具體的實(shí)操流程前，先把個人認(rèn)為非常重要的三個“意識”分享如下：
Tips 1：評估工作要提早開始準(zhǔn)備，改版結(jié)束才想起來需要收集分析數(shù)據(jù)可能就來不及了；
Tips 2：改版目標(biāo)要清晰、具體、可量化 ；
Tips 3：關(guān)注數(shù)據(jù)，更要重視和分析引起數(shù)據(jù)變化的原因（設(shè)計(jì)，功能等），以作為后續(xù)工作的指導(dǎo)。
筆者通常把效果評估流程分為以下幾個環(huán)節(jié)，根據(jù)大家集中集中反饋的問題情況，本文重點(diǎn)介紹制定指標(biāo)和對比分析兩個環(huán)節(jié)。
1、明確改版目標(biāo)
具體，可量化，可實(shí)現(xiàn)（目標(biāo)數(shù)據(jù)合理；改版內(nèi)容與目標(biāo)相關(guān)較大）的改版目標(biāo)是制定評估指標(biāo)的前提。
【反例】改版目標(biāo)：通過改版xx頁面，提升用戶體驗(yàn)，促進(jìn)用戶再次購買
【解讀】
1）不夠具體：用戶體驗(yàn)包含的范圍太大了，具體指哪方面？效率，滿意度？如果不能清晰的定義，當(dāng)然也就無法衡量。與之對應(yīng)的，“促進(jìn)再次購買”就可以通過“復(fù)購率”等指標(biāo)進(jìn)行解讀和評估。
2）不能量化：即使促進(jìn)再次購買，那么計(jì)劃是提升多少？有了具體的目標(biāo)數(shù)字，才能評估目標(biāo)的完成程度，當(dāng)然，如果目標(biāo)是提升了就好，不在乎具體數(shù)字，那另當(dāng)別論。
3）不容易實(shí)現(xiàn)：在本案例中，經(jīng)過與設(shè)計(jì)師的溝通，發(fā)現(xiàn)改版的頁面是訂單列表頁，本次改版重點(diǎn)是解決收集到的的用戶體驗(yàn)問題，減少操作失誤等，且改版內(nèi)容也主要是信息布局等?？梢姡@些改版內(nèi)容并不太能“促進(jìn)再次購買”因此，制定這個目標(biāo)并不太合適。
【修改后的目標(biāo)】：通過改版XX頁面，用戶的一次操作成功率提升5%，解決體驗(yàn)問題10個。
所以：如果下次苦于找不到改版效果評估的指標(biāo)，可以先回頭檢查一下改版目標(biāo)制定的是否具體，可量化，可實(shí)現(xiàn)。
2、根據(jù)改版目標(biāo)制定衡量指標(biāo)
當(dāng)然，清晰的目標(biāo)還是依賴于對目標(biāo)的拆解能力的，不排除有些童鞋表示“我就是不知道如何從比較宏大的目標(biāo)變成具體的小目標(biāo)，該用哪些指標(biāo)來表達(dá)呢”？ 或者之前就定的比較模糊，現(xiàn)在都改版完了，也沒辦法完善目標(biāo)了。那么，筆者先介紹一個從改版目標(biāo)推導(dǎo)到衡量指標(biāo)的思考模型，再介紹一個自身實(shí)踐總結(jié)的常用評估模型供參考。
1）從目標(biāo)到指標(biāo)的思考模型
當(dāng)確定了比較宏觀的目標(biāo)后，還需要找到能量化、細(xì)化目標(biāo)的指標(biāo)，這個推導(dǎo)的思路可以借鑒Google的GSM模型
2）評估模型參考
各個產(chǎn)品不同，當(dāng)然改版目標(biāo)也不同，但根據(jù)筆者的經(jīng)驗(yàn)，這些目標(biāo)基本可分為兩類：體驗(yàn)?zāi)繕?biāo)（如：提升用戶滿意度）和商業(yè)目標(biāo)（如：提升付費(fèi)用戶規(guī)模）。所以，評估模型也按照體驗(yàn)和商業(yè)兩類分別介紹。
① 用戶體驗(yàn)評估模型
由于用戶體驗(yàn)是指用戶在使用產(chǎn)品/服務(wù)時的主觀感受，這個概念包含的內(nèi)容比較多，且比較宏觀，必須找到合適的切入點(diǎn)（能較好解釋用戶體驗(yàn)的一些細(xì)分維度）和量化手段（可以觀察，收集到數(shù)據(jù)的指標(biāo)）才能有效評估體驗(yàn)的質(zhì)量。 在用戶體驗(yàn)領(lǐng)域，評估體驗(yàn)的模型，比較知名的有Google的HEART模型，但是由于國內(nèi)外產(chǎn)品、文化的差異性，導(dǎo)致該模型的適用性受限。1688UED的同學(xué)以用戶接觸和使用產(chǎn)品的路徑為主線，提出了用戶體驗(yàn)的五度模型，從吸引度、完成度、滿意度、忠誠度和推薦度五個維度來評估和量化用戶體驗(yàn)質(zhì)量。
用戶體驗(yàn)質(zhì)量評價的“5度”模型
根據(jù)實(shí)踐發(fā)現(xiàn)，在B2B的業(yè)務(wù)中，由于競爭、商業(yè)隱私的問題，B類用戶即使覺得產(chǎn)品體驗(yàn)不錯，也未必愿意推薦給他人,因此推薦度未必適應(yīng)于B類業(yè)務(wù)。而且根據(jù)NPS（凈推薦系統(tǒng)）的概念，推薦度/推薦意愿能較好的衡量忠誠度，所以筆者認(rèn)為，不論是B類C類產(chǎn)品，吸引度、完成度、滿意度，忠誠度四個維度就好較好的評估用戶體驗(yàn)。
另外，根據(jù)產(chǎn)品類型不同，在評估用戶體驗(yàn)質(zhì)量時，以上四個維度的權(quán)重也是可以有區(qū)分的。比如，產(chǎn)品類型可根據(jù)目的分為信息型（以展示，引流，介紹為目的的，比如首頁）和工具型（需要用戶操作較多的，如開通流程，商品發(fā)布頁面等）。相應(yīng)的，信息型產(chǎn)品會需要更關(guān)注吸引度的目標(biāo)是否達(dá)成，工具型的產(chǎn)品更強(qiáng)調(diào)完成度。
② 商業(yè)價值評估模型
一般而言，業(yè)務(wù)目標(biāo)一般都比較容易量化，也會更具體，不難制定出相應(yīng)的衡量指標(biāo)。但為了便于后續(xù)的解讀和分析，可以考慮補(bǔ)充一些“解釋型”指標(biāo)，以常用的業(yè)務(wù)目標(biāo)：GMV（成交金額，收入等）為例，可以從影響GMV的因素入手，得到用戶規(guī)模/用戶量，客單價，轉(zhuǎn)化率等指標(biāo)。
GMV=用戶規(guī)模X客單價X轉(zhuǎn)化率
此處的用戶規(guī)模、轉(zhuǎn)化率等可以根據(jù)產(chǎn)品和改版目的的不同具體定義，比如活躍用戶，B類用戶，購買轉(zhuǎn)化率，點(diǎn)擊率等。
③ 評估模型和指標(biāo)參考示例
以下是筆者在五度模型的基礎(chǔ)上，結(jié)合在電商網(wǎng)站的實(shí)踐經(jīng)驗(yàn)總結(jié)的較為常用的模型和指標(biāo)，具體使用時還是要從自身產(chǎn)品特點(diǎn)（信息型VS工具型），改版目的入手來選擇適合的指標(biāo)。
3）關(guān)于指標(biāo)使用的建議
指標(biāo)的制定除了是衡量目標(biāo)是否達(dá)成外，還有個重要的作用在于幫助解讀分析改版結(jié)果，從而為目標(biāo)達(dá)成提供佐證和為后續(xù)的工作提供指導(dǎo)，因此，對于指標(biāo)的的數(shù)量和結(jié)構(gòu)的建議是
① 數(shù)量：每個目標(biāo)對應(yīng)的衡量指標(biāo)盡量2個及以上，方便不同的指標(biāo)相互佐證，提高結(jié)論的可信度
② 結(jié)構(gòu)：指標(biāo)分成結(jié)果型和原因型，這樣就能既監(jiān)測結(jié)果，又能提供解讀，原因型指標(biāo)最好能與本次改版的內(nèi)容（設(shè)計(jì)方案，功能等）相關(guān)，便于回顧分析改版內(nèi)容。
3、指標(biāo)數(shù)據(jù)的收集
此部分工作與調(diào)研和數(shù)據(jù)分析相關(guān)聯(lián)大，考慮到已有資料較多和本文篇幅問題，就不再具體介紹實(shí)際操作的技巧了，提供一條經(jīng)驗(yàn)分享，由于需要比較改版前后的數(shù)據(jù)，因此指標(biāo)收集的工作盡量在新版上線前就開始準(zhǔn)備和開始，畢竟有些數(shù)據(jù)，尤其是老版本用戶評價的收集（問卷投放和回收等）本身就需要一定時間，且新版本上線后也不適合再收集了，缺失了改版前的數(shù)據(jù)，自然無法比較和衡量效果了。
4、指標(biāo)的對比
在拿到指標(biāo)的數(shù)據(jù)后，對于設(shè)計(jì)師或產(chǎn)品經(jīng)理，就可以通過改版指標(biāo)數(shù)據(jù)的的變化來分析本次設(shè)計(jì)、功能的優(yōu)化的效果了。但是，需要提醒，產(chǎn)品并不是處在真空環(huán)境里，除了設(shè)計(jì)、功能的改變，同期還有很多因素在變化，因此改版前后數(shù)據(jù)的變化還會來自頁面上內(nèi)容/促銷活動、全站流量變化（淡旺季，假期、所處生命周期階段，即如果產(chǎn)品處于快速成長期，用戶規(guī)模等都是呈快速增加的趨勢的），用戶差異、用戶的適應(yīng)度（即：用戶使用新版初期，由于覺得新鮮需要探索從而產(chǎn)生了更多使用/點(diǎn)擊，這種情況主要出現(xiàn)在信息型產(chǎn)品里，如首頁等；或者由于不習(xí)慣，一時找不到功能入口，造成短期內(nèi)效率，滿意度等指標(biāo)下降。）等諸多因素。需注意不同類型的產(chǎn)品（信息型、工具型）所受的影響及大小也會有差異。
為了相對更科學(xué)、客觀的了解設(shè)計(jì)、功能的改變帶來的效果，就需要把其他因素的作用盡量去除或減少。由于當(dāng)前改版的對比方式主要有兩種， A/B測試（新老版本同時在線）和前后對比測試，所以下文就分別針對兩種不同對比方式介紹一些對策。 必須指出，由于一些因素本身就難以區(qū)分開，比如某個頁面上的功能和內(nèi)容（如新功能才有的新內(nèi)容/促銷活動/商品）所以筆者目前也沒有很好的對策能區(qū)分開這種因素對改版效果帶來的影響。
趨勢對比法：
【原理】：網(wǎng)站在不同的生命周期階段（成長，衰退等），全站流量（包含改版頁面）與流量結(jié)構(gòu)的也都是動態(tài)變化的，因此，如果改版頁面前后的變化幅度大于全站的變化幅度，則說明改版有效果
【操作】：
step 1：改版后與去年同期流量對比，得到該頁面改版前后變化幅度
step 2：提取今年與去年同期全站的流量，得到網(wǎng)站年度變化幅度
step 3：如果改版前后變化幅度>網(wǎng)站年度變化幅度，則為改版帶來的作用
如果對改版效果的精準(zhǔn)性沒有那么高的要求，一般主要注意取數(shù)時避開淡旺季、假期，等新版本上線一段時間再分析即可，如果條件允許，盡量使用A/B測試的同時對比方法。
5、指標(biāo)數(shù)據(jù)的解讀
在拿到改版前后的數(shù)據(jù)后，數(shù)據(jù)的解讀一般就容易開展了，關(guān)于這個環(huán)節(jié)，有兩個小建議：
Tips 1: 多個指標(biāo)（如滿意度，用戶對某功能的點(diǎn)擊率）等配合使用，能彼此佐證和更好的解讀效果。
Tips 2: 改版前后數(shù)據(jù)的變化不僅能評估改版目標(biāo)是否達(dá)到，更是對設(shè)計(jì)、產(chǎn)品等相關(guān)項(xiàng)目組成員工作的反饋，值得根據(jù)指標(biāo)數(shù)據(jù)分析原因，更好指導(dǎo)以后的工作。
結(jié)合以上內(nèi)容可以發(fā)現(xiàn)，單次的效果評估需要投入的時間和人力資源較多，而且產(chǎn)生的價值也有限。其實(shí)，改版分析中收集到的這些數(shù)據(jù)還可以發(fā)揮更多用途，也可以采用工具化的方式提升效率。
1、從單次效果評估到體驗(yàn)摸底與監(jiān)測
對于經(jīng)常處于優(yōu)化迭代期的產(chǎn)品，本次改版后的數(shù)據(jù)和用戶反饋其實(shí)就可以作為下次改版前的參考；也能作為業(yè)務(wù)和體驗(yàn)水平的基準(zhǔn)數(shù)據(jù)，通過定期收集這種指標(biāo)數(shù)據(jù)，了解產(chǎn)品是否有異動，從而起到體驗(yàn)監(jiān)測的作用。 而且，即使產(chǎn)品最近暫不改版，也可以參考評估模型的指標(biāo)對現(xiàn)有的體驗(yàn)水平進(jìn)行摸底，更好的了解用戶體驗(yàn)現(xiàn)狀。
2、工具化
為了提升效率，可以在數(shù)據(jù)收集環(huán)節(jié)多采用工具的方式來解決，比如，對于長期，經(jīng)常觀察的后臺數(shù)據(jù)通過報(bào)表等方式展示，對于用戶反饋（如滿意度，忠誠度）等體驗(yàn)指標(biāo)，也可以在產(chǎn)品內(nèi)長期收集和監(jiān)測，既能提高取數(shù)的效率，也能避免忘記改版前收集數(shù)據(jù)，改版后無數(shù)可看的風(fēng)險(xiǎn)。
綜上，改版效果評估的調(diào)研工作可以歸納為：三個意識，五個環(huán)節(jié)，兩個擴(kuò)展。
藍(lán)藍(lán)設(shè)計(jì)( www.alimai.net )是一家專注而深入的界面設(shè)計(jì)公司，為期望卓越的國內(nèi)外企業(yè)提供卓越的UI界面設(shè)計(jì)、BS界面設(shè)計(jì) 、 cs界面設(shè)計(jì) 、 ipad界面設(shè)計(jì) 、 包裝設(shè)計(jì) 、 圖標(biāo)定制 、 用戶體驗(yàn) 、交互設(shè)計(jì)、 網(wǎng)站建設(shè) 、平面設(shè)計(jì)服務(wù)
藍(lán)藍(lán)設(shè)計(jì)的小編 http://www.alimai.net