文章來(lái)自：ThoughtWorks，世界經(jīng)理人經(jīng)授權(quán)轉(zhuǎn)載。

長(zhǎng)久以來(lái)，如何有效衡量軟件研發(fā)效能是所有研發(fā)管理者心心念念的事，但也一直是個(gè)未解的難題。從早期的人均代碼行到人均功能點(diǎn)公式計(jì)算，再到基于故事點(diǎn)的迭代速率或人均吞吐量，業(yè)界一直在探索。

有失偏頗的指標(biāo)

人均代碼行，若作為關(guān)鍵指標(biāo)，與更優(yōu)秀程序員應(yīng)該用更優(yōu)雅和少的代碼這一邏輯相悖，且將軟件編程這一腦力勞動(dòng)等同于砌磚速度，顯然是不合理的。
 

功能點(diǎn)計(jì)算，通過(guò)基于需求分析和設(shè)計(jì)后確定要修改的頁(yè)面數(shù)、接口數(shù)等多種因素構(gòu)成的復(fù)雜公式計(jì)算，看似客觀，然而忽視了軟件研發(fā)工作的多樣性。渠道側(cè)應(yīng)用的界面更多，功能點(diǎn)數(shù)容易更大，但還有偏后端開(kāi)發(fā)、基礎(chǔ)平臺(tái)開(kāi)發(fā)、數(shù)據(jù)和報(bào)表開(kāi)發(fā)、算法開(kāi)發(fā)等多種類(lèi)型的工作，前端開(kāi)發(fā)也存在采用不同框架帶來(lái)的差異性，不可能用幾個(gè)公式客觀衡量團(tuán)隊(duì)的產(chǎn)能；另外，越來(lái)越復(fù)雜的計(jì)算公式要依賴(lài)準(zhǔn)確的設(shè)計(jì)，且很難讓每個(gè)人都理解，需要人投入專(zhuān)門(mén)的時(shí)間來(lái)計(jì)算，這種沒(méi)有價(jià)值創(chuàng)造的工作本來(lái)就是一種浪費(fèi)。

隨著敏捷開(kāi)發(fā)的發(fā)展，故事點(diǎn)作為一種基于團(tuán)隊(duì)集體評(píng)估復(fù)雜度的工具可用于衡量細(xì)粒度需求的大小。一些管理者于是考慮用人均故事點(diǎn)來(lái)衡量產(chǎn)能。然而故事點(diǎn)沒(méi)有單位、不同團(tuán)隊(duì)故事點(diǎn)基準(zhǔn)可以不同，以及評(píng)估的主觀性特點(diǎn)，讓人均故事點(diǎn)、迭代速率很難作為令人滿意的效能衡量關(guān)鍵指標(biāo)。

關(guān)鍵的研發(fā)效能指標(biāo)集

經(jīng)過(guò)多年的探索總結(jié)，DevOps社區(qū)提出了衡量IT績(jī)效的四個(gè)關(guān)鍵指標(biāo)，包括前置時(shí)間（或交付周期）、部署頻率、部署失敗率和線上失敗恢復(fù)時(shí)長(zhǎng)，簡(jiǎn)稱(chēng)“4 Key Metrics”。這是一個(gè)很好的方向。不過(guò)在實(shí)踐中，我們發(fā)現(xiàn)實(shí)際要關(guān)心的關(guān)鍵指標(biāo)其實(shí)不止這四個(gè)，例如生產(chǎn)缺陷率就是必不可少的關(guān)鍵結(jié)果，需求吞吐量也常常很受關(guān)注。下面是實(shí)踐中常見(jiàn)的研發(fā)過(guò)程度量指標(biāo)，其中部分是反映最終結(jié)果的關(guān)鍵效能指標(biāo)。
 

評(píng)價(jià)效能的關(guān)鍵原則

要觀察和評(píng)價(jià)研發(fā)效能，就首先要定義什么是效能？簡(jiǎn)單一句話，效能就是團(tuán)隊(duì)能持續(xù)快速交付價(jià)值的能力。目的是交付價(jià)值，其研發(fā)核心能力在于“響應(yīng)力”與“穩(wěn)健性”，同時(shí)，響應(yīng)力這一概念又可以從“流動(dòng)速率”和“資源速率”兩個(gè)維度來(lái)觀察。前者是指價(jià)值從明確到交付用戶的周期時(shí)間，而后者是單位人力資源在單位時(shí)間里交付價(jià)值的數(shù)量，對(duì)創(chuàng)新與敏捷的要求使得前者的重要性更勝于后者。
 

因此，要評(píng)價(jià)效能，這里就有幾個(gè)關(guān)鍵原則：

1.任何單一指標(biāo)并不能合理地觀察和評(píng)價(jià)一個(gè)團(tuán)隊(duì)的效能，否則會(huì)產(chǎn)生副作用。例如單一看吞吐量，會(huì)驅(qū)使團(tuán)隊(duì)一味拆需求，或犧牲質(zhì)量；若單一看交付周期時(shí)間，可能驅(qū)使團(tuán)隊(duì)減少需求流入。

2.評(píng)價(jià)效能盡可能看全局結(jié)果，而非階段性表現(xiàn)，例如一次轉(zhuǎn)測(cè)通過(guò)率這樣的指標(biāo)通常很重要，反映開(kāi)發(fā)階段內(nèi)建質(zhì)量的效果，然而用于評(píng)價(jià)效能不合適，它反映的不是團(tuán)隊(duì)整體表現(xiàn)。

3.效能評(píng)價(jià)原始數(shù)據(jù)應(yīng)該是來(lái)自工具的客觀記錄，不需要人工計(jì)算，不需要為評(píng)價(jià)浪費(fèi)時(shí)間，且對(duì)所有團(tuán)隊(duì)是一視同仁的。

4.考慮到軟件研發(fā)工作種類(lèi)的多樣性和以腦力勞動(dòng)為主的工作性質(zhì)，研發(fā)效能的觀察更多應(yīng)關(guān)注團(tuán)隊(duì)的改進(jìn)趨勢(shì)，而非橫向?qū)Ρ鹊慕^對(duì)數(shù)值。

那怎么才能更合理有效地達(dá)成觀察和評(píng)價(jià)效能的目的呢？最直接的辦法，也是最理想的，就是學(xué)會(huì)觀察分析一組核心指標(biāo)，例如同時(shí)拿出4 Metrics的數(shù)據(jù)趨勢(shì)，或者上面圖中的關(guān)鍵效能指標(biāo)數(shù)據(jù)趨勢(shì)進(jìn)行分析和觀察。一些成熟的企業(yè)會(huì)將這些關(guān)鍵指標(biāo)做成Dashboard（儀表盤(pán)），便于觀察者一目了然分析全局狀況。這就像做數(shù)字化運(yùn)營(yíng)的數(shù)據(jù)分析一樣，只有通過(guò)一組數(shù)據(jù)的對(duì)比分析才能得到相對(duì)有效的洞察。強(qiáng)烈建議每一位效能管理者、過(guò)程改進(jìn)者以驅(qū)動(dòng)改進(jìn)為目標(biāo)，學(xué)會(huì)和習(xí)慣以這種方式來(lái)評(píng)價(jià)一個(gè)團(tuán)隊(duì)的效能情況。

觀察效能的綜合評(píng)價(jià)指標(biāo)

但這一理想方式對(duì)觀察者要求較高，需要充分理解每一個(gè)指標(biāo)的含義和內(nèi)在邏輯，并且這樣一組核心指標(biāo)對(duì)于反映宏觀的效能改進(jìn)趨勢(shì)還是不夠直觀，認(rèn)知負(fù)載有點(diǎn)高。尤其對(duì)于一些管理層和外部人員，看不出整體效能到底是變好還是變差了。想要解決這個(gè)問(wèn)題，我想到了一些類(lèi)似的解決方案。
 

國(guó)家需要一些指標(biāo)來(lái)持續(xù)觀察一個(gè)經(jīng)濟(jì)體的整體經(jīng)濟(jì)狀況，典型的像居民消費(fèi)價(jià)格指數(shù)（CPI）、購(gòu)買(mǎi)力平價(jià)指數(shù)（PPP），都是采用一籃子指標(biāo)基于某種內(nèi)在邏輯構(gòu)成的復(fù)合指標(biāo)。好處是：

1.雖然不能說(shuō)明問(wèn)題根因在哪里，但能更直觀反映全局表現(xiàn)

2.其變化可綜合多種因素的影響，可體現(xiàn)不同因素對(duì)整體評(píng)價(jià)的影響程度

3.降低了為使得單一指標(biāo)好看而采取片面行為的可能性

于是，在實(shí)踐案例中，我們?cè)O(shè)計(jì)了下面這樣的概念公式，綜合了六個(gè)要素來(lái)產(chǎn)生一個(gè)綜合評(píng)價(jià)指數(shù)（研發(fā)效能CEI），可以以周或月進(jìn)行統(tǒng)計(jì)：

綜合效能 = （交付吞吐量 部署頻率 發(fā)布成功率） / （需求交付周期 線上穩(wěn)定性 債務(wù)積壓）

交付吞吐量

反映資源速率，通常是指單位時(shí)間交付需求的個(gè)數(shù)，但這是六個(gè)要素中最難以有效計(jì)算的，因?yàn)榕c需求顆粒度有關(guān)。功能點(diǎn)、故事點(diǎn)都需要人為評(píng)估，且存在以上一些問(wèn)題。于是采用一個(gè)自然產(chǎn)生的近似值：故事開(kāi)發(fā)時(shí)長(zhǎng)，即從開(kāi)始開(kāi)發(fā)到開(kāi)發(fā)完成的時(shí)間，依靠看板中的故事拖動(dòng)產(chǎn)生。盡管這一時(shí)長(zhǎng)可能受個(gè)體開(kāi)發(fā)效率影響，但在統(tǒng)計(jì)學(xué)意義上可以近似代表需求大小。開(kāi)發(fā)時(shí)長(zhǎng)還受到同時(shí)并行工作的故事數(shù)的影響，同樣大小，并行越多，時(shí)長(zhǎng)越長(zhǎng)。因此交付吞吐量的人均值計(jì)算如下：

交付吞吐量 = 交付故事個(gè)數(shù) * （平均故事開(kāi)發(fā)時(shí)長(zhǎng) / 平均的人均故事開(kāi)發(fā)WIP）/ 團(tuán)隊(duì)Size

部署頻率

這個(gè)指標(biāo)就是人均的發(fā)布單元部署次數(shù)，理論上團(tuán)隊(duì)規(guī)模越大能夠交付越多的需求，應(yīng)該更頻繁地交付特性。為了提高頻率，這個(gè)指標(biāo)會(huì)驅(qū)使團(tuán)隊(duì)拆分部署單元?？紤]到部署頻率相對(duì)吞吐量和周期時(shí)間對(duì)整體效能評(píng)價(jià)的重要性相對(duì)較低，因此其影響通過(guò)冪函數(shù)降級(jí)。部署頻率 = （部署單元部署次數(shù) / 團(tuán)隊(duì)Size）^（1/e）

發(fā)布成功率

這一指標(biāo)較簡(jiǎn)單，即每次上線發(fā)布的成功率，只要發(fā)生回滾或新版本產(chǎn)生重要故障即視為不成功。由于這一指標(biāo)是百分率，比率越高提升困難越大，因此采用以下指數(shù)函數(shù)參與計(jì)算：

發(fā)布成功率 = e ^ 版本發(fā)布成功率

需求交付周期

這是反映流動(dòng)速率的關(guān)鍵指標(biāo)，即從需求確認(rèn)到需求上線的周期時(shí)長(zhǎng)，衡量團(tuán)隊(duì)對(duì)價(jià)值的響應(yīng)速度。這里對(duì)需求的統(tǒng)計(jì)尺度不采用故事，而是采用可獨(dú)立上線的特性或用戶需求。需求交付周期 = 平均特性交付周期

線上穩(wěn)定性

對(duì)線上穩(wěn)定性的衡量可以綜合幾個(gè)不同角度的基礎(chǔ)指標(biāo)，人均生產(chǎn)缺陷、停機(jī)時(shí)長(zhǎng)和線上失敗恢復(fù)時(shí)長(zhǎng)?？紤]到人均生產(chǎn)缺陷、停機(jī)時(shí)長(zhǎng)和線上失敗恢復(fù)時(shí)長(zhǎng)數(shù)值可能為0，且數(shù)字越小越難提升，以及這幾個(gè)指標(biāo)數(shù)值的波動(dòng)性很大，因此通過(guò)以下冪函數(shù)降級(jí)。線上穩(wěn)定性 = （（（生產(chǎn)缺陷個(gè)數(shù)+1）/ 團(tuán)隊(duì)Size （停機(jī)時(shí)長(zhǎng)+1）（線上失敗平均恢復(fù)時(shí)長(zhǎng)+1））^ （1/e）

債務(wù)積壓

最后一個(gè)因素我認(rèn)為需要加進(jìn)來(lái)。這里所謂的“債務(wù)”是指各類(lèi)團(tuán)隊(duì)?wèi)?yīng)當(dāng)及時(shí)解決然而未解決的問(wèn)題，包括需求積壓、缺陷積壓、技術(shù)債務(wù)。團(tuán)隊(duì)在快速交付過(guò)程中可能欠下很多債務(wù)。如果忽略了技術(shù)債務(wù)、缺陷積壓，一段時(shí)間里的高速率其實(shí)只是掩蓋了問(wèn)題。而對(duì)于需求積壓，即便團(tuán)隊(duì)自己認(rèn)為效能很高，然而站在業(yè)務(wù)方角度，其效能仍無(wú)法滿足需要，其感知到的效率不高。缺陷積壓即未解決的缺陷；需求積壓是業(yè)務(wù)提出但超過(guò)一定時(shí)限仍未進(jìn)入交付的需求；技術(shù)債務(wù)目前容易量化的是代碼債務(wù)，例如Sonar掃描的結(jié)果，如果可能也可以包括架構(gòu)債務(wù)的數(shù)量。當(dāng)然，考慮到這幾類(lèi)積壓的重要性差異，賦予一定權(quán)重。人均的積壓計(jì)算如下：

債務(wù)積壓 = （需求積壓 50% + 缺陷積壓 30% + 技術(shù)債務(wù)量 / 10 * 20%）/ 團(tuán)隊(duì)Size

最后，綜合考慮到分子和分母計(jì)算中均有兩次團(tuán)隊(duì)Size參與計(jì)算，可考慮簡(jiǎn)化將其相互抵消，形成如下最終計(jì)算公式：

下面是實(shí)踐中基于實(shí)際度量數(shù)據(jù)形成的綜合評(píng)價(jià)指數(shù)曲線和源數(shù)據(jù)示例。我們能夠直觀的看到綜合多種因素后團(tuán)隊(duì)整體效能的變化。在圖中額外自動(dòng)生成了一條紅色趨勢(shì)線（虛線），能夠體現(xiàn)一段時(shí)間周期內(nèi)，效能的總體變化趨勢(shì)是變好還是變差以及變化幅度大小。由于團(tuán)隊(duì)工作的多樣性，可能不同類(lèi)型的團(tuán)隊(duì)計(jì)算出的指數(shù)結(jié)果數(shù)值差異較大，因此該曲線主要用于團(tuán)隊(duì)與自己過(guò)往相比，或者在工作性質(zhì)類(lèi)似的研發(fā)團(tuán)隊(duì)之間做橫向比較。

綜合指標(biāo)應(yīng)用場(chǎng)景和意義

通過(guò)統(tǒng)計(jì)和觀察該綜合指標(biāo)，可以有效解決前面單一指標(biāo)、人工統(tǒng)計(jì)的問(wèn)題，且能反映出不同維度指標(biāo)因素對(duì)綜合效能的影響程度。那么該指標(biāo)趨勢(shì)對(duì)誰(shuí)有用呢？實(shí)踐中有以下幾種應(yīng)用場(chǎng)景：

1.對(duì)于高層管理者或不熟悉效能數(shù)據(jù)分析的人，可以向其直觀展現(xiàn)團(tuán)隊(duì)和組織的效能變化，作為溝通研發(fā)效能的基礎(chǔ)；

2.對(duì)于部門(mén)和團(tuán)隊(duì)負(fù)責(zé)人、教練，能夠快速了解團(tuán)隊(duì)的效能總體變化；當(dāng)曲線發(fā)生顯著波動(dòng)時(shí)，再深入展開(kāi)分析是哪幾個(gè)因素導(dǎo)致了整體結(jié)果波動(dòng)，從而采取改進(jìn)措施；

3.當(dāng)部門(mén)或團(tuán)隊(duì)設(shè)定效能提升的目標(biāo)時(shí)，如OKR，可以用綜合指數(shù)作為衡量目標(biāo)達(dá)成的關(guān)鍵結(jié)果，避免團(tuán)隊(duì)片面地關(guān)注單一指標(biāo)提升，而是關(guān)注綜合結(jié)果，在重點(diǎn)提升個(gè)別指標(biāo)的同時(shí)，也要確保其它關(guān)鍵指標(biāo)不下滑。

該指標(biāo)公式也還有很多改進(jìn)空間，例如不同的企業(yè)、部門(mén)對(duì)效能的解讀不同，或者對(duì)不同關(guān)鍵指標(biāo)的重視程度不同，可以適當(dāng)調(diào)整公式中的影響程度因子或權(quán)重。或者，在對(duì)發(fā)布成功率、生產(chǎn)缺陷等因素如何作用于最終結(jié)果的算法上，可能有更科學(xué)準(zhǔn)確的公式，也可以改進(jìn)它，歡迎提出建議。