手機服務測試的惡夢....

剛剛看到一篇文章Testing Across Devices的文章，主要是作者看到有人在討論手機服務的測試，有一位還特別貼了一張圖(如下)，很有意思，讓我想起來之前還在上班時，幾乎三不五時就要面對的問題。

基本上手機服務目前似乎沒有一個好的測試工具，嗯...我是說覆蓋率測試，有一個簡單的公式可以說明

測試項目 = 服務個數 X 功能個數 X 手機個數 X 電信業者個數

當然以上是完美情況，可是通常做不到，原因其實從上圖就可以很明顯的看出來，哪有那麼多人力物力可以做這種覆蓋率的測試，也就是說現實是....

1. 你買不到所有的手機，就算有錢，也幾乎不可能買到全部的手機，就算是同樣型號的手機，韌體版本不同，有時候測試結果也不同
2. 很難蒐集到所有電信業者的門號，更別提你的合作伙伴可能是國外的電信業者，搞不好連SIM卡都拿不到..

其實開發新服務問題還比較小，問題比較大的是在後續新功能的開發或是修正系統錯誤，完整的迴歸測試幾乎不可能做到，原因是"只有人用手機去測才是最準的"，所有的模擬測試都無法保證EndUser最後可以正確的使用，而這個問題在服務越多、成立時間越久的公司越明顯....進而嚴重影響開發新服務的產能.....


PS: 我找了好久都沒有一個現成automation的工具可以解決這個問題，如果有人樂意告訴我，我會很Happy的~