一些产品测试经验

蝉小队做产品的就6个人,2只产品汪,3个工程师,1个UI设计师。没有QA。至今为止发了5款App,故障率很低,几乎没出现过需要紧急修复的重要bug。说说我们做测试的经验吧。

1、
一定要写测试用例。
一定要写测试用例。
一定要写测试用例。

测试用例我用Mindjet来写,把每一个需要测试的分支写出来,但不标注测试方法与预期结果——都在我脑子里呢,所以我写的用例几乎没人能看懂。你们也别找我伸手,我的测试用例和PRD是同一个东西,怎么可能给外人看。

每次写新产品的测试用例,大约需要两三个小时,花费时间不多,但极痛苦,必须是情绪相当稳定,并且拖到没法再拖的时候,才会逼着自己“静下心来”写这个。一边写一边呲牙咧嘴,自言自语“不是人干的活儿啊”。写完第二天再检查几遍。

2、
测试由我和另一只产品汪策策来做。平时我负责iOS,他负责Android,但测试的时候我们一起上,各测试一轮,对着事先准备好的测试用例撸一遍就好了,发现问题就记录在Tower上,指派给工程师。工程师勾掉,通知我们回归测试。大版本发布前还会全面回归一次。

Tower上的产品项目,按产品模块分成5-10个模块,需求与bug记录在各自归属的模块里,再标记“#版本号”,或者用“!”标记优先级,相当清晰。

通常我用iPhone6测试,iOS工程师用iPhone6 plus测试,策策用iPhone4(iOS7)测试。

Android的话,我司的测试机有Nexus5,三星S4,三星note2,米2,红米,华为低端机,魅族mx3。Android工程师用1台测,策策用2台测,我用1台测,尽量分开。

和大公司严谨的流程不一样,蝉小队测试期间的节奏相当快,每天都提若干测试反馈,每天发1-5个新包测试。工程师白天修复bug,我和策策晚上加班测试,第二天工程师上班时,Tower上已经写满了新的反馈。大版本测试通常用5-7天(小版本1-3天),时间略长,原因是我有边测试边改需求的恶习,主要改交互不顺手的地方,一摸上手就知道感觉不对,当初设计不到位吖。于是边改需求我还得边改测试用例。

3、
大版本发布前,蝉小队会发动15-30分钟全员测试。

全员测试的绝招是——发彩票!

每找到一个bug,或者提出一项合理建议,发2元彩票,第二天兑现。以前用淘宝买给大家,现在网上禁售彩票,就去实体店买给大家。所以蝉小队一到测试时间都挺开心的,我走来走去地大声说:各位,发财的机会到了,中了500万一定要投资敝司当股东啊。

这句话我翻来覆去说了两年,有人好像中过30块钱。

最多的一次,我记得全员测试发了30多张彩票,说明在我和策策的测试完成后,大家还帮我们找到30多个bug,常有“吓出一身冷汗”的bug被挖出来,多半是出乎我们预料之外的产品场景,或者特殊的机型和系统版本。上个月的生辰1.1测试也发了10张彩票出去。

如果是蝉游记这样结构复杂的产品,全员测试之前还会分工,A小组测这个模块,B小组测那个模块,C小组……

经过专业人员测试,全员测试,App就可以提交市场了。就酱。

4、
最后解释一下为什么蝉小队不设QA。

首先,我是绝对相信QA的,专业能力比我这种半吊子测试好到不知道哪里去了。但我也坚持亲手测试产品,因为测试流程逼着我反复大量触碰每一个细节,摸着摸着发现“哪里感觉不对”,然后快速提改动需求。如果我已经投入这么多时间来测试,而且也能找到大部分的bug,再额外设一个QA就比较冗余。

同时,我和研发工程师两端对接,直截了当,如果再插入测试工程师,同一个需求就得讲两遍,或者“凑齐人开会”,效率大减。而我在测试期间临时改需求,还得通知测试工程师,他烦我也烦。为了追求敏捷,我选择精简流程,压缩掉一切可以节约的环节。所以产品经理兼任交互设计师,兼任测试工程师,能大大提高流程效率。但从工作量的角度上来讲,再兼任UI设计师或者研发工程师就不现实了,PM+交互+QA已经塞满了我的工作时间,就算我有这个能力也没法兼任UI和RD,那会拖慢进度。

对于50人内的创业小团队,从效率出发,如果个人能力比较强,蝉小队的产品团队配置可能是相当好的方案。其实我这一个PM也够了,但我还要管不少运营、人事和资本层面的事情,占用了一半时间,所以必须有另一位PM来帮助我。这个配置能达到的效果是,拿蝉小队的4-5月举例:
-发布蝉游记5.0和5.01 iOS,算是中等规模的迭代
-发布携程周末1.0(从头研发)和1.1版本
-发布生辰1.1 iOS和Android 1.0(从头研发)
-5月底发布蝉游记网站大改版
-UI设计师除了上述产品设计外,还出了另一个玩票App的UI稿,排期在6月研发
-我在5月应该可以抽些时间,彻底重构玩票App“方言君”的原型
-我还帮另一款App友情重构了产品框架原型

做这些事情,两个月,6个人就够了。2只产品汪,3个工程师,1个UI设计师,当然这还得靠我的项目管理能力(傲娇脸)。4-5月有些整体进度上的压力,加班略多,平均一周晚走2天吧。其实过了本周我保证大家都不会加班了。呃,我自己除外,我分担的事情太杂太多,永远都是要加班的……

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,198评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,663评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,985评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,673评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,994评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,399评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,717评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,407评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,112评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,371评论 2 241
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,891评论 1 256
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,255评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,881评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,010评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,764评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,412评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,299评论 2 260

推荐阅读更多精彩内容