03 要不要相信你的调查问卷
你好，我是邱岳，今天我分享的主题是：要不要相信你的调查问卷。
产品设计的敌人之一是闭门造车，当我们有了创意和沙盘推演之后，一定要去了解用户，而提到了解用户，我们一定都会想到调研。
在互联网产品的语境中，提到调研通常是指在目标用户群体中选取样本，通过访谈、讨论或者发放问卷的方式，引出我们想要描述的某些东西可靠有效的测量。
今天我打算分享在调研这个事情上的一些经验教训，希望能给你带来一点启发。
先分享一个与调研相关的经历，很多年前，我所在的部门做了一个线上沟通工具，允许用户在互相不交换电话号码的前提下进行电话沟通，原理跟如今的虚拟号码或者在线电话类似。当时我们为这个工具找了一些场景，其中有一个规模很大。为了稳妥起见，我们组织了面向这个目标场景受众的一轮调研。
调研结果非常喜人，受访者表现出了对这一工具的极大兴趣，我记得当时有个问题大意是：如果这样的工具上线，你愿意付费使用吗？有非常大比例的用户表达了付费意愿。
就这样，在满满的信心和期待中，我们终于将产品发布了。结局想必大家也能猜到，产品最终反应平平，甚至有一点惨淡。并没有产生调研结果预计的那样大规模的抢购，像把一颗拉了弦儿的手榴弹扔进湖里，仅是水面泛起一丝涟漪，然后归于平静；等了半天，始终没有像想象中那样炸开。
这件事情让我后来很长一段时间对调研这种形式本能地不信任，也引导我去读了大量跟调研相关的书和材料。这就像是一个一直悬在我脑海中的问号：为什么调研失掉了准星？
这里我试着把自己的反思和教训结合读到的一些东西总结出来，跟你分享。
第一个经验：做调研之前，先列清单和计划
第一个经验是一个操作流程建议，就是在做任何调研之前，一定要先拟订一份详细的调研目标清单，以及准备一份如何使用数据的分析计划。根据调研目标，去进行拆解，设计具体的调研过程大纲，再基于这个大纲来设计问题。
假设，我们想调研用户在通勤过程中是否拥有使用阅读软件的空间，以这个作为目标，可以围绕它来分解目标、设计问卷大纲。
先了解用户所处的客观通勤条件，比如通勤时间段、通勤方式以及一些环境特点（有没有网络，是否拥挤等），然后了解用户当前的使用习惯，以及在此过程中可能存在的痛点。
而后在设计问题的过程中，每一个问题，都应当与一个具体的目标相关，比如我们可以问通勤方式，也可以问每天花在通勤上的时长，但如果问每天在通勤中的支出，就很可能是无关问题。
数据分析过程，则是从结果反向校验问题设计的过程，比如我们需要决定是否在产品中加入离线缓存功能，那么我们需要获知用户在通勤过程中的网络条件。
可能我们起初在问卷中设计的问题是“你在通勤中能够连接互联网吗”。从数据分析出发，是不是只要大部分用户能够连接互联网，我们就可以降低离线缓存功能的优先级？
其实并不是这样，首先能够连接互联网未必意味着有足够的带宽同步信息，可能网速很慢体验还是非常糟糕，这样我们可能将问题改为：“你在通勤过程中的网速如何”。但是如果我们的用户不是互联网从业者，他没办法分辨是否连接了互联网，更别提对网速进行判断了。
第二个经验：保证用户可以流畅地回答问题
这就引出了第二个经验，就是一定要保证用户可以用准确而且一致的方式理解和回答问题。在上面这个例子中，询问网速不是一个好办法，或许我们可以询问用户是否可以顺畅地看视频、打游戏、回复微信等更直接和具体的问题。
在设计问卷的时候经常会犯的一个错误是直接将问题目标转换成问题，换句话说，就是以问题的形式描述问题的目标，比如你心里想知道通勤过程中的网络条件，那就直接设计一个问题：你通勤过程中的网络条件如何？这是调研者希望受访者来完成自己的工作，并直接给出目标信息。这样做很少行得通，反倒投射出一种不负责任的态度。
如果真的这么简单，只问一个问题就好了：
就像我们当时经历的那一次失误，就是直接地向用户询问“如果我们做一个这样的产品，你们会买单吗”一样，这样的结果很难具备参考价值。
第三个经验：调研中，尽量少提假设性问题
这其中还埋着一颗雷，也是我想分享的第三点经验，就是在调研中，尽量少提假设性问题。对未曾经历过的情境，人们并不善于预测他们自己会做些什么或如何感受。在这时，用户会有意无意地试图美化自己，迎合调研者；而调研者的小企图，往往就藏在这一句带有假设的问题里。
我来举几个例子。
“如果能更有效地计算投资的风险与收益，你会委托我们管理你的一部分资产吗？”
“如果能保证你所购买的商品的真货率，你是否会更愿意在这样的平台购物？”
“如果我们做了一个新的（具体的）功能，你会愿意为此付费吗？”
类似问题的统计数据或许会给你一个还不错的数据，但事实上，结果可能不会是这样。
第四个经验：不要套路你的用户
这也是第四个经验，那就是不要套路用户，不要有意无意地制造情境，引导回答。除了假设性问题之外，问题中的表述方式甚至问题排序以及上下文，都会给受访者带来干扰和引导。
比如，如果我们问“在当前房地产市场整体不景气的预期下，你是否认为买房是优质投资手段”，就是在描述中夹带了强烈的立场倾向。
再用刚才的例子，如果我们问“每天在通勤中有大量的时间被浪费掉，你是否愿意利用这段时间充实和提高自己”，前半句的暗示就显得很不地道。
《调查问卷的设计与评估》书中有个很有趣的例子，是讲酗酒问题的，调查者发现如果直接询问受访者他平时酒量的话，得到的数字会明显低于实际情况。因为用户会担心负面评价，所以会倾向于修饰自己的答案。
但如果在这个问题之前增加问题，先询问他身边最能喝酒的朋友的酒量，然后再问他自己的酒量。因为有了朋友的铺垫，受访者会感受到轻松（因为有喝得更多的人垫底），从而倾向于说出更接近实际情况的数字。
所以我们在设计问题时，一定要学会营造问题语境，不要让受访者觉得他们的答案会导致自己受到负面的评价。即便是匿名调研，这种担心负面评价的心态也会影响到回答的真实性。
在调研中构建问题，保证问题对所有受访者有一致性的理解，得到期望测量问题的客观反映，这不仅是经验，更是一门成体系的学问。推荐我上面提到的这本《调查问卷的设计与评估》，以及大部头的《营销调研》《用户体验度量：收集、分析与呈现》，后面这两本书内容很体系化，但挺难读的，你可以做好心理准备。
当然，用户研究远不止问卷这么单一，还有像可用性测试、用户访谈、焦点小组、日记研究、实地调研等等，推荐《用户至上：用户研究方法与实践》还有《点石成金》，你可以快速地了解一下。除了问卷之外，还有很多更加客观和冷静的用户研究方法。
第五个经验：跳出你的调查问卷
所以最后的一条建议是跳出问卷研究和观察用户。刚才我们说到，用户很可能会倾向于修饰自己的答案，以避免负面评价，或确认自己的身份认同，也可能单纯地不希望让研究者感到失望。
这并不是受访者在有意撒谎，我觉得自己有时也是这样，回答问题的时候我真的是那样想的，但身体很诚实，不一定会像说的一样去行动，所以有时观察用户的行为会比单纯地询问他的想法更准确。
互联网产品可控、可测量的特性让观察用户行为变得非常容易，除了可用性测试等研究方式之外，我们还可以直接从产品中或产品外取得大量的行为数据，我们可以看到用户的访问、转化、留存等等。
我自己的原则是，能用整体行为数据做推测的，就不做可用性测试，能做可用性测试的，就不用调查问卷（提示：由于我过去的经历，这样的原则很可能是有些极端的），后面的专栏文章中我会分享行为数据分析的一些经验，到时候我们再详细聊这个话题。
总结
今天，我与你分享了自己在做用户调研时候的五条经验。
调研之前，要先列好你的清单和计划，调研的问题要设置成更为便于回答的，尽量少提一些假设性问题，以免给自己挖坑。在调研中，你需要用真心诚意去跟用户沟通，而不是想着去套路他们，诱导回答得出的结论也并不会是真实的结果。
最后，你要试着跳出调查问卷，身临其境地去观察和研究你的用户，这样可能更容易收集到你需要的答案。
你在做用户调研的过程中遇见过什么样的问题呢，欢迎把你在工作中遇见的问题留下来，我们一起讨论，感谢你的收听，我们下期再见。
- 池建强 👍（56） 💬（6）
那么问题来了，二爷，我们极客时间需要做文章离线缓存功能吗？
2018-08-03 - Felix 👍（19） 💬（4）
这个话题是我一直想说的，极客时间在信号非常差的情况下北京地铁8号)的体验非常差(音频部分)，比音乐软件差很多，最主要的原因是无法记录音频进度，继续播放。建议多做这方面测试。
2018-08-04 - BonnieFang 👍（1） 💬（1）
做用户调研题目设计很重要，今天学习到了，但是为确保调研的准确性，如何取样，95%的置信区间，等一些比较专业性的调研统计学问题，是不是要看统计学书去了解？有推荐的么？
2018-08-05 - 戴展峰 👍（0） 💬（1）
是不是观察用户的时候还不要让他知道你要干什么会更好一些，暗中观察(手动滑稽表情)
2020-03-24 - ca01ei 👍（0） 💬（1）
二爷说的例子是阿里小号这个APP么？
2018-08-06 - 门徒威尔 👍（45） 💬（0）
用户说的可能未必是他们想要的。可能会基于自身的“角色”说出一些并非真正需求的话。当年 索尼发布新款音箱，想了解用户更喜欢哪个颜色。召集了一群人调研时，问测试者喜欢什么颜色，大部分测试者说喜欢黄色，认为更有活力。调研结束后，主办方让测试者离开后可以免费拿走一个音箱，大部分人却选择了黑色。
2018-08-03 - Novelty 👍（32） 💬（0）
个人非常赞同二爷所说能用整体行为数据做推测的……就不用调查问卷。早期公司上线一款网球赛事积分系统，前期与许多网球爱好者都有面对面的访谈交流，大家都一致表示产品很好，觉得很有意思。可当我们正式上线后却反响平平。经过再次调研我们了解到，用户觉得要自己发起赛事录入比分的动作很麻烦，虽然能记录比分生成积分，但不足以撬动他们的行为。这和我们前期调研之时只是向用户做演示而没有组织他们亲身操作有关。 身体通常比大脑更加诚实，也正在了解到这点后，我们后期商量要上线网球场馆管理系统从而帮助场馆所有者节省人力，提高效率之时就亲临现场查看场馆当前管理方式，发现场馆管理系统几乎无用武之地，因为所有者所雇的人员管理场馆只是他们很小的一部工作，即便可以实现自动化也无法为所有者缩减成本，还有平白支付一笔系统费用。也不可能因为不用管场馆而缩减人员工资。所以最终方案被否。 给我的启示就是，在做用户调研之时，我们不要妄图直接让用户根据我们设定的场景直接判断他的行为，而应该通过对周边信息的收集去进行逻辑推演或是数据分析。
2018-08-03 - 啊尚 👍（13） 💬（0）
刚好前段时间做过一个课程满意度问卷调查，想问题太耗时间，走了捷径。参考了某知名在线教育用的问卷。我想说的是，不会写就参考同行业的。
2018-08-04 - Dylan 👍（11） 💬（0）
这节课讲的是提问的艺术啊，因为有时候用户他都不知道自己想要什么，只有在看到具体的东西或者事物时，他才会用行动来决定要怎么做，要不要买。 我之前是一直想做问卷调查的，但又担心所付出的成本和回报不成比例，所以我现在呢，更多的是想通过用户的访谈后，可能测试，还有数据分析来解决问题。
2018-08-06 - 听天由己 👍（8） 💬（0）
感谢二爷分享，今天的第三、第四点让我印象深刻。 老实说，我不太擅长与用户沟通，真正意义上的调研有过两次，一次是关于业余网球爱好者的行为习惯与消费场景，第二次是最近对公司同事关于激励制度的反馈。 第一次因为是多人参与，从订场、俱乐部、参赛与消费四大部分入手，对整个用户群体有了基本的认识，整体效果还是不错的，现在的问卷工具也多样，至少能帮助我们少走很多弯路； 第二次是因为公司效率长期较低，这是一个极大的挑战。在推出全新的公司激励制度时，我们私下对同事一对一沟通，一是保持真诚，了解他们的担忧，二是在他们担忧的基础上，提出了假设，假设我们能够解决这些问题，你愿意尝试或是做某些事么？现在回想起来，可能有些局限。这一做法的另一面就是，有些人很容易给自己设限，事情还未发生，他们就倾向于更为保守的选择，不愿意承担风险。这样也让工作更难处理。 从这次沟通中，我的得出的经验就是，让受访者尽量放松，营造场景，不要触发用户情绪，然后个人特点与真实动作来判断他们的意图，保持真诚，坦诚沟通。
2018-08-03 - 麻辣香锅耶 👍（7） 💬（0）
可以来一期B端的产品分析嘛
2018-10-12 - 蓝柠檬 👍（6） 💬（1）
《点石成金》真的很不错，说的很通俗易懂
2018-08-03 - 小布 👍（4） 💬（0）
少提假设性问题，不要给用户设置情景诱导回答。从过往的问卷来看这两点问题深深印在各问卷中间，如何让问卷获得的数据更具有参考价值，问题的问法及设置很值得思考。受教！
2018-08-03 - 轶名 👍（3） 💬（0）
喜欢文章后有个总结，很舒服
2018-08-03 - 蓝柠檬 👍（3） 💬（0）
人心是变化莫测，做产品就把握人心，所以难
2018-08-03