作为一枚社科类专业出身的互联网狗，编制过用于学术研究的问卷，也在工作中使用过问卷去了解用户，问卷编制不是凭感觉罗列问题的过程，更像一个设计过程，不断权衡问题的去留、逻辑和形式。在此把编制问卷和分析数据的思路整理出来，共两篇，交流讨论。
问卷调研大部分是抽样调研，且填答质量在很大程度上依赖填答者/执行者的认真程度，因此得结论时很容易被diss：“你问卷那么长谁会来答、用户都是故意瞎填的不可信、用户根本没思考都是用脚在答、答问卷的都是专家用户不能代表全体”等等。
一份合格的问卷会尽量避免这些问题以得到客观的结论。希望读完本文可以找到一些答案。
问题编制会受制于问卷的投放渠道，所以我们先从问卷投放开聊。
一、问卷投放
1.1 确定调研目的和投放人群
调研方法有很多，尤其是在互联网环境下，收集数据的手段变多了，问卷调研的优势在哪里，什么情况下应该使用问卷调研呢？问卷的优点是：可以在短时间内搜集大量的数据，且人力成本较低。在互联网领域，使用问卷调研的场景主要有以下几种：
（1）验证需求强度和场景以设计出更合理的功能
工作中通过其他方式发现了一些需求点，逻辑推导可行，继而通过问卷做个定量调研，了解需求的场景辅助设计。
如：地图上线骑行导航之前有很多用户提建议要求上线骑行功能，但是哪些功能优先级更高？最核心用户群是谁是外送人员么？用户最关心什么信息？这些光靠猜是不够的，通过问卷可以得到更切实的结论。
如keep在18年5月份的时候提前调研用户对于短视频的态度，10月的时候上线了该功能，最近又在调研live打赏功能，调研结果如何就看之后会不会上线了。
不过在功能上线之前做调研可能会涉及到保密问题，能否做调研还需要结合整体环境来判断。
（2）主动收集使用者的感受，不依赖于反馈系统
1. 有些功能没有明显的反馈渠道，用户有想法但不知道去哪里反馈，当设计者想要了解用户使用情况时会缺乏参考资料；
2. 产品有明显反馈渠道，但用户遇明显的痛点才来反馈，只有一丢丢不爽的时候，一般都懒得反馈，可设计者需要了解这些“小不爽”来打磨产品；
3. 有时候产品刚上线或经过几轮迭代，设计者不仅需要看数据，也需要了解用户对产品的主观感受，感知到功能没、用过没、喜不喜欢。
如：华为每次更新新系统后都会发送小调研收集问题，两个题目，一个是满意度，一个期望改进的建议，简单直接快速。
（3）通过问卷招募用户
想做用户调研（焦点小组、深访等），如果不通过外包公司招募，就需要自己设计招募问卷，筛选符合要求的用户。如之前高德地图招募用户，主要说明活动具体事宜和关键的筛选因素。
（4）了解行为和场景，在大数据无法体现或获取数据的成本太高时用
设计者需要了解用户是在什么样的环境下怎么用产品，为后续的设计提供依据，但有些信息很难在数据上体现；比如骑行导航刚上线时，设计者期望知道用户是怎么用地图的，看屏幕为主还是听语音为主。系统的息屏数据和静音数据很难拿到，因此用问卷的方式来获取。
（5）了解行业、市场的情况（这类调研通常与第三方公司合作进行，国内调研公司的官网上有很多实例报告，不详述了）
调研目的确定后，调研群体也就明确了，关键是如何触达这些用户呢？
1.2 找到触达用户的方法
生活中会在各种地方遇到问卷调研：体检单上附带着纸质的满意度问卷；收到航空公司的电话回访；逛商场有人拿着iPad请你回答品牌偏好问卷；买了冰箱到货后上面贴着满意度调研的二维码；邮箱里还会收到一些网站的调研。
当用户与服务有触点时，可以抓紧这些触点邀请用户参与调研，此外还可以通过用户留下的联系方式邀请用户，对于互联网产品也不例外。
（1）在APP/网站内投放问卷（最普遍）
1. APP内有运营位，可以在这些位置上投放传统的问卷邀请（纯文本的、banner+文本的都可以）
优点：回收量大；用户对本APP的印象鲜活；可以通过后台筛选投放的用户群体，比如通过人口学信息/设备信息圈定人群，或通过行为经验圈定人群（如：最近三个月使用过骑行导航的用户）
缺点:低活跃群体的触达率特别低。
2. 还有一种短小快速的调研方式，在某个行为之后触发调研模块，很适合收集特定场景的信息。不过该方法需要在包里添加代码，实现成本高。如搜狗地图导航结束页，keep中途退出课程，都会弹出调研模块
（2）通过联系方式投放，短信、邮件发送邀请链接；qq、微信群、论坛发起问卷调研
1. 大量的短信投放有一定的费用成本，而且对用户有打扰，在投放前可以先“预投放一轮”，估计一下回收量。
2. 邮件投放可能会被屏蔽为“垃圾邮件”，因此投放出去之后要观察一段时间，确保有回收率，如果回收率非常低，则需要考虑其他渠道。
3. 在产品的qq群、论坛投放，来填答问卷的很可能是产品的深度用户，该类用户与普通用户对产品的熟悉程度有差异，需考虑到样本偏差。
（3）购买/置换三方渠道：
仅通过产品自身的渠道，很难接触到沉默和竞品用户，购买第三方的渠道是常规方式，市调公司、问卷公司都有自己的问卷广场和用户社区，大部分都有该类服务。
此外还可以扩展多样的渠道合作（和投放广告是一个道理，找准目标群体），比如想了解足球用户的特点喜好，可以在足球类的视频网站上挂问卷；比如招募学生群体可以去高校的BBS上发帖；如某奢侈品APP想了解大众对各奢侈品牌的印象，找FT网合作投放了问卷。
1.3 确定投放时间和样本量
（1）投放时间
投放多久主要是看渠道的回收量，等收回量够了就可以停止了，通过联系方式投放等待的时间比较长，（在做调研规划的时候要考虑到时间成本）。
如果是APP内投放，尽量选APP日活高的时候投回收更快，比如抖音明显在节假日期间使用量更高，投放问卷就可以选周末，两天回收量就够了。如果问卷复杂，可以选在半夜上线问卷，在后台监控收上来的问卷数据有无漏洞，因为半夜使用APP的人少，即使有问题还有补救的机会。
还需要注意的一点，有些APP的使用人群与时间强相关，就要考虑到投放时长。比如在地图内投问卷，有很多是凌晨半夜填答的，一开始我就纳闷什么用户大半夜的跑来答问卷啊，后来分析了数据发现两类用户：国外用户、夜车司机。所以在地图内投放的问卷，如果晚上发出去，早晨一看数据量够了就暂停了，那样本一定是偏的。
（2）样本量
如果只是定性收集信息，问卷量没有标准多多益善，如果涉及定量调研需要考虑到样本量。
1. 只是通过问卷看大概的趋势和分布，只做描述性的统计，200份一般就可以分析了。比如想了解：大部分骑行用户对于天桥、地下通道这些设施的态度，做小样本的调研结果就比较明朗了。
2. 如果要研究细分群体的情况（如：对于设施的态度与骑行工具有关，所以要分别了解骑自行车和骑电动车的用户群），那么要保证细分群体样本量大于100，这样做差异检验的条件都满足。
3. 如果要根据样本推断总体就更复杂些。最直观的感觉是：样本量越大，误差就越小，但样本越大成本越高，所以在保证误差范围和可信度的情况下，我们可以根据公式计算出最小样本量。
以样本推测总体有两种情况，一种是根据样本值估计总体值（如：通过问卷调研，得到自行车用户平均骑行距离是3km，通过总体推测整体的距离），这种在问卷调研中使用的非常少；另外一种是根据样本比例估计总体比例（如：问卷中10%的骑行用户是起摩托车，以此推论整体摩托车用户的占比），这种推断使用的较多，最小样本量计算公式如下（重复抽样和非重复抽样的公式不同，当总体N很大时，差异很小，这里写的是重复抽样的公式，里面各字母代表的信息随便找本统计书都有）:
实际情况中，调研又不是发表论文，不需要给出精确的样本量和置信区间，通常都会多收集一些；大概的样本量和置信度对比如下，做参考即可：
需要了解的一点是 ，推断公式是基于随机抽样（包括随机重复抽样、随机不重复抽样）得到的，要使用该公式计算最小样本量，前提是问卷采用随机抽样的方式发放，既：研究总体中每个个体都有相同的机会回答问卷。
如果不是随机抽样，即使达到最小样本量也不可以进行推断统计，在朋友圈里或论坛里发的调研不是随机抽样不能做推断统计，在APP内发放问卷从严格意义上来讲也不是随机抽样，理论上讲，用户看到问卷的概率是相同的，但在填答意愿上有差异，之前的经验发现某些人群特质的用户确实更爱答问卷。所以使用推断统计要慎重，尽量分析那些与填答意愿无关的内容。
（2）样本代表性：
我们要研究的问题很可能与某些因素强相关，因此在做调研时希望样本与总体尽量接近，以避免样本偏差导致结论偏差。如果我们已知某些因素与研究的问题有关，也可以通过一些手段去调整。
分桶发放：
如果已知总体的分布，并完全按照整体分布抽取样本，就是分层抽样。比如调研用户对全国旅游景点的满意度，按照旅游景区的等级、类型等比例随机抽样即可。
但是互联网环境下，很难做到随机抽样，叫分桶投放更合理。比如研究用户在骑行过程中，对天桥、地下通道的态度，性别会有影响，那么在投放前就可以区分性别投放。如果后台不支持，则可以在问卷中增加该问题，方便后续分析。
实际调研中影响因素可能会有很多个，不能一窝蜂的都考虑，分桶成本太高，仅考虑强相关的影响因素，1~2个即可。
统计方法调整：
前期无法按照比例投放，分析数据的时候可以做加权校正（后续再聊）。
二、问卷编制
2.2 设计问卷整体结构
（1）编制问卷首先得了解问卷可以问什么，总结起来如下几类：
- 定性收集使用信息，如使用产品遇到的问题、对产品的建议、期望改进点、使用场景等。
- 定量了解使用情况，如知晓度、使用频率、熟悉度、使用深度、使用习惯、操作路径。
- 定量解用户内心的想法，如满意度、功能期望、方案偏好、价格接受度、行为原因等。
- 定量搜集人口信息，常见：年龄、性别、地域、消费水平、教育程度等，不做详述。
- 定量收集使用环境信息，如硬件设备，天气信息、使用环境等。
（2）在设计问卷之前先做前期研究
如果是做定量研究，各内容之间可能有相关或因果关系，比如使用频率和满意度，性别和方案偏好等等，所以，在设计问卷之前先看数据、看外部相关调研、做快速的定性调研收集资料，以此提出一些假设，根据这些假设去设计问卷框架，这样后续得到的结论更丰富，也避免遗漏掉重要的现象和关系。
如较早之前做过一次调研，整体来看用户对于某方案的偏好差异不大，但交叉分析后发现越年轻越偏爱A方案，能看到很明显的趋势。考虑到年级大用户在整体用户中的占比较小，所以后续做决策的时候主要考虑了年轻用户的选择（后来进一步研究发现是因为年轻用户和年老用户的关注点不同导致的，也很有意思）。
此外投放的群体并不一定是目标用户，所以需要通过问卷题目来筛选，并唤起用户的回忆。我的邮箱里曾收到过百度统计的调研，我自己对于百度统计只是注册过，没用过印象非常浅。但是该问卷上来就问用户对百度统计的感受，缺少了筛选项，导致填答者优点懵，也可能会受到不合格的问卷。
总结起来，我自己设计问卷结构的思路：
- 确定问卷调研的核心点，一般控制在1—3个，了使用情况、想法态度、人口信息、环境信息等。
- 设置筛选题目，适合回答核心题目的用户，全体用户、使用过某功能的用户（用户筛选也可以通过后台配置）
- 设置衍生题目，通过前期研究或经验发现，那些可能会影响核心题目的因素，方便更多的分析和探索
2.2 题目编制与设计
有了框架才真正开始编问卷，大部分问卷平台都提供多种题型，还有样本模板，很好用。以下是我自己的总结的一些点：
（1）题目筛选。问卷要尽量保持短小，按照问卷结构把想问的问题都录入后，就开始删题目。
检查每个问题，问自己还有其他方式获得该类数据吗，如果有就删掉问题。
检查每个问题，是否容易回答，在看完题干和选项之后，是否能在3秒内给出答案，如果不能就删掉吧
检查开放题目（填空、问答）是不是太多了，一方面问答题给用户更大的心里压力，导致完成率低；另一方面问答题的答案不好分析，大部分需要人工编码，耗时。
（2）题目样式。题目样式就是要尽可能清楚的表达出要问题的内容。在用语上且无诱导，无隐私、无态度。此外在编制问题的时候，有时候还会用到以下技巧：
①文本不容易描述的时候，考虑用图片，图片上要标准清晰视觉焦点。
②有些概念不容易描述的时候，可以先构建一个场景或例子，避开概念，帮助用户理解/带入我们说的事情。
如想要找到那些上报过路况的用户，但是很多用户分不清上报路况（事故、封路之类的）和反馈错误（新增地点，道路等），所以不要直接问用户有没有上报过路况，可以先问用户向地图反馈过哪些类型的问题，然后针对那些选择了路况类型的用户提问。
③有些问题形式较新颖，比如排序题，滑动条等。可以设计一些辅助题目帮助用户熟悉填答方式。
④如果有较长的题干，通过颜色突出重点词，引导用户的视觉焦点并防止阅读疲劳。
2.3 自检&审核
问卷编写既考验逻辑思维又考验文学功底，实在是很多细节要打磨。所以问卷设计好之后，自己要一遍遍的调整，并请其他同事帮忙审核。我在自检或审核问卷时，主要会注意以下细节：
1. 检查有无遗漏题目（比如设置了抽奖，记着留下用户的联系方式或账号，有无设置测谎题目等）
2. 检查逻辑跳转，该隐藏的题目是否隐藏了（防止没体验过的用户遇到无法回答的问题）
3. 需要用户回忆的，选项是否需要“记不清了”（避免用户忘记了瞎选）
4. 没有穷举的选项是否设置了“其他”（避免没有用户的选项，只能瞎选）
5. 应该互斥的选项是否设置了互斥（比如“以上均无”选项与其他项互斥）
6. 设置的选项之间是是否有交叉（防止选项交叉，导致用户没法选）
7. 填空题目是否设置了验证（如手机号、填数字要明确单位，如果有必要使用例子说明）
8. 检查用词是否太“术语”，对用户而言有没有歧义（避免用户理解歧义）
9. 检查单选题目是否有单一答案，区分”最主要“和”主要“的差异（前者是单选、后者是多选）
10. 慎用“排序”等高级题目（因为用户的认知成本太高，可能导致脏数据）
11. 检查选项是否需要随机（避免顺序效应）
此外还有错别字、语气词、标点符号等等……
2.4 预投放
当问卷通过了自检和审核就可以投放了，如果有方式，最好做一轮预投放，看一下回收率和完成率，在真实用户那里检验一遍是否还有漏洞。
问卷是成熟的调研方式，应用在各行各业，问卷调研的编制是非常大的命题，我仅整理了手机app的调研思路，且以to C 的产品为主，冰山一角。
文/乔北