做在线问卷调研时应该注意的问题
在线问卷往往被认为是用户研究的方法中最简单、省事的方法,因而有些至关重要的细节常常被忽略。下面分享一下我的个人经验:
一、你能收到足够多数量的问卷么?
一说到要做在线问卷,很多人直接就想到问题设计了,确实问题设计是门学问,但是往往没人分析在线问卷的可行性。说的直接点,你能在资源允许的情况下收到足够的问卷么?很多网站一些重要页面的位置都很抢手,要想放个问卷的入口,最好要自己心里有数。比如,问卷入口占地位置,大小,占用时间。如果资源方告诉你,我在页面的底部可以给你个放一个调研问卷的入口,只能给你放1个月的时间,你能预估一下能回收多少问卷么,预估问卷的数量是否足够让你分析出想要的数据呢?这时候你需要有一个重要的指标:页面每一个万个PV你能回收多少问卷。当然如果以前做过类似统计,相信你心里一定有谱。肯定有人会问了,如果我以前没在这个页面做过在线问卷,我怎么能预见到问卷的回收情况呀?在这里,我列举了一些调研的问卷回复情况,可以供大家参考一下。



就我个人的经验而言,一般情况下问卷的回收情况会在1-5个/万PV之间。当然网站类型不同,页面的功能不同,调研入口的样式和位置等因素的不同,都会影响问卷的回收情况。大家最好每次做完调研后都统计一下不同页面不同调研的回收情况,这样以后再做类似的调研可以很容易预估出问卷的回收情况:
问卷回收数=每天页面PV ×投放天数×预估问卷回收情况(每一个万个PV能回收多少问卷)
二、你是否能有足够多的投放时间?
记得以前我们曾经做过一个在线问卷:问用户某项功能是否满足了他们的需求。结果出现了令人啼笑皆非的结果。在调研问题和入口基本不变的情况下,第一次的调研中,70%用户认为该功能满足了他们的需求,而第二次调研只有30%用户认为该功能满足了他们的需求。两次问卷的填写数量都有上万份,每次投放的时间在两周左右。这两个调研的时间间隔很近,网站整体的用户并没有发生变化。 因此,建议对于重要页面和功能的问卷要有一定时间积累,最好在一个月以上。不同网站的不同用户访问网站都有一定周期的,在投放问卷时最好考虑一下,确保你的问卷在目标用户人群中有足够量的曝光。
三、你是否细分了回答问卷的用户?
不同的用户对于同一问题的答案会有不同。比如,在询问某些功能是否满足用户的需求时,你不要忘了问那些填写问卷的用户是否使用过这个功能。无论是网站还是其他产品或者服务。总会有某些功能只有一部分用户使用,这些用户会认为该功能有用。但是,有些用户会对没有使用过的功能发表意见,而他们大多会认为那个功能没什么用。如果你的在线问卷恰恰由这些用户填写,而你又没有区分填写在线问卷的用户到底用过没有用这个功能。那么,你很可能会在分析错误的数据后,做出错误的决策,去掉或者弱化该功能。
四、别忘了我们还有cookie
利用cookie,我们不止可以防止“某些活跃用户”重复提交的问卷。我们还可以利用cookie自动记录下用户的相关信息,帮助你分析数据。例如,在调研网站的搜索功能时,记录会员ID,访问过的站内URL,搜索关键词等。如果发现某个用户给你网站的搜索功能留了个很低的评价,那么通过会员ID,你可以很容易知道,填写问卷的家伙是什么类型的用户。他访问过的URL和搜索关键词可以帮你还原用户使用搜索功能时遇到的抓狂情景: 也许用户看到的搜索结果和关键词不相关,或者搜索结果太少,甚至没有搜索结果。
五、别偷懒,每天跟踪数据
做在线的问卷调研,并不意味着把问卷放到网上就不用管了。最好在问卷里加上访问统计代码。然后,看看每天到底有多少用户打开了问卷,有多少用户提交了完整的问卷,有多少人没填写完,填写问卷的人都来自哪里。千万不要以为这是多此一举。因为通过这些数据的分析你可以提前发现很多问题。这种事情我就遇到过。记得有一次某个调研的在线问卷发布了,我第二天看数据发现,打开问卷的人寥寥可数,并且这次调研主要针对的是国外用户,结果发现访问问卷的用户ip都是来自国内。于是,我马上和相关的技术人员沟通,结果发现在部署在线问卷的时候,有两个美国的服务器没有部署上。汗,还是每天像照看菜园子一样照看一下你的问卷吧。
专业,帮您转载到6351
为什么第二次只有30%的用户认为满足了需求?同样时常、相似样本容量,为什么反而第二次的低呢?
给详解下?
我觉得主要原因是问卷投放时间相比用户的访问周期有些短。做问卷调研的网站属于外贸型B2B网站,而调研的功能是买家使用的功能。外贸网站买家的访问周期(其实就是采购周期)比一般网站要长很多,少则一个月来一次,多则半年、一年来一次。而两次调研的时间仅仅有两周,虽然样本数量已经过万,但就像我说的那样,调研时间太短导致调研入口并没有在目标用户中有足够量的曝光,由此造成了前后两次调研结果产生的比较大的偏差。
我们在再说得通俗点。现在做两次调研,研究超市的购物体验是否好。一次调研选在周五下午午3点-4点,另一次调研选周五晚上在6-7点。结果下午3-4点的用户好多都是退休人士,超市里各种商品一应俱全,人不多,音乐也比较悦耳,结帐也快。结果到了晚上,超市里都是刚下班的。到处是人,乱得有点像集贸市场,音乐也淹没在喧嚣声中,很多促销商品被抢购一空,来晚的人就别想了。结帐的队伍排得老长。去领赠品的用户把服务台附近的出口堵得水泄不通。相信在两次调研时长和样本数量也差不的情况下,结果还是会有很大偏差的。
*^^*
所以根据你这个超市的举例来说,两次问卷投放时间针对的用户群体根本是不同的,那么有没有办法针对细分后的用户群再做统计呢?结果还相同么?^^
如果在做调研的时候,收集了可以细分用户的数据,访问时间,国家,用户ID(可以用来确定是类型的用户)等等,由此得到细分后的数据,当然很容易对细分后的用户群再做统计,而且对产品和服务的改进是比较有价值的。但是很可能这些数据在做调研计划时就没考虑到,或者由于一些技术的限制无法收集到,那么就无法对数据进行有效的解释了。
至于结果是否相同。我觉得已经不那么重要了,因为你已经可以根据细分数据得到更有用的信息。比如,你可以知道前第二次调研30%这个数字产生的原因,和需要采取的行动。
@呆聋瞎
你这个周五的例子很有代表性。但是文章里提到的调研都是为期2周的。2周算一个不短的持续时间了,70%和30%这个反差大得我觉得很惊人了。
其实,2周对于一般的网站确实不算短了,但是对于上面例子中B2B 外贸网站买家的访问周期相比(少则一个月来一次,多则半年、一年来一次)并不算长,由此产生的数据偏差也比较大。做调研和搞投资差不多,并不是每次调研都能得到比较有用(甚至是有效)的数据。我们能做的是尽量在做调研计划是就考虑到诸多因素、争取足够的资源和规避可能的风险,然后在执行过程中坚持跟踪数据,并在分析数据时识别和提出无效数据。
好文,推荐到6351.com
做在线问卷调研时应该注意的问题
(http://www.6351.com/viewthread.php?tid=45929&fromuid=30422 )
这个文章写得好,清楚又实用。
互联网的调研,跟传统调研,有一个很大的优势就是,互联网有很多行为数据(传统行业的这块数据是缺失的)。所以很顶第四点–我们还有cookie。
尽可能的把更多的行为数据拉出来分析,将调研更多的做为补充非行为数据(如意愿、需求、用户背景等非线上数据)。这样,就可以看到更全面、真实的用户声音了。
好文!非常实用!