你真的能分析出你的用户吗？
数据分析的一个常见应用是将网站的用户特征发现出来，以期待更好的服务用户。但是真的将用户全部得到之后，会发现即便计算平均年龄都是一个问题，很可能更大量的用户是没有设置年龄或者明显错误的数据。一个可能的解决方法是计算有设置年龄的平均值，并不意味着这个值可以用来分析用户，因为这里依赖的一个假设很明显并不成立：填写年龄的用户的年龄分布与填写错误或者不填写的用户年龄分布一致。
即便真的得到了年龄的平均值也说明不了任何问题，由于没有比较对象，粗暴的说我们网站用户更加年轻是不成立的，很可能只是因为你成立的比较晚而已。而更重要的是，个体之间的差异远远大于种群之间的差异，这导致通过一两个数值是没有办法对用户群体进行画像的。比如说美国大选，大家就想到教育良好、大城市、移民选民主党，红脖子、工人农民、传统行业选共和党。这作为一个平均值的差异是毫无疑问的，但两个群体内部的差异很明显远大于群体之间的差异。
数据分析的一个方法是通过高维度切片的方式来进行更细致的画像和分类，然后作为老板会得到一个分析的非常好的报表，多少人然而这带来的问题是大量的用户会被多个群组所定义。
你真的能确认因果关系吗？
可能用户比较复杂，但是至少我们可以通过数据分析一下哪个功能带了更多的新用户吧。假定现在有一个线下的活动来吸引用户，上帝视角告诉我们效果不错，增长了5%的注册用户。那么问题来了，怎么在一个日变化超过10%，工作日和周末变化超过30%的曲线图里看到这个变化呢？这样子的线下活动由于是一次性的，通常很难在图表中直观显示，特别是线下活动很难添加追踪记号来判定用户来源。
当有第二个市场团队做了另外一个线上活动，这个问题就变得更加复杂了。假设这个市场团队放出了广告吸引了更多用户来访问，出现了50%的访问增长，而这些很可能有相当一部分来自于线下注册用户刚开手机时，看到的一些内容而刺激的增长。当两个活动产生相关性的时候，因果关系就很难判断得到。
你的分析真的能够很好的了解情况吗？
在我之前团队里，最臭名昭著的就是数据报表的监控，如果指标出现了超过30%的变动，就会触发警报，然后分析师需要搞清楚原因。于是，上百个报表每周触发数十个警报，几乎没有一个能够找到原因的，过上两三周就恢复了正常。有的也能找到原因，但通常无法归结到数据分析所期待的宏观原因上，常见的原因有：某个按钮变动了位置，某个按钮的Logging换了标签，产品代码里出了Bug，数据分析代码里出了Bug。很多这种变化实际上是产品部门自己可以预期的，而数据分析却是后知者，花费大量的精力得到了一个别人已经知道的结论。比较有效的一种数据分析可能是，伴随某新品发售带来的客户增长，这个可以被量化出来，但请注意这个代价。
而真正的问题，影响长远的分析，通常都是通过长期的趋势来体现出来的，很难是某天突然警报响了就可以得到答案的。真正有价值的分析，是分析你这个App为什么打不过竞争对手，然后通过若干指标来推出结论；或者是分析app现在的状况，可能的增长点。沉迷于若干指标很难得到有价值的信息。你的目的终究是让你的应用产生价值，而不是产生更多DAU，尽管这可能是实现价值的一个途径。
你的分析真的能够帮助决策吗？
很多时候的决策是试图用数据来证明决策的正确性，而不是用数据来产生决策，这也是数据分析师期望和实际的差别。这个主要原因是，所谓的数据驱动，并没有一个规定的范式，原本期待的是基于事实得到结论，但由于每个人主观性和多维度事实的客观性，这个事实的描述都是非常困难的，所以最终变成了，得到一个结论并进行数据支撑。
有一些决策是通过A/B测试来进行的，比如拿不定是XYZ中某个决策，通过在线测试来选择其中一个效果最好的。这是真正能帮助决策的分析，但局限通常在是选择橘子还是苹果，而不是橘子还是电动车。
