数据思维课.pdf

宣明栋数据思维课 I 宣明栋数据思维课宣明栋数据思维课 目录 发刊词.1 发刊词|你有没有数据时代的通行证？.1 导论.18 01|导论：数据思维的三个常见误解.18 对数据思维的三个误解.18 高水平的数据思维什么样？.20 三个重要启发.22 划重点.24 第一模块.37 02|转型：如何培养数据敏感度？.37 方法一：量转型.37 方法二：量定义.39 方法三：对应值.41 划重点.43 03|背景：为什么孤立的数据没有意义？.56 背景不同，意义不同.56 方向一：理解事情的属性.58 方向二：理解事情的相对情况.60 宣明栋数据思维课 II 方向三：理解当事人的意图.60 划重点.62 04|推理：怎么发现数据隐藏的信息？.75 挖掘隐藏信息的经典案例.76 方法一：数学推断.77 方法二：逻辑推理.79 方法三：切换视角.80 划重点.82 05|差异：为什么同样的数据感受不一样？.92 方向一：人的生理倾向不同.93 方向二：人的文化属性不同.95 方向三：人的价值立场不同.96 三个因素互相纠缠.97 06|估算：为什么要敢于不精确？.110 敢于不精确，不能太离谱.111 两点额外收获.114 两个估算技巧.115 划重点.116 07|映射：数据究竟是什么？.128 数据是对现实世界的映射.129 数据需要元数据来说明.130 要把数据、数据容器和数据蕴含的信息分开.132 宣明栋数据思维课 III 划重点.135 第二模块.137 08|类型：为什么要对数据区别对待？.137 数据有哪些类型？.140 了解数据类型的作用.143 思考题.144 划重点.145 09|测量：如何定量地把握一个事物.157 测量的目标是什么？.158 测量该怎么做？.159 怎么保证测量的就是你想测量的？.161 划重点.163 10|抽样：怎么确保样本能推断总体？.169 必须使用概率样本.170 根据需求确定样本量.172 非概率样本应对复杂情况.174 抽样结果是个有限制的范围.175 划重点.176 11|问卷：为什么说含金量最高的是操作化？.185 问卷的核心是问，而不是卷.186 问卷的含金量在概念的操作化.187 问题必须让答题者准确理解.188 宣明栋数据思维课 IV 你得到什么取决于你怎么问.189 只有操作化才能打败操作化.191 划重点.192 12|实验：怎么定量地确定因果关系？.199 实验的过程.199 怎么确保实验可靠？.200 两个经典的实验案例.204 思考题.205 划重点.206 13|大数据：到底有什么不一样？.218 大数据对传统的冲击.219 大数据的优势.221 使用大数据时要避开的坑.222 划重点.225 第三模块.237 14|表征：如何确定你到底是谁？.237 识别挑战，反思认知.237 根据信息调整表征方向.239 用数据表征和解决问题.240 划重点.243 15|分类：谁是他？谁是我？.249 按照量的标准分类.249 宣明栋数据思维课 V 组内差异小，组间差异大.250 分类的结果是概率性的.252 把数据和现实世界连接.253 划重点.255 16|分解：究竟谁对你影响最大？.263 什么是分解？.264 因子分解方法.265 如何进行分解？.267 划重点.270 17|因果：如何缓解反事实难题？.277 因果关系成立的必要条件.278 第二，两个变量之间有先后。.279 第三，两个变量之间的关系不被第三个变量解释。279 反事实难题.280 辛普森悖论.282 划重点.283 第四模块.294 18|行动：如何用数据指导决策？.294 如何理解你面对的挑战？.295 如何搭建决策模型？.297 如何找到需要的数据？.299 划重点.301 宣明栋数据思维课 VI 19|可视化：如何塑造受众的感觉？.312 数据可视化必须基于数字.313 信息图是一种间接方式.314 数据驱动的可视化.315 如何进行数据可视化？.316 数据可视化是一个探索工具.318 划重点.319 20|误导：怎样识别数据中的认知陷阱？.328 操纵数据的产生.331 划重点.334 结语.342 21|结语：数据思维背后的三个基本信念.342 理由一：世界是量的，而不是质的.343 理由二：只有量的竞争才能达成共识.344 理由三：定量是唯一可信赖的方法.347 划重点.348 宣明栋数据思维课 1 发刊词发刊词 发刊词发刊词|你有没有数据时代的通行证？你有没有数据时代的通行证？你好，欢迎来到数据思维课。我是宣明栋。即使你不是一个直接跟数字打交道的人，那么我猜，这几年你也会有数据焦虑。我们现在妥妥的已经进入了数据时代。所有一流的互联网公司，无一例外的都强调自己的数据能力；而所有一流的传统企业，无一例外，现在最重要的战略就是数字化转型。各种刷屏文章里，跟数据有关的新词层出不穷，最新一波开始说数字原生、通用 AI、机器认知等等了，统统不明觉厉。这种焦虑之下，我听说很多家庭主妇都报名去上 Python 培训班了。其实，对于普通人来说，大可不必，比学习数据知识和技能更重要的，是拥有数据思维。我为什么敢这么说呢？给你讲个故事：如果你的文学品味到了一定的级别，你看红楼梦后 40 回，即使不像张爱玲那样完全读不下去，也能知道和前 80 回不是一个人写的，水平完全不在一个档次。宣明栋数据思维课 2 但是，上世纪八十年代，有一个美国研究者发表了一篇论文，用统计学的方法得出结论，120 回的红楼梦就是一个人写的。听上去很厉害是不是？但当时，中国国内有个数学系的大学生叫陈大康，读了论文原文，“发现有几个要害处难以令人信服，其中包括母体与样本的设定，以及统计时只从红楼梦中抽取了 6 万字，检验的指标也只有 14 个。”因此，他对结论非常不服。他并不是质疑计算机，而是对论文的研究设想和操作程序有不同看法 1。接下来，陈大康就手工做统计。那时候是八十年代，做数据远远没有今天这样方便。72 万字的红楼梦，他数了上百遍，获得了约 2 万个数据。最终得到的结论是，前 80 回和后 40 回语言风格有明显差异，作者肯定是两个人，而不是一个人。这下，我们这些有品味的红楼迷可以长舒一口气了。张爱玲九泉之下有知，也会发来贺电。从这个故事里，我得到了什么启发呢？有两点。第一，数据不会被观点打败，数据只能被数据打败。人家拿数据得出的结论，跟你的直觉再对不上，你心里再不服气，想反驳，也必须拿数据说话。宣明栋数据思维课 3 第二，比数据技术更重要的是拥有数据思维。要知道，大学生陈大康做研究，数据采集和处理全靠手动，那时候别说 Python，连 Excel 都没发明出来呢，人家照样提出问题、解决问题。这才是一个真正懂数据的人。如果说陈大康手动研究红楼梦，还只是数据驱动学术研究的个案，相信今天你能感觉得到，数据在我们的工作和生活中，已经成了空气和水一样的存在。你是不是感觉到，手机地图估计你的行程时间越来越准；今年“双十一”，宝贝的送达时间越来越快；结婚登记之类要亲自到场的事项，越来越多地要通过 App 预约；提取公积金之类不需要亲自到场的事项，越来越多地可以线上自助所有的业务都越来越有套路，所有的平台都越来越比你更懂你，所有的甲方都越来越要求你提供数据服务，而所有的老板也都要求你提供数据洞察。这样的时代，有数据思维，一切都是资源；没有数据思维，到处都是陷阱。身处数据时代，自由行走江湖的本领，必须包括数据思维。有了数据思维，就能提出问题，形成解决问题的思路，然后利用数据服务或者与数据专家合作，最终解决问题。但是，数据科学的知识非常庞大，很多技术非常前沿，普通人短期之内学不全，也学不会。所以，对于普通人来说，更重要的是你要有跟数据专家对话的能力。宣明栋数据思维课 4 说到此处，我必须再讲一个故事。这个故事可是亲历者告诉我的：故事的主人公是一个中国小女生，我们就叫她 Helen 吧。Helen 入职了一家全球著名的互联网企业的中国办事处，岗位是人事招聘助理。工作了一段时间之后，Helen 非常沮丧。她有 KPI 压力，要提供足够数量的合格应聘者，但是任务总完不成。难点在于，评价应聘者没有什么标准，这个面试官是这么认为，那个面试官是那么认为，把 Helen 夹在当中，到底听谁的呢？于是，Helen 就找到人力主管抱怨。主管反问，你有什么解决方案吗？没想到 Helen 说，咱们公司每年有一万多人的招聘，每个应聘者平均有 7 个面试官面试，因此，每年就有 7 万条面试评价记录。这些年也积累了几十万条记录了。从这些记录当中不能做点什么，把评价标准化吗？主管说，好啊，我们找程序员哥哥去说一下吧。程序员哥哥真的就把问题给解决了，从此，Helen 就过上了幸福的生活。Helen 使用了什么数据挖掘的术语了吗？没有。Helen 提出了什么模式识别之类的方法了吗？也没有。但是 Helen 生动地说明了我们这里的主题，普通人数据思维的精彩应用提出问题，挖掘资源，开展协作，推动闭环。这就是数据思维。这才是数据时代最重要的能力。这才是在数据时代自由行走四方的通行证。宣明栋数据思维课 5 虽然数据思维如此重要，但市面上却没有称心满意的解决方案。绝大部分讲数据思维的课程都是给专门干数据的人的，讲的都是具体的数据技能，很少讲相关的认知。咱们普通人，反而被挡在了通往数据世界的门外。于是我主动请缨，来开发得到这门数据思维的通识课。做个自我介绍。我是宣明栋，得到品控的负责人。为什么我敢开发这门课呢？有这么几个理由：首先，我有数据相关的基本训练。我毕业于北京大学社会学系。如果你了解一点社会学就会知道，定量研究是这门学科最重要的研究方法，调查、抽样、概率、统计是我早在 30 多年前就学习使用的工作方法。1992 年，我又去美国学习了一年社会人口学，包括当时最前沿的统计分析技术。那时候，天天泡在实验室，用 SAS 程序让大型机跑数据。数据量都是超亿级规模的，放在今天，也算大数据吧。不一样的是，当时计算结果都不能在实验室打印出来，要跑到挺远的学校主机房去取。另外，我的第一份长达 8 年的工作是在国家计生委做政策和法规研究。人口工作嘛，整天都会跟数据打交道。后来我去了中央电视台，做了很多年的电视节目。再后来，离开一线，去做管理工作。电视台的管理，最重要的就是收视率。这样，我又重新跟数据打起了交道。阅历上的积累，让我更深刻地理解了真实世界和数据世界的互动关系。宣明栋数据思维课 6 三十多年的学习和工作经验，让我有基础，有实践，还有阅历。你要是听过罗胖 2018 年的跨年演讲，还会知道，我就是那个“驯化抖音”的人。当然，那只是普通人与算法互动的游戏而已。对新事物，我保持着旺盛的学习热情。应该说，我不是专业干数据的，我最多的位置是站在决策者和数据分析师之间，所以，我天然就是站在你这一边的。我知道咱们普通人面对数据世界的困惑和难点，我也学习了数据分析师那一头的工作思路。而且，我会把搭建得到品控体系、开发一系列通识课程的心法用在这门课里。所以，说句不吹牛的话，我给自己订了个目标：不用公式和图表，在不讲具体的数据技能的前提下，帮更多人提高数据思维。课程里，我会从感知数据、收集数据、理解数据、操纵数据几个方面带你入门。以后人家再说变量、问卷、元数据、可视化之类的专业名词，相信你也完全能理解。如果你的工作会跟数据打交道，那这门课程能帮助你获得跟数据工作者对话的能力，下次看报表、提需求就心明眼亮了。当然，如果你是直接做数据工作的，我也建议你听听这门课。如何把你的数据技能跟真实世界的工作需求对接上，怎么跟数据小白解释你的工作原理和思路，这门课也能帮到你。宣明栋数据思维课 7 最后，还要感谢为课程内容把关的刘嘉老师，他是南京大学的计算机副教授，也是得到上概率论课程的主理人。当然，如果我这门课里出现了知识错误，是我负责，与刘老师无关。你要是发现了，请及时指出来，我及时改正。还记得商业评论家吴伯凡老师的棒喝吗“在这个时代，你是要当算法，还是要当数据？”如果你的答案是前者，那来吧，加入这门课程的学习，拿走一张进入数据世界的通行证。参考资料 1 案例来源于荣国府里的经济帐序，作者陈大康。宣明栋数据思维课 8 宣明栋数据思维课 9 用户留言 刘嘉 80 赞 好吧，有幸参与这门课的一些案例数据讨论的过程中，除了自己获得的学习和启发之外还有一个小小的兴奋点在于很多得到老师们都有过被宣宣总编折磨的死去活来的经验，（我的课某一讲被宣老师打回去改了 18 稿）。终于，终于，终于，这一次稍微为得到老师们出了口气，虽然就只有几口 12 月 2 日 作者回复 感谢刘老师 12 月 3 日 李奇亮 34 赞 嗷嗷哦啊哦哦。我们得到大学“京机数据实验室”的 20 号人，宣明栋数据思维课 10 以我打头，先买下。看看课程是否适合我们所有人。今天早上起来就学习。觉得合适，我们就团购 10 份。顺带一问：是否有宣宣老师直播送见面咨询（类似汪老师的 mot 课）的机会？如果有，我们把团购留在直播时候，说不定 也许能抢到见面咨询呢？12 月 2 日 作者回复 会有直播的 12 月 2 日 little shrimp 28 赞 我就是家庭主妇报名上 python 12 月 2 日 作者回复 送你上墙 12 月 3 日 伪装 26 赞 说到 Python，我想问一下老师，如果只有定期、偶尔的数据处理工作，这个有必要学习吗？当然这是从学以致用的角度出发宣明栋数据思维课 11 问的，如果是为了提升自身竞争力，这个问题是没有什么好问的。12 月 2 日 作者回复 如果有精力，可学可不学的，都可以学一下，不知道会发生什么呢。12 月 2 日 风雨潇潇 20 赞 陈大康后来根据自己的统计数据写了一本研究红学的专著荣府的经济账，人民文学出版社出版的，挺有意思。12 月 2 日 作者回复 发刊词的案例就来源于这本书，推荐 12 月 2 日 雨萱 70 赞 数据不会被观点打败，数据只能被数据打败。比数据技术更重要的是拥有数据思维。多年前，刚到采购部就用各种数据把科室管理起来，就有人说我对数据敏感。当时很奇怪，宣明栋数据思维课 12 觉得自己读书的时候数学并不突出啊，这从何说起？后来发现自己的确对数据很敏感，听了这门课后，觉得这门课可以给自己的一个总结和提升 12 月 2 日 左星星 61 赞 宣老师在发刊词里把数据思维分成了，感知数据，收集数据，理解数据，操纵数据 在我看来，对于一个普通人，感知数据和理解数据是最重要的，感知数据就是能感受到数据在生活中的存在，具体来说，就是要有数字的敏感度，要有量化思维 这就好比你走进一个菜市场之前，对一斤肉，一斤大米，大概多少钱，心里有一个概念，这样就不至于在商贩喊出一个价位时，感到茫然失措 理解数据就是当一堆数据出现在你面前的时候，你能知道这些数据意味着什么，比如国家每个季度会发布宏观经济数据，对这些数据有基本的理解，能让我们对生活的体感更强，就好像鱼在水中游，能感受到水的温度 收集数据看上去是数据分析师们的工作，但是其实在现实生活中，我们也可以做好自己的数据收集工作，比如很多人都习惯于每天记账，每月汇总，这就可以得到每月开销数据，我习惯每天记录自己使用时间的情况，也有助于提高工作和生活的效率 操纵数据，在我看来，是数商在最高维度的体现，包括宣明栋数据思维课 13 让数据指导自己决策，和识别数据中存在的陷阱，只有长期培养自己的数据思维，才能做数据的朋友 12 月 2 日 李倩 54 赞 一个行走的案例库是怎么做课的？就是在上线前一天，发刊词里还撤换了一个案例，一个本土的 HR 小姐姐，打败了著名的萨利机长，为的只是让你更顺畅地理解数据思维的妙用。每个人都用得上的思维工具课，而且非常有趣，五星推荐！12 月 2 日 江云涛 47 赞 我每年给会员的信，开始就列出一系列数学，用数据说话又直观又有说服力。12 月 2 日 桃不甜 27 赞 作为一个因为看不懂数据每天气得揪头发的笨蛋，我冲了！12 月 2 日 宣明栋数据思维课 14 林骥 22 赞 我做了一个 Excel 表格，每天记录自己的时间花销，包括起止时间、事件记录、热爱程度，于是我就有了自己的数据库，我用这些数据，让机器去学习训练算法，并不断优化调整算法的参数。我相信长期的价值，时间越长，事件记录数据越多，就能让自己变得越好。12 月 2 日 雪莲 19 赞 老师好！午夜时分听发刊词，还没听完立刻下单 因为老师举列红楼梦，我太有感触了，初读红楼梦时，没有经历过感情，等再读红楼梦读了差不多第十遍的时候，后四十回就读不下去了，就从宝玉去学堂，前八十回辞黛玉和后四十回辞黛玉的对比中发现，写的牵强，完全没有了前八十回中宝玉的灵，宝玉的情，宝玉的性情无论从语言风格艺术修养情感敏锐度来说，都不是一个人 由此想到艺术修养天份极高的张爱玲发出的那句感叹了 在今天这个到处都是大数据话题的当下，掌握一些数据思维大数据话题，是必须的了，何况老师还说了：比数据技术更重要的是拥有数据思维。所以更需要学习宣明栋数据思维课 15 一下啦！12 月 3 日 清心品淡茶 18 赞 来着了。儿子读研的时候，两个专业都和数据有关（大数据、数据管理），去年参加工作时，我问他具体做什么，儿子的介绍听得我云里雾里，简直就不在一个频道。学习学习 12 月 3 日 阿泽 18 赞 第一次对数据分析产生兴趣，来源于一部纪录片统计的乐趣，片中提到：我们生活的世界中，充斥着各式各样、混乱无序的数字，想要深刻正确地理解数据背后的含义，就得用到一个强大的科学分支，那就是统计学 之后开始逐渐了解数据分析，确实正如宣老师所说：拥有数据思维比学会数据技术更重要。这应该也是这个领域的一个共识，但却有很多人不知道 所以，单单从这一点出发，这门课就值得拿下，不说了，开始学习了！12 月 2 日 宣明栋数据思维课 16 伪装 15 赞 看到“抖音驯化”，我想说我也把我的一个抖音账号驯化了一下，现在我的那个抖音号里几乎全部都是知识、新闻和影视类的视频，不过因为刷起来太嗨，看的久了容易累，搞笑类的东西给我推荐的也挺多。不过我感觉自己这种抖音使用方式明显有浪费时间的嫌疑，可能是因为太过碎片化，也可能是无用的信息量冲击，导致我刷得越久，就越是不知道自己看了些什么，若是用相同的时间来泡得到，很可能会收获几条很不错的知识点。现在我有了一个想法，那就是用抖音来验证我在得到学到的知识点，看看会有什么样的化学反应。12 月 2 日 高军 61221809 13 赞 咿 俺也有票了 你敢不让我进 12 月 3 日 支羽丰 Aiden 13 赞 对于不同的人，数据的价值也是不同的，即便有了数据，如何宣明栋数据思维课 17 理解数据，如何使用数据，也存在天差地别。因此，对于现代人来说，数据思维是必备的，无时不刻，随时随地。12 月 2 日 卫燕 10 赞 对于普通人来说，大可不必，比学习数据知识和技能更重要的，是拥有数据思维。12 月 2 日 作者回复 卫老师好！期待您的课程 12 月 3 日 邓玲 10 赞 我有一个小想法，如何用这个数据思维去研究一下手机壳呢？我打算在拼多多上开一个店卖手机壳 12 月 6 日 官官 9 赞 请问这门课有 PPT 吗？宣明栋数据思维课 18 12 月 2 日 作者回复 没有，一张图表都没有 导论导论 01|01|导论：数据思维的三个常见误解导论：数据思维的三个常见误解 你好，欢迎来到数据思维课。我是宣明栋。这一讲是课程的第一讲，我们要处理一个最重要的问题数据思维究竟是什么？对数据思维的三个误解对数据思维的三个误解 我先问你一个问题：这里有一组数字，1、2、3、4、5，它们的平均值是多少啊？你一定脱口而出，3。回答正确。问题是，这是数据思维吗？答案是，不是。这不是思维，而是人类先天携带的数字感。拜自然进化的福气，我们一出生大脑里就有了数字感。不需要谁教就知道，西瓜比芝麻大，不能捡了芝麻丢了西瓜；知道买一送一比什么都不送好；知道一个酒店有 100 间房，要隔离 150 人，就肯定有些房间不止会住一个人。虽然先天的数字感是获得数据思维的重要基础，但是它有时候也虽然先天的数字感是获得数据思维的重要基础，但是它有时候也不靠谱，会把我们带到沟里。不靠谱，会把我们带到沟里。比如在必胜客，很多人就觉得，两个 6 英寸的披萨和一个 12 英寸的披萨差不多大。但其实，你可宣明栋数据思维课 19 以算一下，大小差远了。既然先天的数字感不是数据思维，是不是后天学习到的本事才是呢？我们把任务升级一下，计算中国城市居民的平均收入。这可是十亿条规模的数据量，心算手算都不行了，必须动用数据处理工具。会用数学工具，这是不是数据思维呢？抱歉，这是技能，也不是思维。你一定会问，既然技能不算，那是不是我知道用求平均值这个方法能算出平均收入这件事是数据思维呢？很抱歉，这还不是思维，而是知识。这也不是，那么不是，到底什么是数据思维呢？要我说，数据思维是使用数据来提出问题和解决问题的能力。计算中国城市居民的平均收入，这是一个问题定义非常明确的任务，你只需要调动自己的知识和技能去完成这个任务就好。而数据思维，是针对问题的。设想一下，如果我们面临的任务并不明确，不是直接让你计算平均收入，而是一个大领导，就在电梯里问你：“咱们国家去年城市居民的收入状况什么样啊？”这是一个具体的问题，而且在电梯里，你肯定不能长篇大论，最好的方法就是用一个指标明晰地回答问题。一个有数据思维的人就应该这么思考：平均值反映的是一组数字的集中情况。但是收入这件事，各人之间的差别太大了。有人年收入过一亿，有人年收入还不到一万。过亿的人少，不到一万的人多，所以用平均值就不能反映全貌。宣明栋数据思维课 20 如果要反映全貌，中位数就更合适。中位数是指一组数字的中间位置。比如中位数是 2 万元，那就意味着中国城市居民有一半年收入比 2 万高，有一半比 2 万低。所以，如果你能脱口而出“用中位数表示”，那就是一个特别有数据思维的回答。这才是数据思维，使用数据来提出问题和解决问题。高水平的数据思维什么样？高水平的数据思维什么样？下面讲一个真实的故事，看看高水平的数据思维是什么样子的。美国佛罗里达州的一个县有一家报纸，名字叫太阳哨兵报，发行量不足 23 万份。报社里有个小记者，叫萨莉克斯汀。我们就叫她萨莉吧 1。在 2011 年的时候，萨莉注意到一个新闻当地一名退休警察超速行驶，造成了恶性交通事故。萨莉查阅了近 10 年的记录，发现这样的事情不少。于是她意识到，警察超速行驶这件事，很可能是一个非常值得关注的社会问题。但是，怎么证实这件事呢？采访？不可能。就算有些警察愿意告诉你一些情况，那也只是个例，不是事情的全貌。抓现行？也不可能。萨莉真的尝试过跟踪警车，抱着测速雷达在高速公路旁边蹲守，一发现有车辆超速，立刻驱车追赶。但很快发现，这根本行不通。第一，超速的不一定是警车，追了半天，发现不是警车就白追了。第二，就算运气好，抓到了警车，你也无权截停，仅仅有影像证据，并不充分，也不能服人。宣明栋数据思维课 21 萨莉最后想到了解决办法申请数据公开。因为警车是公务用车，根据美国法律，公民有权了解其使用状态。因此，她获得了110 万条数据。这些数据是当地警车通过不同高速公路收费站的原始记录。这就好办了。警车通过收费站都有时间记录，这段路程的行驶时间就知道了。而收费站之间的距离是已知的，两个数据一除，速度就出来了。有没有超速，不就很清楚了吗？在专业数据分析人员的帮助下，萨莉用了 3 个月的时间处理这些数据。得到了什么结果呢？她发现，在 13 个月里，当地 3900 辆警车一共有 5100 宗超速事件，也就是说，警车超速天天发生。而且时间记录表明，绝大部分超速都发生在上下班时间和上下班途中，这说明警察超速并不是为了执行公务。2012 年 2 月，萨莉发表了系列报道。在大量数据和调查访谈的基础上，萨莉得出结论，因为工作需要和警察的特权意识，开快车成了警察群体的普遍习惯，即使下班后身着便服，车速也没能降下来。报道一见报，舆论哗然。一些坐实违纪的警察陆续受到处理。48名州高速公路巡警被处以警告或者被勒令纪律反省。44 名地方刑警被剥夺开车上下班的权利。迈阿密市有 38 名警察被处理，其中 1 名开除，10 名停发工资。萨莉也因为这个系列报道，获得了 2013 年度的普利策新闻奖。宣明栋数据思维课 22 这是美国新闻传播界最重要的奖项。三个重要启发三个重要启发 这个故事告诉我们什么呢？第一，数据思维不同于数据知识和数据技能，数据思维是用数据第一，数据思维不同于数据知识和数据技能，数据思维是用数据提出问题和找到解决问题的办法。提出问题和找到解决问题的办法。萨莉记者的数据技能是不够的，我猜她肯定不会 Python，不会SAS，不会清洗数据，也不会校验数据。否则，110 万条数据并不是一个了不得的规模，一般的数据分析师处理这类简单任务也都是小 case，但萨莉自己处理不了。但是，萨莉建立了数据分析的框架，知道怎么利用数据产生她需要的结果，并且这些结果能完美地契合她要讲述的新闻故事。这就是数据思维。第二，数据思维发第二，数据思维发挥作用，需要与其他能力组合。挥作用，需要与其他能力组合。萨莉的新闻敏感度、问题意识、行动能力，都不能归结为数据思维，这些都是与数据思维不同的能力和品质。它们与数据思维组合起来，才能完成一次高水平的新闻报道。这就是说，数据思维不是包打天下的大力丸，好像有了这个思维就可以自动站上浪潮之巅。但是，高水平的数据思维可以与其他能力互补和协同，形成 1+12 的整体效应，大幅提高思考问题和解决问题的能力。第三，数据思维是对数据知识和数据技能的认知。第三，数据思维是对数据知识和数据技能的认知。宣明栋数据思维课 23 这句话有点费解，我们慢慢梳理一下。一开始说了，数据思维是使用数据来提出问题和解决问题的能力，它与数据知识和数据技能不是一回事。但是，聪明的你一定会问：思考和解决问题，肯定又离不开知识和技能，这三者之间是什么关系呢？这是一个好问题。答案是，我们对掌握的数据知识和技能形成一些认知，这些认知就是数据思维，然后我们以这些认知为工具来思考问题、解决问题。举个例子，曾经有一位公司董事长在与协作公司的高层会议上热情澎湃地发言说：“我们双方是强强联合，不仅要做到 1 加 1，更要做到 1 乘 1。”1 乘 1 还是 1，而 1 加 1 等于 2，1 乘 1 并不比 1 加 1 大，为什么董事长会犯这么简单的错误呢？因为很多人都有“乘法总是变大”“除法总是变小”的观念，这种认知让他们如此使用数据，结果闹了笑话。我再举一个例子，假设我们需要监控一个 10 公里以外的设备的电源是否接通，你会怎么解决这个问题？是派人去定时巡查吗？这样做成本高，犯错的可能性也高。其实，你可以用一个联网的摄像头给显示电源接通的信号灯拍照片，然后把图像从网上传回来，用图像识别软件识别信号灯的情况，如果灯不亮就发出警报。为什么很多人想不到用图像的方法呢？因为在他们头脑中，收集数据的方法只局限于人工观测，想不到其他的方案。总之，我们是依据我们的认知来思考的。这些认知来自我们对自宣明栋数据思维课 24 己掌握的数据知识和数据技能的理解，我们会在不知不觉中被这些或明或暗的观念所限制。当然，如果认知升级，观念更新，就会发现新天地，也会产生解决问题的创意。请注意，数据知识和数据技能看起来好像是客观的，但对它们的理解、认知却是因人而异的。这就是每个人的数据思维水平相差很大的重要原因。最后，再说一点励志的鸡汤：萨莉是一名女记者。为什么强调她是女记者呢？为了向她学习。女生不要拿自己是女生做借口，说女性就是对数字无感，数学不好。看看人家萨莉，即使不会编程，照样做出了突出的成就。男生更应该像萨莉学习。就算你数学好，会编程，也不等于数据思维就高。获得数据思维是一个独立的任务。参考资料 1 案例源自图书数据之巅，作者涂子沛。宣明栋 搞清楚了究竟什么是数据思维，接下来就可以正式开始数据思维的训练了。下一讲开始，我们进入课程的第一模块如何感知数据？我是宣明栋，我们下一讲再见。划重点划重点 宣明栋数据思维课 25 1.数据思维就是使用数据来提出问题和解决问题的能力。数据思维就是使用数据来提出问题和解决问题的能力。2.数据思维的强弱，不基于先天的数字感，也不数据思维的强弱，不基于先天的数字感，也不基于你掌握多少基于你掌握多少数据技能和数据知识，而是基于你对数据技能和数据知识的认知。数据技能和数据知识，而是基于你对数据技能和数据知识的认知。3.数据知识和数据技能看起来是客观的，但对它们的理解、认知数据知识和数据技能看起来是客观的，但对它们的理解、认知却因人而异。这就是每个人的数据思维水平相差很大的重要原因。却因人而异。这就是每个人的数据思维水平相差很大的重要原因。用户留言 赵志豪 34 赞 本职非数据分析，也非人力资源，但是有一些爱好，今年 10 月长假，我问公司人力要了最近三年所有营销人员的得分数据，再根据这些员工的基本信息，比如：学历，年龄，婚姻状况，性别，工作年限等，得出了属于这家公司的员工能力数据分析报告。这是我第一次从 0 开始做数据分析，而在过程我得到最大的启发是，数据是任人装扮的姑娘，只要我愿意，而对方是个没有数据思维的人。同样一套数据在不造假的前提下，结论仍然可以任我操纵所以即便只是看数据分析报告，仍然需要优秀的数据思维 12 月 2 日 作者回复 首先为你躬身入局点赞！也说一下我的看法。如果你觉得“结论宣明栋数据思维课 26 仍然可以任我操纵”，那是你没有遇到竞争。建议你在心里设置一个听证会，或者想象有一个找你麻烦让你败诉的对方律师，再看看你得出的结论，你还相信吗？12 月 2 日 终身思考 12 赞 西医其实就是讲求的数据思维，精准定位，快速扫除问题；而中医就不是，讲求的是整体的流动。宣老师，虽然后面我猜测你应该也会分析到数据之间的联系，但我还是想知道数据思维锻炼下去会不会太注重量化，从而让人看事情比较割裂，或没有宏观意识？12 月 2 日 作者回复 哎呀我的观点可是只有通过量才能把握质呢。我在结语里会详细解释滴 12 月 2 日 朱兴兵 10 赞 数据的收集要尽可能的全，特别要真，分析变可以从空间、时间、类型等维度进行分析。宣明栋数据思维课 27 12 月 2 日 作者回复 收集数据的方法第二模块有系统讲解 12 月 2 日 黄进 9 赞 产课应问内自红，好课！12 月 2 日 作者回复 您该记得呢！12 月 3 日 小而雅 4 赞 宣老师您好，有个细节与您探讨:课程中有一句话说“平均值反映的是一组数据的集中情况.所以用平均值就不能反映数据的全貌”。但我的理解是“平均值”与一组数据中所有数据都有关系，这不刚好是反映了数据的全貌吗？您在那一段所表述的意思是否可以这样来考虑：领导提出的问题实际上是希望了解城市居民收入数据的集中情况。而平均值反映的是一组数字的总体平均水平，它容易受到极端值的影响。比如收入这件事，各人之间的差宣明栋数据思维课 28 别就很大，且有大概率出现偏大或偏小的极端数据，干扰对数据全貌的判断。而中位数是指一组数字的中间位置，不受数据极端值的影响，所以针对这个问题，采用中位数比用平均值更加合适。比如.12 月 6 日 作者回复 你理解的对。课文中的“平均值就不能反映全貌”，指的就是收入数据的全景特征（全貌），不是讨论抽象的平均值是否反映数据的全貌。12 月 7 日 雨萱 78 赞 三个重要启发 数据思维不同于数据知识和数据技能，数据思维是用数据提出问题和找到解决问题的办法。数据思维发挥作用，需要与其他能力组合。数据思维是对数据知识和数据技能的认知。到新公司工作一个多月，这是一个大公司，有很多独立的事业部，这也是一个小公司，因为我在一个刚成立的事业部里。这个大公司在临采的流程中，有两个价格审核员，设立的初衷是用于监督采购部门。我的看法是，公司要法治而不是人治，这人盯人的，那要产生多少浪费？！我的做法是，从数据入手，一看他们年采购金额；二看这些临采单价在正宣明栋数据思维课 29 常单价基础上浮动了多少；三看有没有从流程上解决问题的办法。12 月 3 日 左星星 62 赞 最近在学习熊逸讲透资治通鉴的课程，熊逸老师在答疑，为什么中国古人一直缺乏量化思维 或许是我们受到了传统思想 的影响，导致了无论从日常生活，还是工作，都习惯了 差不多就好，例如中餐烹饪里的盐，少许，直接导致了中餐无法标准化 在我看来，数据思维，需要调动大脑里的系统二，这其实是比较耗费能量的，在对数据思维形成一种 习惯之前，我们必须强迫自己把事情量化 昨天晚上学习万老师的精英日课，万老师说到他煮泡面的故事，其实泡面也有一个和不同温度开水相关的最佳浸泡时间，满足最佳浸泡时间，就能获得最佳的口感，如果有数据思维，又对生活有一点小小的追求，泡面也能让你有比以前更好的生活体验 由于工作的原因，我已经习惯了数据思维，甚至什么东西都想能否量化一下，我觉得宣老师这门课，对我最大的价值就是，如何建立一种更高级的数据认知，去过更有追求的生活 12 月 2 日 李宪永 宣明栋数据思维课 30 27 赞 数据思维是使用数据来提出问题和解决问题的能力。12 月 3 日 伪装 20 赞 数据是死的，只是一些按照某种记录标准记录下来的信息，可以关联到具体的人事物上。但是数据又是活的，只要针对记录标准进行再分类，或者简单的排列组合，就可以让数据舞动起来，向你展现各种鲜活甚至神奇的结果。而再分类和排列组合的能力就叫做“算法”，有了算法，数据才有用武之地。12 月 2 日 九把叉 方明 15 赞 根据这样的定义，我们每个人中学的时候就学过数据思维，那就是用代数来解决一个几何问题，可惜并不是每个人都熟练掌握了这种思维方式。比如说“左前方有个美女”，这不是数据思维；“十点钟方向有个美女”，这是数据思维。“您对我们的方案满意吗？”，这不是数据思维；“您给我们的方案打几分？”，这是数据思维。只有把对象量化为数据，才能用数据手段来解决。12 月 2 日 宣明栋数据思维课 31 爱玲孙 14 赞 数据思维是使用数据来提出问题和解决问题的能力。数据知识和数据技能是客观存在的，但是如何运用因人而异，随着数字化普及，拥有数据思维并不断迭代的人才会跟上时代的发展，用更高效率解决问题。我有个记账习惯，目前记了六年，自己的每一笔开支都可以追本溯源，渐渐都有了一个小数据库，每年自己看下数据分析总结，好处就是清晰明了，知道自己都消费在哪，分类，偏好，比例等，方便改进，优化，同时也会间接对消费观，理财观产生影响，如果本月消费数据偏离过高就要找原因或合理控制，保证尽量都能用到价值上。昨天 卫燕 12 赞 我们对掌握的数据知识和技能形成一些认知，这些认知就是数据思维，然后我们以这些认知为工具来思考问题、解决问题。12 月 2 日 有牌子的猫 11 赞 宣明栋数据思维课 32 一、对数据思维的三个误区 1.与生俱来的数字感不是数据思维 2.使用数学工具处理数据不是数据思维，这是一项技能 3.利用计算方法来处理数据也不是数据思维，这是一项知识。二、那数据思维是什么呢？数据思维是使用数据来提出问题和解决问题的能力。落脚点在提出问题和解决问题，数据则是辅助。三、数据思维发挥作用，需要与其他能力组合。比如敏感度、问题意识、它们与数据思维组合起来，才能发挥协同效应。四、数据知识和数据技能看起来好像是客观的，但对它们的理解、认知却是因人而异的。这就是每个人的数据思维水平相差很大的重要原因。12 月 2 日 三国一梦 9 赞 之前学习统计学的时候对很多简单概念都是记住它们是什么，以至于只会用，而不知道为什么要这样用，什么时候用，所以一段时间很快就忘了，包括后面学习具体的数据可视化和挖掘技术，让我感觉自己是一个工具人一样。我缺乏的是提出问题的能力，具体的分析技能毕竟都是工具，不然就会变成一个工具人。12 月 2 日 Roc Hang 9 赞 宣明栋数据思维课 33 本文最大收获是：对认知价值的重新认识。认知水平决定知识和技能的使用水平，认知也决定看待资源和利用资源的水平。难怪，得到上的老师同学们都在说：不断提高认知！谢谢宣老师在本文中认知价值的解说，醍醐灌顶！12 月 2 日 十二月要早四和晚八