牛津通识读本·统计学
Statistics: A Very Short Introduction
作者：David J. Hand ｜ 译者：H. J. Hsü
本书适合完全不了解统计学的小白获取一些初级认知。书中没有数理分析，但这些基础介绍对自学统计学也很有益处。 查看详情
通识作品
牛津通识·统计学




计算机时代的统计学（& 推荐阅读）
The actual magic comes from our statistical analysis team.
真正的魔力源自我们的统计分析团队。_Sam Alkhalaf
## 统计学改变了它的位置 在上述讨论中，我们发现了过拟合可能是一个问题。但没有给出解决方案，只是说有必要选择既不复杂也不简单的模型。对没有统计经验的人来说，这不是很有用的建议，因此需要更客观的方法。一种方法是交叉检验（cross-validation）。 我们已经看到，一般来说，随着模型复杂性的增加，它与已有数据的拟合优度会继续提高，但它与从相同分布中抽取的其他样本的拟合度（或其「样本外性能」）通常会先升再降。这里的「其他样本」代表了新的数据，而这是我们的兴趣所在。模型最佳拟合某些「其他样本」的数据似乎会给出适当复杂程度的模型。这就是解决问题的关键：我们应该使用一个样本来估计模型的参数，并使用另一个样本来评估其性能。 不幸的是，通常只有一份样本，因此，一种方法是（随机）将该样本分成两个子样本。一个子样本（训练或设计样本）用于参数估计，另一个子样本（验证样本）用于评估性能和选择模型。这就是交叉验证法。通常，为了解决用于参数估计的子样本不是完整的原始样本这一问题，通常会多次重复这个过程。也就是说，将原始样本随机分为两部分，使用一个子样本估计参数，另一个样本评估模型。对样本进行多次随机划分，重复操作。最后，对每次拆分的结果进行平均，就可以得出对未来可能表现的总体度量。 交叉验证是计算密集型方法的一个典例（很显然，多次重复计算）。此类方法的另一个典例就是自助法重采样（bootstrap resample）。Bootstrap方法有多种用途，一个重要作用是估计与复杂模型相关的不确定性；也就是说，如果我们抽取了不同的数据样本，可能期待模型有多大差异。Bootstrap方法的工作原理是，从原始样本中随机抽取与原始样本相同大小的子样本来进行工作（这意味着有些数据点将被多次使用）。将在这些子样本中构建与正在评估的模型形式相同的新模型。这就好像我们有了多个相同大小的样本，都来自原始分布，且每个样本都产生了一个估计模型。然后我们可以使用这些模型来调查，如果抽取了不同的样本，模型可能存在多大的差异。 关于计算机的力量如何改变了现代统计学，最引入注目的一个例子是计算密集型方法对贝叶斯推理的影响，参见第5章。要在实践中使用贝叶斯方法，必须计算分布的复杂函数（数学话：高维积分）。计算机可以让我们绕过这个问题。计算机没有从数学上评估分布，而是从中抽取大量的随机样本。可以从这些随机样本中估计分布的属性，就如使用样本均值来估计总体均值一样。这种马尔可夫链蒙特卡洛方法（Markov chain Monte Carlo methods）彻底改变了贝叶斯统计的应用，将理论上吸引人但实际操作有限的一套想法转变为强大的数据分析技术。 上一章还提及了可视化的重要性，但计算机已经将可视化拉到了一个新的维度。过去只有黑白的静态图像，但现在有彩色的动态图像。更重要的是，我们现在可以直接和图像进行交互。举个简单的例子，可以同时放置好几张图，每张图显示与对象关联的不同变量之间的关系，例如图6中的散点矩阵，但现在通过计算机链接这些图。在所有图中同时突出或以其他方式操作一组数据。其他工具允许动态地「飞越」高维数据空间，并以多种方式显示数据。 因为统计学的普适性，且计算机在此中的核心作用，所以并不奇怪人们开发出了诸多友好的统计软件包。其中一些软件包非常重要，甚至已成为某些应用领域的行业标准。但我们不应忘记，有效地应用统计工具需要谨慎地思考。事实上，在刚开始设计统计软件时，一些人担心这些工具会消除对统计学家的需求，因为「任何人都可以进行统计分析：只需要给计算机适当的指令」。然而，事实证明，情况恰恰相反。随着时间的推移，对统计学家的需求越来越大。这其中有几个原因。 原因之一是越来越多的数据被自动记录。在日常生活中，您每次在超市购物或交易时，交易的详细信息都会被自动存储下来；在自然科学中，数字仪器无需人工干预就可以记录物理和化学特征；在医院中，电子设备会自动监控患者，等等。我们面临着数据海洋，但需要统计技能来处理这个巨大的机会。 第二个原因是需要统计技能的新领域正在出现。生物信息学和基因科学正在通过实验和观察数据来解开人体的惊人复杂性，并且是基于统计推断的。对冲基金被描述为「建立在统计学上的行业」。它使用统计工具来模拟股票和其他价格指数的行为。 第三个原因是向计算机发出命令是一回事，但知道发出什么命令并理解结果则是另一回事。这当然不仅是选择适合的工具，然后让计算机完成剩下的工作。这需要统计专业知识和理解能力。对于业余爱好者来说，了解自己的极限，以及何时应寻求专业统计学家的建议是很重要的。遗憾的是，每周的媒体都报导一些超出他们理解范围的例证。 由于这些原因和其他因素，统计学正处于一个黄金时代。 现在，是时候结束这一简明读本了。我们已经看到了非常广泛的统计学疆域：它几乎应用于各行各业。我们也已经看到了一些统计方法：它所使用的复杂工具和程序。我们还看到，这是一门充满活力的学科，仍在不断发展。但最重要的是，我希望我已经讲明白了这点，基于深厚哲学基础的统计学是一门发现的艺术。现代统计学使我们能梳理出周边一切的奥秘，如开天眼窥红尘。 ## 推荐阅读 第一章【原书部分链接已失效，故删去】 - A. R. Jadad and M. W. Enkin, Randomised Controlled Trials: Questions, Answers and Musings, 2nd edn. (Malden, Massachusetts: Blackwell Publishing, 2007). - Joel Best, Damned Lies and Statistics: Untangling Numbers from the Media, Politicians, and Activists (Berkeley: University of California Press, 2001). - John Chambers, Greater or lesser statistics: a choice for future research, Statistics and Computing, 3 (1993): 18--24. - Helen Joyce, Beyond reasonable doubt, Plus Magazine (2002). - [[http://www.plus.maths.org/issue21/features/clark/index.html]{.underline}](http://www.plus.maths.org/issue21/features/clark/index.html). Accessed 14 July 2008. 第二章 - D. J. Hand, Information Generation: How Data Rule Our World (Oxford: Oneworld, 2007). - F. Daly, D. J. Hand, M. C. Jones, A. D. Lunn, and K. McConway, Elements of Statistics (Harlow: Addison-Wesley, 1995). 第三章 - S. Benvenga, Errors based on units of measure, The Lancet, 363 (2004): 1368. - T. L. Fine, Theories of Probability: An Examination of Foundations (New York: Academic Press, 1973). 第四章 - D. R. Cox, Principles of Statstical Inference (Cambridge: Cambridge University Press, 2006). - H. S. Migon and D. Gamerman, Statistical Inference: An Integrated Approach (London: Arnold, 1999). 第五章 - D. C. Montgomery, Design and Analysis of Experiments (New York: John Wiley and Sons, 2004). - L. Kish, Survey Sampling (New York: John Wiley and Sons, 1995). 第六章 - G. E. P. Box, Robustness in the strategy of scientific model building, technical report, Madison Mathematics Research Center, Wisconsin University, 1979. - E. Tufte, The Visual Display of Quantitative Information (Cheshire, CT: Graphics Press, 2001). - A. Unwin, M. Theus, and H. Hofmann, Graphics of Large Data Sets: Visualising a Million (New York: Springer-Verlag, 2006).