【FAQ】史上最乱统计学介绍（新人向）

01、统计学（数学）有用么？学了统计学（数学）买菜能便宜么？
答：一门学科有没有用不仅要看这门学科本身的内容，还要看对于学习这门学科的对象的目的。如果一个人立志于搬砖，那么不仅统计学（数学）没有用，识字都是多余的（开玩笑啦^-^）。
传统的观点认为，数学更多的只是训练思维用的。实际上，在300年前以及更早的时候，事实的确如此。虽然在当时，数学已经取得了很多成就，但是在微积分（以及更多的系统数学方法，下同）发明之前，大部分数学都只能解决特解的问题。比如说，数学可以求一个三角形的面积，可以解决圆的面积的问题，但是却难以解决抛物线下方的面积，或者任意一条曲线围成的面积的问题。
然而从微积分发明以后，现代数学的力量逐渐显现出来。理科相关自不必说，二战以后，传统的社会学科（比如说经济学、社会学等）大量引入数学，尤其是统计学的方法，彻底改变了这些学科的面貌。随着计算机的发明与普及，数学和统计学已经不再仅仅是实验室教授们的玩具，而真正的成为了各行各业广泛应用的武器。
回到买菜的例子，假如一个人只是买菜，那么统计学可能毕生都与之无缘了。可是假如一个人是一个卖菜大户，手里动辄屯着几顿的菜品，这里面统计学就有大量的用处了。首先，要进多少存货合适呢？仓库放在哪里呢？这和运筹学有关。菜品的产量、价格会怎么样呢？这和时间序列分析（以及其他分析有关）。消费者喜欢什么菜呢？这和问卷调查以及各种复杂的市场数据分析有关。这还仅仅是个简单的例子，接下来我将会举更多例子说明统计学的用处！

03、你们和中国统计局是不是干一个工作的啊？
答：侮辱一个统计学家最好的方式，就是说，“原来你是在国家统计局工作的啊！”（提醒，在这个帖吧发表该种言论将会遭到封号到死处理）。不过原因的话，我们倒要分头来说一下。
第一件事情，中国统计局最主要的工作之一是，采集数据。因为中国统计局数据来源都非常翔实可靠，所以经常受到网友们的赞扬。很可惜，虽然统计学有专门研究如何进行抽样调查的学科，但是应用统计学大部分做的事情都是数据采集完毕之后的事情。此外，统计学本身也无法鉴定数据的真伪，因为从数学角度无法定义“假”数据应该长成什么样。不过如果我们愿意加入一些假设的话，倒是可以估计一些真实数据是什么。
第二件事情，中国统计局最主要的工作之二是，公布各种指标。有人会问，这些指标总该是和统计学有关的了吧！很抱歉，不是，虽然统计学知识会对这些指标有一定帮助，但是统计学很少能为这些指标提供什么证据。比如说，CPI当中的权重，统计局非要说自来水占了80%，统计学家对此什么也不能说（不用看，你们也不能说！！！谁也不能说！！！！！）。此外，GDP CPI 基尼系数这些大部分来自于经济学。
第三件事情，中国统计局最应该做的工作，但几乎从来不做，而且一做必然出错的是，建模。这才是应用统计学正统的工作，可惜中国统计局每次建模都可以成为统计学一个非常好的非常好的非常好的反面教材。
中国统计局曾经出过一本统计学教材，前半部分东拼西凑错误百出，后半部分全讲社会主义优越性以及如何用统计学体现出社会优越性。剩下不用我说了吧。。。。还是那句话，以后谁敢在这个帖吧说，“你们就是中国统计局的吧”，会立即遭到封号处理。

04、数据分析和统计学是什么关系啊？
答：两者既有关系又有区别。应用统计学当然要分析数据了啊，不过统计学分析数据，多半建立在“大量数据”的基础上（原因之后我会讲），而数据分析有一些是建立在单一的数据基础（或者个案），比如说分析一个的财政报表等。
所以，很多人指望学了统计学拿到一张数据表便能掐指算出各种内容。如果只用统计学知识，这和看生辰八字预测人生一样，是和统计学的原则相违背的。

05、有统计师或者类似的资格认证考试么？
答：有，不过和统计学关系相对来说不大。
北京中商委推出过数据分析师系列考试，用到很初级的统计学知识，更多是和财会有关系。最近国家又推出了一个滑天下之大稽的所谓统计师考试，其中包括政治考试，高级统计师考着大二的内容要求着博士的学位。所以以后大家不要觉得统计局之类没有想象力，他们在侮辱统计学方面可谓是前无古人后无来者。
一些统计软件也有考试，比如说SAS，不过考得更多是运用软件的能力而不是对统计学的理解。还有一些其他的资格认证也包括统计学内容，比如说CFA。但这都不是专门的统计学考试。
所以如果想要证明自己统计学能力的话，最好还是到大学去拿个学位吧！

终于要更新了…………我之前一直在忙着写论文，今天的份额完成了，所以继续吧…………

06、说了这么半天，统计学是干什么的呢？
答：其实这个问题还真心不好回答。虽然统计学历史算上能仅有100年左右，但是统计学作为数学学科中发展速度极快的学科，已经非常难以简单介绍了。之前我看过一本外国人写的，介绍21世纪统计学可能发展的部分，按照该书说法，这只是冰山一角，没有包括其他应用类子学科（比如说计量经济学），而且每一章算是整个一个非常大的学科的介绍，而这本书有50章…………
不过从一个应用的角度来说，我们不妨这样来看统计学。在现实生活中，我们经常遇到各种各样的数据，按照道理来说，数据里面包涵了我们要的全部信息。可是这些数据通常太多（大家试过给一个学年上成绩么？我试过一次），必须要有一套科学的方法来压缩信息，并且尽量不丢失有用的内容。简单一些问题，比如说一个班身高多少，那么这个也许用一个平均数就可以了。可是比如说，要研究中国教育和收入的关系，那就不是这么简单了。这个时候，“建模”就成为必要了。
如果从这样一个实用主义的角度出发，那么统计学可以分为两类。一种是应用统计，分布在统计学和其他各种学科当中；此外，要是随便建个模都可以拿出来用的话，那我们也就跟统计局木有区别了。于是，为了从理论上证明模型的合理性，又有了统计理论（理论统计）来证明模型的性质。
不过这两者不是截然分开的，虽然有一些应用者说大概明白意思（或者更甚者，会用个软件就行了），不过不理解理论就开始乱用是会出笑话的>-<。所以一个合格的统计学家，既要对理论有相当程度的理解，也要对实际模型有相关的掌握。

07、能说一说统计学具体的应用么？能赚大钱么？
答：这得话分两头了。首先我们说说统计学在学术上的应用（主要是理科和工科----------以外的应用），然后我们说说赚钱的事情。
1、学术上的应用
现在要找到没被统计狗占领的学术领域不是很容易。一个重要的原因是，随着数据收集越来越容易，以往靠个例就可以说服别人的日子一去不复返了（我大舅老爷他同学的外甥女说学统计学的赚不到钱，不管你你信不信，我反正信了！）。除了很少的学科（比如说考古），如果论文没有足够数据支持，都很难得到发表（主编：回去发问卷去）。
另一方面，在社会科学方面，统计学有一个非常重要的优势，那就是统计学是一个“盲目”的学科。此话怎讲呢？我们打个比方，有一个黑盒子，一种颜色的光射进去了，在里面发生了一些事情，然后出来了另一种颜色的光（好吧，我知道这个比喻很烂）。科学，就是在不停的把这个盒子拆掉，然后看里面发生了什么事情。可是问题是，有时候，这个盒子不好拆。你说要研究一个人看av以后的性格变化，难道要把脑子解剖开么？。这种“不透明性”在社会科学类尤其普遍，于是一般来讲，如果没有数据，大家就只能猜里面发生了什么了。
不过统计学家却有另一种办法，假设我们的目的仅仅是预测光变成什么颜色，那我们完全没必要把盒子打开（咻，脑子保住了）。我们不妨多射几束光进去，射个一千束之类的，然后看出来是什么颜色。然后建个模，也许这个模跟真实情况相差甚远，但只要我们预测结果不错那也就没什么了啊。
于是这里就要说到统计学的一些局限了（喂，跑题了有没有）。首先，要是只有一束光的话，那么统计学家就什么都做不了了；其次，如果目的是解释机制而不仅仅是预测，那么统计学可能会给出有误导性的答案；最后，假如这黑盒子不小心被摔了（比如说一个重大社会事件发生了），那么之前统计学的结论恐怕就要出问题了。总而言之，把统计学能力和先验知识结合才是避免错误的王道。


07、能说一说统计学具体的应用么？能赚大钱么？
答（第二部分）：下面说说看赚大钱的问题。统计学现在可真是被炒得火热啊，跟数据分析有关的根本不用我在这里吹，早就从中国吹到火星去了。什么商务智能，CRM（客户关系管理），数据挖掘等等等等，都被称作“新世纪的人才”。这大学、大专、技校、私立学校也争相开设相关专业以笼络人才。比如说如图所示的这个（来自于某高职）。

不过，关上门来说，数据分析真的能为企业带来效益么？这件事情就不一定了。在我的研究过程中，我从来没发现过一次数据分析结果和我想象的是一样的时候（买手机大家最在意是什么（除价格外）？触屏？软件？数据结果表明是外壳颜色…………），因此从这个角度来说，统计学的确能让企业发现以往发现不了的东西。但是另一方面，如图所示的这个专业毕业生，真的能成为“高端型技术型人才”么？这就要下个问题来回答了。

08、统计学这么好赚钱啊！我也要成为数据分析和建模大师，快给我个学校电话，我要报名！
答：感谢你对我的信任，同时对你被我成功忽悠我表示开心以及幸灾乐祸。
下面这三行是用来冷静的。
一行，呼~~~气~~~~~~~
二行，吐~~~气~~~~~~~
三行，冷~~~静~~~下~~~来~~~~~~
好，我们不妨首先从刚才那个招生广告开始看。广告说，这里培养的是“高素质高端的技能型专业人才”，换句话说，只有高端的企业才有可能有这样的需求。的确，如果一个企业客户加起来都不到一百人，查都查得过来，还要人来分析数据做什么呢？那么一般来讲，多大的企业才有这样的要求呢？除去一些靠关系赚钱的皮包公司，据我所知，上亿以下的企业都很少需要这样的人才。这里还要除去一些老总靠关系爬上来的老总，他们真的相信统计学么？
进一步想想，即使是需要统计学建模人员的话，那么一个企业需要多少呢？一个排？仍然据我所知，一个巨大的企业（除非是专门研发的企业）只需要几个真正有能力的分析员就够了。这也就意味着，对于真正这类“高素质高端技能型专业人才”，绝非一般人员能胜任的。
那么要求有多高呢？我们不妨看看荷兰的两个为数据分析做准备的项目。


08、统计学这么好赚钱啊！我也要成为数据分析和建模大师，快给我个学校电话，我要报名！
答：（第三部分）下面我们就来看看这个项目实际上究竟多么有杀气吧。先从计量经济学说起。我们说说计量经济学2.这门课包括三个内容，bootstrap、非参数模型以及面板数据分析。也许听起来还可以，不过我们现在给大家看看常用的面板数据分析的上机实习（答案）是什么样的吧。
先看看最简单的估计量长什么样

然后再看看为了实现上机实习目标，给出的样例程序（我发现空格都没了）
% program AE2pGMMs2Stest.m (J.F.Kiviet@uva.nl)disp(’Program AE2pGMMs2Stest’); clear; clc;disp(’Examines GMMsystem estimator and Sargan tests’);disp(’ in finite samples of a stable panel AR(1) model’);startseed=20120131; startrandom = RandStream(’mcg16807’, ’Seed’, startseed);RandStream.setDefaultStream(startrandom);mingam=0.1; maxgam=0.9; numbgam=5;minT=4; maxT=10; numbT=7;R=1000; psi=1; phi=1; N=100;disp([’ N = ’ num2str(N) ’, psi = ’ num2str(psi) ’, phi = ’ num2str(phi)]);disp([’ R = ’ num2str(R) ’, seed = ’ num2str(startseed)]);stepgam = (maxgam - mingam)/(numbgam - 1);vecgam = mingam + stepgam*(cumsum(ones(numbgam,1))-1);disp(’ gamma values: ’); disp(vecgam’);stepT=(maxT - minT)/(numbT - 1);vecT=minT + stepT*(cumsum(ones(numbT,1))-1);disp(’ T values: ’); disp(vecT’);ghat1 = zeros(numbgam, numbT);ghat1rep = ghat1; ghat2 = ghat1; ghat2rep = ghat1; ghat22 = ghat1;ghatAB1=ghat1; ghatAB1rep=ghat1; ghatAB2=ghat1; ghatAB2rep=ghat1;ghatAB22=ghat1;Srgsysrej=ghat1; Srgsysrejrep=ghat1;SrgABrej=ghat1; SrgABrejrep=ghat1;Srgincrej=ghat1; Srgincrejrep=ghat1;ALFA = randn(N,R);maxLAB = maxT*(maxT - 1)/2; % number of instruments for GMM-ABH = 2*eye(maxT - 1); % matrix H of weight matrixtt = 1;while tt < maxT-1tt = tt+1;H(tt,tt-1) = -1;H(tt-1, tt) = -1;end % iL */YY = zeros(maxT, N); YL = YY; DY = YY; ZABi = zeros(maxT-1,maxLAB);rep = 0;while rep < Rrep = rep + 1;6EPS = randn(maxT+1,N);igam = 0;while igam < numbgamigam = igam+1;gam = vecgam(igam);kappa1 = phi/(1-gam);gam2 = gam*gam;kappa2 = 1/sqrt(1-gam2);sigalfa = psi*sqrt((1-gam)/(1+gam));sigalfa2 = sigalfa*sigalfa;ZABtY = zeros(maxLAB, 1);ZABtX = ZABtY;ZStY = zeros(maxT-1,1); ZStX = ZStY;Winv11 = zeros(maxLAB, maxLAB);Winv12 = zeros(maxLAB,maxT-1); Winv22 = zeros(maxT-1,maxT-1);i = 0;while i < Ni = i+1;YL(1,i) = ALFA(i,rep)*kappa1*sigalfa+EPS(maxT+1,i)*kappa2;YY(1,i) = gam*YL(1,i) + sigalfa*ALFA(i,rep) + EPS(1,i);tt = 1;while tt < maxTtt = tt+1;YL(tt,i) = YY(tt-1,i);YY(tt,i) = gam*YY(tt-1,i) + sigalfa*ALFA(i,rep) + EPS(tt,i);endDY(:,i) = YY(:,i) - YL(:,i);tt = 0; iL = 0;while tt < maxT-1iL = iL + tt;tt = tt + 1;ZABi(tt,iL+1:iL+tt) = YL(1:tt,i)’; % i-th block AB instr.endZABitZSi = (ZABi’)*diag(DY(1:maxT-1,i)); % ZSi eff.stat. instr.ZSitZSi = diag(DY(1:maxT-1,i).^2);Winv11 = Winv11 + ZABi’*H*ZABi;Winv22 = Winv22 + ZSitZSi;ZABtY = ZABtY + ZABi’*DY(2:maxT,i);ZABtX = ZABtX + ZABi’*DY(1:maxT-1,i);ZStY = ZStY + DY(1:maxT-1,i).*YY(2:maxT,i);ZStX = ZStX + DY(1:maxT-1,i).*YL(2:maxT,i);endiT = 0;while iT < numbTiT = iT+1; T = vecT(iT); LAB = T*(T-1)/2; L = LAB+T-1;Winv = [Winv11(1:LAB,1:LAB),zeros(LAB,T-1);zeros(T-1,LAB),Winv22(1:T-1,1:T-1)];WABinv = Winv11(1:LAB,1:LAB);W = eye(L)/Winv;WAB = eye(LAB)/WABinv;NUM = [ZABtX(1:LAB); ZStX(1:T-1)]’*W*[ZABtY(1:LAB);ZStY(1:T-1)];DEN = [ZABtX(1:LAB); ZStX(1:T-1)]’*W*[ZABtX(1:LAB);ZStX(1:T-1)];7ghat1rep(igam,iT) = NUM/DEN;NUM = ZABtX(1:LAB)’*WAB*ZABtY(1:LAB);ghatAB1rep(igam,iT) = NUM/(ZABtX(1:LAB)’*WAB*ZABtX(1:LAB)); % GMMAB1i = 0; W2inv = zeros(L,L); Ztuhat = zeros(L,1);% now the 2-step GMMsWAB2inv = zeros(LAB,LAB); ZtuhatAB = zeros(LAB,1);while i < Ni = i+1;tt = 0; iL = 0; % again construct i-th block of AB instrumentswhile tt < T-1iL = iL+tt; tt = tt+1;ZABi(tt,iL+1:iL+tt) = YL(1:tt,i)’;enduhat1 = DY(2:T,i)-DY(1:T-1,i)*ghat1rep(igam,iT);uhat = [uhat1;(YY(2:T,i)-YY(1:T-1,i)*ghat1rep(igam,iT))];Ztuhati = [ZABi(1:T-1,1:LAB)’*uhat(1:T-1);(DY(1:T-1,i).*uhat(T:2*T-2))];Ztuhat = Ztuhat + Ztuhati;W2inv = W2inv + Ztuhati*Ztuhati’;uhatAB = DY(2:T,i) - DY(1:T-1,i)*ghatAB1rep(igam,iT);ZtuhatABi = ZABi(1:T-1,1:LAB)’*uhatAB(1:T-1);ZtuhatAB = ZtuhatAB + ZtuhatABi;WAB2inv 

= WAB2inv + ZtuhatABi*ZtuhatABi’;endW2 = eye(L)/W2inv;NUM = [ZABtX(1:LAB);ZStX(1:T-1)]’*W2*[ZABtY(1:LAB);ZStY(1:T-1)];DEN = [ZABtX(1:LAB);ZStX(1:T-1)]’*W2*[ZABtX(1:LAB);ZStX(1:T-1)];ghat2rep(igam,iT) = NUM/DEN;Srgsysrejrep(igam,iT) = (Ztuhat’*W2*Ztuhat) > chi2inv(0.95,L-1);WAB2 = eye(LAB)/WAB2inv;NUM = ZABtX(1:LAB)’*WAB2*ZABtY(1:LAB);ghatAB2rep(igam,iT) = NUM/(ZABtX(1:LAB)’*WAB2*ZABtX(1:LAB));SrgABrejrep(igam,iT) = (ZtuhatAB’* WAB2*ZtuhatAB)>chi2inv(0.95,LAB-1);teststat = (Ztuhat’*W2*Ztuhat)-(ZtuhatAB’*WAB2*ZtuhatAB);Srgincrejrep(igam,iT) = teststat > chi2inv(0.95,T-1);endendghat1 = ghat1 + ghat1rep;ghat2 = ghat2 + ghat2rep; ghat22= ghat22 + ghat2rep.^2;Srgsysrej = Srgsysrej + Srgsysrejrep;ghatAB1 = ghatAB1 + ghatAB1rep;ghatAB2 = ghatAB2 + ghatAB2rep; ghatAB22 = ghatAB22 + ghatAB2rep.^2;SrgABrej = SrgABrej + SrgABrejrep;Srgincrej = Srgincrej + Srgincrejrep;endvecgamrp = repmat(vecgam,[1,numbT]);ghat1 = ghat1/R; biasghat1 = ghat1 - vecgamrp;ghat2 = ghat2/R; biasghat2 = ghat2 - vecgamrp;stdvghat2 = sqrt((ghat22 - R*ghat2.^2)/(R - 1));rmseghat2 = sqrt((ghat22/R) - (2*ghat2 - vecgamrp).*vecgamrp);Srgsysrej = Srgsysrej/R;8ghatAB1 = ghatAB1/R; biasghatAB1 = ghatAB1 - vecgamrp;ghatAB2 = ghatAB2/R; biasghatAB2 = ghatAB2 - vecgamrp;rmseghatAB2 = sqrt((ghatAB22/R) - (2*ghatAB2 - vecgamrp).*vecgamrp);SrgABrej = SrgABrej/R;Srgincrej = Srgincrej/R;disp(’Monte Carlo estimates’);disp(’ Expectation GMM1AB’); disp(ghatAB1);disp(’ bias GMM1AB’); disp(biasghatAB1);disp(’ Expectation GMM2AB’); disp(ghatAB2);disp(’ bias GMM2AB’); disp(biasghatAB2);disp(’ Expectation GMMs1’); disp(ghat1);disp(’ bias GMMs1’); disp(biasghat1);disp(’ Expectation GMMs2’); disp(ghat2);disp(’ bias GMMs2’); disp(biasghat2);disp(’ stdv GMMs2’); disp(stdvghat2);disp(’ rmse GMMs2’); disp(rmseghat2);disp(’ rmse GMM2AB’); disp(rmseghatAB2);disp(’ Prob reject Sargan’); disp(SrgABrej);disp(’ Prob reject Sargan sys’); disp(Srgsysrej);disp(’ Prob reject Sargan incr. sys’); disp(Srgincrej);figure(1);surf(vecT,vecgam,biasghat1)title(’GMMs1 bias’)ylabel(’\gamma’)xlabel(’T’)zlabel(’bias’);figure(2);surf(vecT,vecgam,biasghat2)title(’GMMs2 bias’)ylabel(’\gamma’)xlabel(’T’)zlabel(’bias’);figure(3);surf(vecT,vecgam,stdvghat2)title(’GMMs2 stdv’)ylabel(’\gamma’)xlabel(’T’)zlabel(’stdv’);figure(4);surf(vecT,vecgam,rmseghat2)title(’GMMs2 rmse’)ylabel(’\gamma’)xlabel(’T’)zlabel(’rmse’);figure(5);surf(vecT,vecgam,rmseghatAB2)title(’GMMAB2 rmse’)ylabel(’\gamma’)xlabel(’T’)zlabel(’rmse’);9figure(6);surf(vecT,vecgam,SrgABrej)title(’GMM2AB Sargan size’)ylabel(’\gamma’)xlabel(’T’)zlabel(’Rejection Prob.’);figure(7);surf(vecT,vecgam,Srgsysrej)title(’GMMs2 Sargan size/power’)ylabel(’\gamma’)xlabel(’T’)zlabel(’Rejection Prob.’);figure(8);surf(vecT,vecgam,Srgincrej)title(’Saragan GMMs2 - GMM2AB size/power’)ylabel(’\gamma’)xlabel(’T’)zlabel(’Rejection Prob.’);
考试内容是，在一个小时内，把一个比这个更复杂的联立方程组模型估计出来，推导并证明其渐进性质，构造检验。。。。
这只是两周课的内容，整个考试分为三个部分，一共要考3次，挂一科全部算挂。

08、统计学这么好赚钱啊！我也要成为数据分析和建模大师，快给我个学校电话，我要报名！
答（第四部分）：上面这个还不够闹心的话，还有理论统计部分呢。我们在这里面举一个经常被不知道的人鄙视的课，时间序列分析。看看这里面讲些什么内容。我们就不看证明了，随便看一个定义好了。

当然了，还是有相对来说简单一些的内容的，不过也有相对来说难一些的内容。当然，这些课老师就不会直接考课程上的证明了（那些都是统计学家呕心沥血证了n年的），不过要听懂这些课，恐怕也是要下一些功夫的。
最后，假如你说，算了，我不想学的这么数学，那我们看一个不那么数学的，Tilburg大学的营销学的项目。


我们可以看出，这个项目已经简单多了，可是即使是这样一个项目，要念下来恐怕也不是轻而易举的。

09、要你那么说的话，我是不是这辈子跟统计学无缘了？
答：不是的
实际上，上面一个回答并非说只有天才才能学习统计学。实际上，统计学恰恰是一个更需要刻苦，而不是仅仅是天赋的学科。我会在后面详细解释如果从零开始的话，需要学习的统计学科目包括哪些。
但是另一方面，统计学与数学学科不同的是，统计学是一个很宽的学科。这有三层意思，一方面，这意味着即使是只会用excel的统计学功能，也是能解决（当然不是高端的决策性的)一些问题的，所以重要的是，从一点点做起，然后不断积累。另一方面，要给自己一个合适的定位，如果不幸没有机会接触到非常“高端”的项目，那么从一个中端甚至低端的内容做起来也是可以的啊！（比如说一些小企业经常也需要一些人来整理一些不多的数据，但是当然这就不是决策性的了，而且可能会有一些枯燥，不过没关系啊！）。最后，如果不能完整地建立起一套统计学理论和应用体系，从一些小的内容（比如说结构方程）开始做起也是可以的啊！
于是该总结了，对于以上两个问题的究极回答是，统计学是有用的学科，是可以为你带来额外的竞争力的学科，但是学习统计学，需要沉下心来，需要由刻苦的精神，同时还要有自己和未来正确的预期和长远的计划。当然，对于任何一门学科，以上的内容都是成立的。