1. 什么是实证分析？
实证分析是建立在可以观察到的现象、可以测量的数据基础上的一种科学研究方法。它系统地搜集、整理并分析实际数据，用统计或者计量的方法来检验理论假设，找出变量间的关系，或者发掘出隐藏的因果联系。其主要特点就是：所有的结论都必须有数据和事实的支持，而不能是纯粹的逻辑推理、理论思辨或者主观的价值判断。
规范分析回答的是应该是什么，实证分析回答的是是什么以及为什么。规范分析会讨论政府是否应该提高最低工资标准，这是公平、正义等价值判断的问题；实证分析则是研究最低工资提高10%对就业率的影响，需要用历史数据、计量模型来客观测量。下图清楚地表明了实证分析的运行过程：
本文主要研究了在大数据 in2000:123123 环境下，如何 by means of 数据 to solve problems of 物流信息 in 物流信息系统。
[图示展示实证分析从可观察数据出发，用科学方法检验假设，最后得出客观结论的过程；要点：中心节点是实证分析，左侧输入是数据+假设，中间经过模型检验，右侧输出是结论和解释，强调它的客观性](/article_visual/2d/ed/2deda572224444948b6fcf29af1f149d.png)
数据 + 假设
模型检验与分析
结论与解释
实证分析和纯理论分析的本质区别就在于可重复性、可证伪性。一个规范的实证研究，别人可以用同样的数据集、代码来复现结果。因此实证分析成了现代科学（社会科学、医学、商业分析等）中最被信任的研究范式之一。正如经济学家Angrist和Pischke在《基本无害的计量经济学》中所强调的，因果推断的核心就是构造出一个可信的反事实，而这也是实证分析用对照组、控制变量、工具变量等方法来解决的难题。
| 对比维度 | 实证分析 | 规范分析 |
|---|---|---|
| 核心问题 | 是什么？事实如何？ | 应该是什么？是否公平？ |
| 基础依据 | 数据、事实、统计规律 | 价值、伦理、意识形态 |
| 可验证性 | 可复现、可证伪 | 难以直接验证 |
| 示例 | “提高最低工资导致就业率下降5%” | “应该提高最低工资以保障公平” |
2. 实证分析的主要类型
根据研究问题、数据性质的不同，实证分析可以分为三大类。每一种类型都有自己的目的、方法体系和适用条件。
2.1 定量实证分析
这是目前社会科学以及商业分析中最为主流的形式，主要特点就是使用数值数据，并用统计、计量模型来检验假设。典型的定量分析工具有：
- 回归分析：OLS（普通最小二乘法）、逻辑回归、多元回归
- 面板数据分析：固定效应模型、随机效应模型
- 因果推断方法：工具变量法、双重差分法、断点回归
以美国国家纵向调查数据（NLSY）为例，用OLS回归得出教育年限每增加1年，个体年收入平均增加8% - 12%（Card，1999）。该结论之所以可靠，是因为研究者控制了年龄、种族、父母教育水平等干扰变量，用工具变量法（出生季度作为教育年限的工具变量）处理了内生性问题。
2.2 定性实证分析
定性分析不是不科学的，它用非数值数据（访谈文本、档案记录、田野笔记），用系统化的编码、主题分析、比较的方法来挖掘深层次的模式和意义。常用的方法有：
- 扎根理论：从数据中自下而上地建立理论
- 主题分析：找出数据中的模式并加以报告
- 案例研究：对一个或多个典型个案进行深入分析
定性分析对于发现新现象、认识复杂的社会过程（组织变革的微观机制、消费者决策的心理过程等）有特别的优势。很多高质量的实证研究采取混合方法，先用定性分析找出关键机制，再用定量分析检验它的普遍性。
2.3 混合方法
混合方法把定量和定性数据结合起来，达到方法上的三角互证的目的。以教育政策效果为研究对象的项目可以：
1. 定量阶段：使用大样本面板数据分析政策对学生考试成绩的平均影响
2. 定性阶段：对少数学生和教师进行深度访谈，探索影响背后的具体机制（如教学方式的改变、学生动力的变化）
该种设计既回答了政策效果有多大的问题，又回答了为什么会产生这样的效果的问题，使研究结论更加丰满、可信。
3. 实证分析的核心应用场景
3.1 社会科学研究
实证分析是经济学、政治学、社会学、教育学等学科的主要研究方法。以经济学为例，研究者常常利用世界银行的公开数据、中国家庭收入调查（CHIP）数据库、美国人口普查数据来检验理论。经济学家Acemoglu和Robinson在《国家为什么会失败》中，用跨国历史数据分析了政治制度与经济发展的关系，他们的主要结论（包容性制度促进长期增长）是通过面板数据回归、工具变量法等严格的实证分析得出的。
个人经历分享：在我自己的一项研究中，使用了世界银行1960-2020年跨国面板数据，用STATA软件的`xtreg`命令，运行固定效应模型来检验教育投资对经济增长的影响。首先将数据按年份、国别合并，对缺失值用线性插值法填补了少数缺失年份的数据，然后控制初始GDP、投资率、人口增长率等变量。从初步的OLS结果可以看出教育支出每增加1个百分点，人均GDP增长率就会提高大约0.6个百分点。但是当我加入国家固定效应（控制不随时间变化的国家特征）之后，效应就降到了0.3个百分点。这说明简单的OLS可能会忽略各国文化、制度等无法观测到的异质性。最后用Hausman检验来确定固定效应模型比随机效应模型更好，结论更可靠。
3.2 商业与市场分析
商业上实证分析被用来做A/B测试、用户行为分析、广告效果评价等。电商平台想要检验“修改首页推荐算法”是否可以提高用户的购买转化率。将用户随机分成两组，对照组用旧算法，实验组用新算法，再用t检验或者卡方检验来比较两组的转化率差异。若实验组转化率明显大于对照组（p<0.05），则可以认为新算法有效。
商业实证分析和学术研究不同的是，它更重视快速迭代、可操作性。工具上，Google Analytics、Tableau、Python的`scipy.stats`库常被用于快速分析。
3.3 医学与公共卫生
随机对照试验（RCT）是医学实证分析的一种黄金标准。以新冠疫苗为例，要验证新冠疫苗的有效性，就要把参与者随机分成疫苗组和安慰剂组，再比较两组的感染率。在分析时会用到生存分析（Kaplan-Meier曲线）、Cox比例风险模型来估计疫苗的保护效力。由于RCT设计可以很好地控制混淆因素，所以它的因果推断效力最强。
但是很多情况下（研究吸烟和肺癌的关系），随机试验是不可行的，研究者只能依靠观察性数据。这时就需要使用倾向得分匹配（PSM）、工具变量法等方法来模拟随机化，尽可能消除选择偏差。这也是医学实证研究中对于研究设计的透明性、稳健性检验要求很高的原因。
4. 怎样进行一次标准的实证分析？
一次完整的实证分析一般包含以下五个主要步骤，缺一不可。
-- visual renderer="html" intent="PROCESS" title="实证分析完整流程" alt="实证分析的五步流程：定义问题与假设、数据收集、模型建立、结果分析、结论解读；要点：1.提出理论与假设 -> 2.收集数据 -> 3.建立模型 -> 4.数据分析与检验 -> 5.得出结论与解释" -->
与假设
与预处理
与检验
解释
4.1 步骤一：明确问题与假设
核心任务：把抽象的研究问题转化为可以操作的假设。
- 错误示例：“教育很重要吗？”（太模糊，无法检验）
- 正确示例：“在控制家庭背景变量之后，受教育年限是否对个体月收入有正向影响？影响大小如何？”
假设一般有原假设(H0)和备择假设(H1)。例如：
- H0：受教育年限对月收入没有影响（β=0）
- H1：受教育年限对月收入有正向影响（β>0）
4.2 步骤二：数据收集与预处理（耗时70%的工作量）
很多初学者认为数据分析就是跑回归，但是真正的优秀实证研究者会把70%的时间用在数据清洗上。这一步骤为：
- 数据来源确定：公开数据库（世界银行、IMF、中国统计局、Compustat等）、调查问卷、网络爬虫、实验数据
- 数据类型识别：横截面数据、时间序列数据、面板数据
- 数据清洗：
- 缺失值处理：删除、均值填补、多重插补
- 异常值检测：箱线图法、Z-score法
- 变量转换：取对数（处理偏态分布）、标准化
- 样本偏差检查：用Heckman两步法检验选择偏差
实用工具推荐：
- Python：`pandas` 库用于数据处理，`missingno` 库可视化缺失值分布
- STATA：`drop if missing(var)` 删除缺失值，`ipolate` 进行线性插补
- R：`tidyr` 包用于数据整理，`mice` 包执行多重插补
4.3 步骤三：选择模型与分析方法
模型选择要依照研究问题、数据种类以及假设条件来综合判定。以下是常见的方法一览表：
个人经验：在验证教育年限和收入的因果关系的时候，我一开始用OLS，但是被导师指出存在能力偏差，即能力高的人更容易获得高学历，也更容易获得高收入，从而导致OLS估计高估教育的因果效应。因此我改用工具变量法（用出生季度作为工具变量），做了过度识别检验（Sargan检验），最后得出工具变量有效，教育回报率估计值为7%左右，和文献中普遍认可的8%左右接近。
4.4 步骤四：结果解读与稳健性检验
结果解读的黄金法则：永远不要只报告p值，必须同时报告系数大小、标准误和置信区间。
- 系数：教育年限每增加1年，收入平均增加7%
- p值：p=0.01，表示在1%显著性水平下拒绝原假设
- R²：模型解释了多少比例的收入变异
关键提醒：p值不是效应大小。p<0.05只说明效应在统计上显著，不等于效应实际重要。一个非常小的效应（0.1%的影响）在超大样本中也会有p<0.001。
稳健性检验属于高质量实证研究的常规手段，常用的方法有：
1. 替换变量度量：用数学成绩代替综合成绩
2. 改变样本范围：剔除极端值、更换子样本
3. 变换模型设定：从OLS换成稳健标准误、聚类标准误
4. 安慰剂检验：将处理变量随机化，看是否还能得到显著结果
4.5 步骤五：得出结论与解释
结论部分要回到研究问题上，客观地陈述发现，并且讨论它的不足。例如：
- 本研究使用世界银行面板数据，得出教育支出对经济增长有正向影响，但是效应很小（0.3%），并且只有在控制固定效应之后才稳定。
- 由于数据限制，本文不能完全排除遗漏变量偏差，结论需要谨慎推广。
5.实证分析中常见的误区
![可视化展示三种常见的误区，即混淆相关和因果、过度拟合、样本偏差；要点：三个卡片式节点，误区1-相关关系当作因果关系，误区2-模型过度拟合，失去泛化能力，误区3-样本偏差，导致结论不具有普遍性。]
(/article_visual/9b/79/9b7938c5da164a98a371c70bee5fe3ce.png)
误区一
把相关性当因果
仅凭相关系数不等于因果关系，需控制内生性
误区二
模型过度拟合
#e65100;font-size:13px;">无理论指导的反复试错导致虚假发现
误区三
样本选择偏差
样本缺乏代表性，结论无法 to be generalised
5.1 把相关关系当作因果关系
实证分析中最常见、最危险的错误就是这个。两个变量之间存在统计上的显著相关，并不一定意味着其中一个变量是另一个变量的原因。
经典案例：冰淇淋销量和溺水死亡人数呈正相关。但这并不意味着吃冰淇淋会导致溺水，而是因为夏季高温使这两个变量同时增加，即存在一个共同的混淆变量温度。
如何避免：采用随机实验（RCT）或者准实验方法（工具变量法、双重差分法、断点回归），在回归中控制尽可能多的混淆变量，并做Durbin-Wu-Hausman检验来检验内生性。
5.2 数据挖掘与过度拟合
当研究者没有事先提出理论假设，在数据中不断尝试各种模型组合，直到得到显著的结果（p-hacking），就会产生虚假的发现。
危害：过度拟合的模型在训练样本上表现很好，但是在新的数据上泛化能力很差。类似于考试作弊，背下了所有的题目答案，但是遇到新的题目就束手无策了。
如何避免：
- 事先在预注册平台（如AsPredicted）注册研究假设和分析计划
- 使用交叉验证、正则化（Lasso/Ridge）来控制模型复杂度
- 坚持“先理论后数据”原则，不盲从数据挖掘结果
5.3 忽视样本选择偏差
样本不是随机从总体中抽取的，那么统计推断的结果就会有偏差。
典型案例：研究在线课程对学习效果的影响时，如果只收集到自愿参加课程的学生的资料，那么样本就会偏向于学习动机较强的学生，从而高估课程的效果。
如何避免：
- 保证抽样过程公开透明，明确样本选取的标准
- 采用Heckman两步法或者倾向得分匹配的方法来处理选择偏差
- 在结果部分诚实地说明样本的不足
常见问题
常见问题
共 3 个问题，点击展开查看答案
-
实证分析的主要目的就是通过对实际数据的观察、收集和分析，来检验或者否定某个理论假设，从而发现事物之间客观的因果关系或者相关关系，而不是进行价值判断。
-
实证分析回答的是“是什么”（客观事实），依靠数据和事实；规范分析回答的是“应该是什么”（主观价值判断），依靠伦理和标准。实证分析研究的是“某政策对房价的影响”，规范分析讨论的是“该政策是否公平”。
-
典型的步骤有：1.提出研究问题和理论假设；2.收集与研究问题有关的数据；3.选择合适的数据分析方法（回归分析等）；4.分析结果并进行统计检验；5.得出结论并解释其意义。