这个问题我也是思考了一年多了，有些浅的想法，大家拍拍砖头 🙂

先说两点老生常谈的大原则：
1。统计的意义，不是告诉你 truth，而是告诉你 possibility （p-value），然后你自己根据 cost function 来选择判断标准/风险标准（比如说 alpha value），对比 p-value 来做 decision。这一点至关重要。换句话说，统计是工具，是 case orientated。
2。Context 是决定性的。同样的统计结果，不同 context （case）下，意义可能大相径庭，decision 可能完全不一样。苹果分拣分级设备如果有 5% 的分级错误概率，是可以接受的，降落伞如果有 5% 的打不开的概率就是灾难性的。抽离开具体的 case，单纯地说 p=.05 是没有任何指导意义的。

然后具体到 t-test 来。t-test 和其它常见假设检验的初始 context 是：在工程领域，在寻求体系的改善时，在有限的资源下（时间/人力/物力），如何能够尽可能安全地确认 H_o 是错误的（所谓的 H_o 保护）。这个 context 可以具体写成两个假设：
1。在 cost function 中，大样本带来的 cost 的增加，不能超过 H_1 所带来的收益。也就是说，用大样本来发现细微的改善，是不合算的，因此应当被禁止。（我用 n=10,000 的样本 — 同时意味着海量的时间，人力和财力的成本 — 证明新工艺可以使成本降低 0.001%，老板不但不会开心，还会 fire 掉我.）
2。革新需要成本，同时带来风险，所以如果不能显著改进，则宁可不革新。（我不能建议老板把厂房拆了重盖，机器全换新的，来在 50% 的把握下 — alpha = 0.5 — 使成本降低 1% — 虽然按说革新后成本降低量的数学期望是 0.5% 左右。）

所以，虽然大样本下 t-test 和其它常见假设检验一样，总是能够 reject H_o，但这已经超出了 t-test 的 context。也就是说，给定一个小的 alpha，和一个信心标准 C in (0,1)，在数学意义上，总能找到一个足够大的 n_o，使得当 n >= n_o 时， p-value <= alpha 的概率大于等于 C，但这已经没有实际的工业意义了。

那么，在科学领域，t-test 总有意义么？有大样本所带来的高成本问题么（比如说面对海量样本空间时）？有革新的成本问题么（比如说在 factor importance analysis 时，如果需要在 a 和 b 两个参数中二选一，则没有道理要求除非 b 显著地比 a 重要，否则必须选 a — 我完全可以把 alpha 设为 0.5）？需要保护 H_o 么？alpha 和 beta 哪个更重要（也就是说，纳伪和拒真哪个更重要 — 比如说在 candidate screening 时，光看 alpha 是不够的）？这些都要看具体的 context，不能照搬工业界的 t-test 的用法。我觉得，在科学领域，t-test 经常被误用了。对于比较两个分布，我更倾向于用 pooled std 来衡量 mu_1 – mu_2，而不是用 se 等任何随 n 而变化的参数来衡量 (也就是说，不用t-test)。

顺便再说一句：se （包括置信区间） 的 context 是什么？是对真值的估计的精度。前提条件就是：有这个真值在 — 被测量对象要么是个定值（比如说真空中的光速），要么是个稳定的分布（来估计这个分布的参数）。画图时，error bar 如果用 se 或者 95% 置信区间，那被测对象必须是几个定值，而不能是几个分布，否则必须用 std 等能够反映分布本身的宽度的值的估计来标 error bar。当然了，学术界么，很多人是这么做的：当想显示不同时，用 se；想显示没有显著区别时，用 std。这么玩儿统计，也算是自欺欺人吧，呵呵。

 

【 在 arson (笨也要活着) 的大作中提到: 】
: 我感觉 one sample T-test 算 p-value就是忽悠人的。。
: 就是说知道一个均值A，然后做实验，算一组sample跟这个均值A的 P-value，我觉得没
: 有意义啊，好像只要 sample 只要足够大，最后的p-value肯定很小啊，（因为实验均值
: 完全等于这个A的可能性太小了），等样本数量变大之后，是不是p-value就会变小？比
: 方一个大小为 50，均值为 40的样本跟A=50算出来的pvalue 明显会大于 大小为50000，
: 但是均值也是40的样本跟A=50算出来的p-value ?