ICC 与 Kappa 计算器——评估者间信度
从 Excel 粘贴评分数据——每个对象一行,每位评估者一列。卡片对测量值计算组内相关系数,对分类数据计算 Kappa,并给出置信区间、图形和方法描述。免费;数据保留在您的浏览器中。
进一步了解此工具
功能
- 测量值:按 Shrout 和 Fleiss 的全部六种形式计算组内相关系数(ICC)——单向随机、双向随机(绝对一致性)和双向混合(一致性),每种均分单次评分和评估者均值两种——附置信区间和 F 检验。
- 两位评估者,分类数据:Cohen's Kappa;有序分类时还可计算线性或二次加权 Kappa,并给出观察一致率和机遇期望一致率、PABAK 和 Gwet's AC1;二分类时还给出阳性和阴性一致率、患病率指数和偏倚指数。
- 三位及以上评估者:Fleiss' Kappa 及其 bootstrap 置信区间、各类别 Kappa、Light's Kappa 和 Gwet's AC1。
- 对于 ICC:测量标准误(SEM)和最小可检测变化(MDC95)。
- 按 Koo 和 Li(ICC)及 Landis 和 Koch(Kappa)的标准进行解读,并提示 Kappa 悖论等常见陷阱。
使用方法
粘贴数据或载入 CSV 或 TXT 文件:第一行为评估者名称,之后每个对象一行,用制表符、分号或逗号分隔。最多可处理 20,000 行、40 列。含缺失值的行会被排除。卡片会自动判断应计算 ICC 还是 Kappa;您可以更改这一判断,并选择评估者列、ICC 模型、加权方式、类别顺序以及 90%、95% 或 99% 置信水平。三个使用虚构数据的示例可供试用。
结果与导出
结果表可复制到 Word 或 Excel,或导出为 CSV;图形可导出为 SVG、矢量 PDF 或 300/600 dpi 的 PNG,支持九种语言;另附方法描述建议。项目可保存并重新加载。
方法
ICC 基于方差分析,依据 Shrout 和 Fleiss(1979),置信区间依据 McGraw 和 Wong(1996);Cohen's Kappa 的渐近标准误依据 Fleiss、Cohen 和 Everitt(1969);Fleiss' Kappa 依据 Fleiss(1971),采用百分位 bootstrap 法。
数据与隐私
所有数据保留在您的浏览器中,不会传输;请勿输入姓名或出生日期。本卡片不能取代统计咨询:用于发表的结果请用另一款软件复核。
常见问题
应报告哪种 ICC 形式?
通常报告 ICC(2,1),即双向随机、绝对一致性,适用于评估者可代表其他评估者且要求数值一致的情形。ICC(3,1) 适用于只关心这几位评估者、系统差异无关紧要的情形;ICC(1,1) 适用于每个对象由不同评估者评分的情形。
评估者几乎总是一致,为什么 Kappa 却很低?
当某一类别极为罕见或极为常见时,Kappa 会下降(Kappa 悖论)。请报告观察一致率,并参考 PABAK 和 Gwet's AC1。
用 Cohen's Kappa 还是 Fleiss' Kappa?
两位评估者用 Cohen's Kappa,三位及以上用 Fleiss' Kappa。多位评估者给出有序评分时,ICC 也适用。
pubmed.info 不使用跟踪 Cookie,也不建立用户画像。访问量以匿名方式统计(不使用 Cookie,IP 地址经截短处理)。Google 广告仅根据您的同意选择展示。