評価者間信頼性のための ICC・κ 係数計算ツール
Excel から評価データを貼り付けます(1 行に 1 対象、1 列に 1 評価者)。タイルが、測定値には級内相関係数を、カテゴリには κ 係数を、信頼区間、図、方法の記述とともに算出します。無料、データはブラウザ内にとどまります。
このツールの詳細
できること
- 測定値:Shrout と Fleiss による 6 形式すべての級内相関係数(ICC)。一元配置、二元配置変量(絶対一致)、二元配置混合(一貫性)の各モデルについて、単一評価と評価者平均のそれぞれを、信頼区間と F 検定付きで算出します。
- 評価者 2 人、カテゴリ:Cohen の κ、順序カテゴリでは線形または二次の重み付き κ に加え、観察一致率と偶然による期待一致率、PABAK、Gwet の AC1。2 カテゴリの場合は陽性一致率と陰性一致率、有病率指数、バイアス指数も算出します。
- 評価者 3 人以上:ブートストラップ信頼区間付きの Fleiss の κ、カテゴリごとの κ、Light の κ、Gwet の AC1。
- ICC について:測定の標準誤差(SEM)と最小可検変化量(MDC95)。
- Koo と Li(ICC)および Landis と Koch(κ)による解釈と、κ のパラドックスなどの落とし穴に関する注意。
使い方
データを貼り付けるか、CSV または TXT ファイルを読み込みます。1 行目に評価者名、続いて 1 対象 1 行で、タブ、セミコロン、カンマで区切ります。最大 20,000 行・40 列まで対応します。欠測値のある行は除外されます。タイルは ICC と κ のどちらを計算するかを自動で判定します。判定の変更、評価者列の選択、ICC モデル、重み付け、カテゴリの順序、信頼水準 90%、95%、99% の選択が可能です。架空データによる 3 つの例で試すことができます。
出力とエクスポート
Word や Excel にコピーできる結果表または CSV、9 言語に対応した SVG、ベクター PDF、300・600 dpi の PNG の図、方法の記述案を出力できます。プロジェクトは保存して再度読み込めます。
手法
ICC は Shrout と Fleiss(1979)による分散分析から、信頼区間は McGraw と Wong(1996)に基づいて算出します。Cohen の κ は Fleiss、Cohen、Everitt(1969)による漸近標準誤差付き、Fleiss の κ は Fleiss(1971)に基づき、パーセンタイル・ブートストラップを用います。
データとプライバシー
データはすべてブラウザ内にとどまり、送信されません。氏名や生年月日は入力しないでください。このタイルは統計の専門家への相談に代わるものではありません。論文発表に用いる結果は、別のソフトウェアで確認してください。
よくある質問
どの ICC 形式を報告すべきですか?
評価者が他の評価者の代表であり、値そのものの一致が求められる場合は、通常 ICC(2,1)(二元配置変量、絶対一致)を用います。ICC(3,1) はこれらの評価者だけが対象で系統的な差が問題にならない場合に、ICC(1,1) は各対象を異なる評価者が評価した場合に用います。
評価者がほぼ常に一致しているのに κ が低いのはなぜですか?
非常にまれなカテゴリや非常に多いカテゴリがあると、κ は低下します(κ のパラドックス)。観察一致率を報告し、PABAK と Gwet の AC1 を確認してください。
Cohen の κ と Fleiss の κ のどちらを使いますか?
評価者が 2 人なら Cohen の κ、3 人以上なら Fleiss の κ を用います。複数の評価者による順序評価には ICC が適しています。
pubmed.info はトラッキング Cookie を使用せず、ユーザープロファイルも作成しません。アクセスは匿名で集計されます(Cookie なし、IP アドレスは短縮)。Google の広告は、お客様の同意設定に従ってのみ表示されます。