Calculateur d’ICC et de kappa pour la fiabilité inter-juges
Collez des cotations depuis Excel – une ligne par sujet, une colonne par évaluateur. La tuile calcule la corrélation intraclasse pour des mesures ou le kappa pour des catégories, avec intervalles de confiance, une figure et un texte de méthodes. Gratuit ; les données restent dans votre navigateur.
En savoir plus sur cet outil
Ce que vous pouvez faire
- Mesures : coefficient de corrélation intraclasse (ICC) sous ses six formes selon Shrout et Fleiss – à un facteur, à deux facteurs aléatoires (accord absolu) et à deux facteurs mixtes (cohérence), chacune pour une cotation unique et pour la moyenne des évaluateurs – avec intervalle de confiance et test F.
- Deux évaluateurs, catégories : kappa de Cohen, et pour des catégories ordonnées kappa pondéré linéaire ou quadratique, plus l’accord observé et l’accord attendu par hasard, le PABAK et l’AC1 de Gwet ; avec deux catégories, également l’accord positif et négatif, l’indice de prévalence et l’indice de biais.
- Trois évaluateurs ou plus : kappa de Fleiss avec intervalle de confiance par bootstrap, kappa par catégorie, kappa de Light et AC1 de Gwet.
- Pour l’ICC : erreur standard de mesure (SEM) et changement minimal détectable (MDC95).
- Interprétation selon Koo et Li (ICC) et Landis et Koch (kappa), avec des remarques sur les pièges tels que le paradoxe du kappa.
Comment ça marche
Collez vos données ou chargez un fichier CSV ou TXT : la première ligne contient les noms des évaluateurs, puis une ligne par sujet, séparée par tabulation, point-virgule ou virgule. Jusqu’à 20 000 lignes et 40 colonnes sont possibles. Les lignes avec valeurs manquantes sont exclues. La tuile détecte automatiquement s’il faut calculer un ICC ou un kappa ; vous pouvez modifier ce choix, sélectionner les colonnes d’évaluateurs, choisir le modèle d’ICC, la pondération, l’ordre des catégories et un niveau de confiance de 90, 95 ou 99 %. Trois exemples avec des données fictives permettent de l’essayer.
Résultat et export
Tableau de résultats à copier dans Word ou Excel ou en CSV, une figure en SVG, PDF vectoriel ou PNG à 300 ou 600 dpi en neuf langues, et une proposition de texte de méthodes. Les projets peuvent être enregistrés et rechargés.
Méthodes
ICC issu d’une analyse de variance selon Shrout et Fleiss (1979), intervalles de confiance selon McGraw et Wong (1996) ; kappa de Cohen avec erreur standard asymptotique selon Fleiss, Cohen et Everitt (1969) ; kappa de Fleiss selon Fleiss (1971) avec bootstrap par percentiles.
Données et confidentialité
Toutes les données restent dans votre navigateur et ne sont pas transmises ; merci de ne saisir ni noms ni dates de naissance. La tuile ne remplace pas un conseil statistique : pour une publication, vérifiez les résultats avec un second logiciel.
Questions fréquentes
Quelle forme d’ICC rapporter ?
Le plus souvent l’ICC(2,1), à deux facteurs aléatoires avec accord absolu, lorsque les évaluateurs représentent d’autres évaluateurs et que les valeurs doivent concorder. L’ICC(3,1) s’applique lorsque seuls ces évaluateurs comptent et que les différences systématiques sont sans importance ; l’ICC(1,1) lorsque chaque sujet a été coté par des évaluateurs différents.
Pourquoi le kappa est-il faible alors que les évaluateurs sont presque toujours d’accord ?
Avec une catégorie très rare ou très fréquente, le kappa chute (paradoxe du kappa). Rapportez l’accord observé et consultez le PABAK et l’AC1 de Gwet.
Kappa de Cohen ou de Fleiss ?
Le kappa de Cohen pour deux évaluateurs, le kappa de Fleiss pour trois ou plus. Pour des cotations ordonnées par plusieurs évaluateurs, l’ICC est adapté.
pubmed.info ne dépose aucun cookie de suivi et ne crée aucun profil d’utilisateur. Les visites sont comptées de façon anonyme (sans cookies, adresses IP tronquées). Les publicités de Google n’apparaissent que selon votre choix de consentement.