Calcolatore ICC e kappa per l’affidabilità inter-osservatore
Incolli le valutazioni da Excel – una riga per soggetto, una colonna per valutatore. Il riquadro calcola la correlazione intraclasse per le misurazioni o il kappa per le categorie, con intervalli di confidenza, un grafico e un testo dei metodi. Gratuito; i dati restano nel Suo browser.
Maggiori informazioni sullo strumento
Cosa si può fare
- Misurazioni: coefficiente di correlazione intraclasse (ICC) in tutte e sei le forme di Shrout e Fleiss – a una via, a due vie a effetti casuali (concordanza assoluta) e a due vie a effetti misti (coerenza), ciascuna per una singola valutazione e per la media dei valutatori – con intervallo di confidenza e test F.
- Due valutatori, categorie: kappa di Cohen, con categorie ordinate anche kappa pesato linearmente o quadraticamente, oltre alla concordanza osservata e a quella attesa per caso, PABAK e AC1 di Gwet; con due categorie anche concordanza positiva e negativa, indice di prevalenza e di bias.
- Tre o più valutatori: kappa di Fleiss con intervallo di confidenza bootstrap, kappa per categoria, kappa di Light e AC1 di Gwet.
- Per l’ICC: errore standard di misura (SEM) e minima variazione rilevabile (MDC95).
- Interpretazione secondo Koo e Li (ICC) e Landis e Koch (kappa), con note su insidie come il paradosso del kappa.
Come funziona
Incolli i dati o carichi un file CSV o TXT: la prima riga contiene i nomi dei valutatori, poi una riga per soggetto, separata da tabulazione, punto e virgola o virgola. Sono possibili fino a 20.000 righe e 40 colonne. Le righe con valori mancanti vengono escluse. Il riquadro riconosce automaticamente se calcolare un ICC o un kappa; la scelta può essere modificata, così come la selezione delle colonne dei valutatori, il modello di ICC, la ponderazione, l’ordine delle categorie e un livello di confidenza del 90%, 95% o 99%. Tre esempi con dati fittizi permettono di provarlo.
Risultato ed esportazione
Tabella dei risultati da copiare in Word o Excel o in CSV, un grafico in SVG, PDF vettoriale o PNG a 300 o 600 dpi in nove lingue e una proposta di testo dei metodi. I progetti possono essere salvati e ricaricati.
Metodi
ICC da un’analisi della varianza secondo Shrout e Fleiss (1979), intervalli di confidenza secondo McGraw e Wong (1996); kappa di Cohen con errore standard asintotico secondo Fleiss, Cohen ed Everitt (1969); kappa di Fleiss secondo Fleiss (1971) con bootstrap a percentili.
Dati e privacy
Tutti i dati restano nel Suo browser e non vengono trasmessi; non inserisca nomi o date di nascita. Il riquadro non sostituisce una consulenza statistica: per una pubblicazione verifichi i risultati con un secondo software.
Domande frequenti
Quale forma di ICC riportare?
Di solito ICC(2,1), a due vie a effetti casuali con concordanza assoluta, quando i valutatori rappresentano altri valutatori e i valori devono coincidere. ICC(3,1) si applica quando contano solo questi valutatori e le differenze sistematiche sono irrilevanti; ICC(1,1) quando ogni soggetto è stato valutato da valutatori diversi.
Perché il kappa è basso anche se i valutatori concordano quasi sempre?
Con una categoria molto rara o molto frequente il kappa diminuisce (paradosso del kappa). Riporti la concordanza osservata e controlli PABAK e AC1 di Gwet.
Kappa di Cohen o di Fleiss?
Il kappa di Cohen per due valutatori, il kappa di Fleiss per tre o più. Per valutazioni ordinate di più valutatori è adatto l’ICC.
pubmed.info non utilizza cookie di tracciamento e non crea profili degli utenti. Le visite vengono contate in forma anonima (senza cookie, con indirizzi IP abbreviati). Gli annunci di Google compaiono solo in base al consenso espresso.