pubmed.info
Drag tiles by their title, resize at the bottom edge.

Calculadora de ICC e kappa para confiabilidade interavaliadores

Cole as avaliações do Excel – uma linha por sujeito, uma coluna por avaliador. O bloco calcula a correlação intraclasse para medidas ou o kappa para categorias, com intervalos de confiança, uma figura e um texto de métodos. Grátis; os dados ficam no seu navegador.

Mais sobre esta ferramenta

O que você pode fazer

  • Medidas: coeficiente de correlação intraclasse (ICC) nas seis formas de Shrout e Fleiss – um fator, dois fatores aleatórios (concordância absoluta) e dois fatores mistos (consistência), cada uma para uma única avaliação e para a média dos avaliadores – com intervalo de confiança e teste F.
  • Dois avaliadores, categorias: kappa de Cohen e, com categorias ordenadas, também kappa com ponderação linear ou quadrática, além da concordância observada e da esperada pelo acaso, PABAK e AC1 de Gwet; com duas categorias, também concordância positiva e negativa, índice de prevalência e índice de viés.
  • Três ou mais avaliadores: kappa de Fleiss com intervalo de confiança por bootstrap, kappa por categoria, kappa de Light e AC1 de Gwet.
  • Para o ICC: erro padrão da medida (SEM) e mudança mínima detectável (MDC95).
  • Interpretação segundo Koo e Li (ICC) e Landis e Koch (kappa), com observações sobre armadilhas como o paradoxo do kappa.

Como funciona

Cole seus dados ou carregue um arquivo CSV ou TXT: a primeira linha traz os nomes dos avaliadores, depois uma linha por sujeito, separadas por tabulação, ponto e vírgula ou vírgula. São possíveis até 20.000 linhas e 40 colunas. Linhas com valores ausentes são excluídas. O bloco detecta automaticamente se deve calcular um ICC ou um kappa; você pode mudar isso, selecionar as colunas dos avaliadores e escolher o modelo de ICC, a ponderação, a ordem das categorias e um nível de confiança de 90%, 95% ou 99%. Três exemplos com dados fictícios permitem experimentar.

Resultado e exportação

Tabela de resultados para copiar no Word ou no Excel ou em CSV, uma figura em SVG, PDF vetorial ou PNG a 300 ou 600 dpi em nove idiomas e uma sugestão de texto de métodos. Os projetos podem ser salvos e carregados novamente.

Métodos

ICC a partir de uma análise de variância segundo Shrout e Fleiss (1979), intervalos de confiança segundo McGraw e Wong (1996); kappa de Cohen com erro padrão assintótico segundo Fleiss, Cohen e Everitt (1969); kappa de Fleiss segundo Fleiss (1971) com bootstrap percentil.

Dados e privacidade

Todos os dados ficam no seu navegador e não são transmitidos; não digite nomes nem datas de nascimento. O bloco não substitui uma assessoria estatística: confira os resultados destinados a publicação com um segundo software.

Perguntas frequentes

Qual forma de ICC devo relatar?

Geralmente o ICC(2,1), de dois fatores aleatórios com concordância absoluta, quando os avaliadores representam outros avaliadores e os valores devem concordar. O ICC(3,1) se aplica quando só esses avaliadores importam e as diferenças sistemáticas são irrelevantes; o ICC(1,1), quando cada sujeito foi avaliado por avaliadores diferentes.

Por que o kappa é baixo se os avaliadores quase sempre concordam?

Com uma categoria muito rara ou muito comum, o kappa cai (paradoxo do kappa). Relate a concordância observada e confira o PABAK e o AC1 de Gwet.

Kappa de Cohen ou de Fleiss?

Kappa de Cohen para dois avaliadores, kappa de Fleiss para três ou mais. Para avaliações ordenadas feitas por vários avaliadores, o ICC é adequado.

O pubmed.info não usa cookies de rastreamento nem cria perfis de usuário. As visitas são contadas de forma anônima (sem cookies, com endereços IP encurtados). Anúncios do Google só aparecem de acordo com a sua escolha de consentimento.