Statistiques - Coefficient kappa de Cohen

Cohen's kappa coefficientest une statistique qui mesure l'accord inter-juges pour les items qualitatifs (catégoriels). On pense généralement que c'est une mesure plus robuste que le simple calcul du pourcentage d'accord, puisque k prend en compte l'accord survenant par hasard. Le kappa de Cohen mesure l'accord entre deux évaluateurs qui classent chacun N items en C catégories mutuellement exclusives.

Le coefficient kappa de Cohen est défini et donné par la fonction suivante:

Formule

Où -

• $ {p_0} $ = accord relatif observé entre les évaluateurs.

• $ {p_e} $ = la probabilité hypothétique d'accord fortuit.

$ {p_0} $ et $ {p_e} $ sont calculés en utilisant les données observées pour calculer les probabilités de chaque observateur disant au hasard chaque catégorie. Si les évaluateurs sont en accord complet, alors $ {k} $ = 1. S'il n'y a pas d'accord entre les évaluateurs autre que ce qui serait attendu par hasard (comme indiqué par $ {p_e} $), $ {k} $ ≤ 0 .

Exemple

Problem Statement:

Supposons que vous analysiez des données relatives à un groupe de 50 personnes demandant une subvention. Chaque proposition de subvention a été lue par deux lecteurs et chaque lecteur a répondu «Oui» ou «Non» à la proposition. Supposons que les données sur le nombre de désaccords soient les suivantes, où A et B sont des lecteurs, les données sur la diagonale oblique à gauche montrent le nombre d'accords et les données sur la diagonale oblique à droite, les désaccords:

		B
		Oui	Non
UNE	Oui	20	5
	Non	dix	15

Calculez le coefficient kappa de Cohen.

Solution:

Notez qu'il y a eu 20 propositions qui ont été accordées à la fois par le lecteur A et le lecteur B et 15 propositions qui ont été rejetées par les deux lecteurs. Ainsi, l'accord proportionné observé est

Pour calculer $ {p_e} $ (la probabilité d'accord aléatoire) nous notons que:

• Le lecteur A a répondu «oui» à 25 candidats et «non» à 25 candidats. Ainsi, le lecteur A a dit «oui» 50% du temps.

• Le lecteur B a répondu «oui» à 30 candidats et «non» à 20 candidats. Ainsi, le lecteur B a dit «oui» 60% du temps.

En utilisant la formule P (A et B) = P (A) x P (B) où P est la probabilité qu'un événement se produise.

La probabilité que les deux disent «Oui» au hasard est de 0,50 x 0,60 = 0,30 et la probabilité que les deux disent «Non» est de 0,50 x 0,40 = 0,20. Ainsi, la probabilité globale de concordance aléatoire est $ {p_e} $ = 0,3 + 0,2 = 0,5.

Alors maintenant, en appliquant notre formule pour le Kappa de Cohen, nous obtenons: