Azza Temessek a écrit le message suivant : ___________________________________________________________
Bonjour tout le monde,
Dans le cadre des recherches qualitatives, on a de plus en plus recours à l'estimation de la fiabilité des réponses. A côté du Kappa de Cohen, plusieurs autres indices sont proposés comme l'indice de fiabilité de Perreault et Leigh, 1989 ou le PRL (proportional reduction in loss) de Rust et Cooil, 1994.
D'ailleurs ces deux dernières approches sont plus appropriées en recherche marketing que le Kappa de Cohen (selon les propos de ces chercheurs). Leur avantage c'est qu'ils ne dépendent pas du nombre de catégories.
Mais le problème ne réside pas vraiment au niveau du choix de l'indice mais plutôt au niveau de la solution à adopter pour les réponses où il y a un désaccord (même si la fiabilité est bonne).
Par exemple, dans mon cas, j'ai demandé à trois juges (indépendants) de classer une liste d'items dans les dimensions correspondantes. En calculant les indices de fiabilité, j'ai obtenu d'excellents résultats. Sauf que sur les 64 items à classer, 39 ont été classés de la même manière par les trois juges, 9 pour lesquels le désaccord est total et donc il me reste 16 items qui sont classés de la même manière uniquement par deux juges (soit 1&2, soit,1&3, ou 2&3).
Selon ce résultat, les 9 items vont être éliminés, les 39 items ne posent pas de problèmes mais que faire des 16 autres?
Deux principales solutions sont proposées (Perreault et Leigh, 1989):
– pour les désaccords des deux premiers juges on peut faire appel à un troisième juge (qui n'était pas déjà impliqué dans cette purification) pour trancher.
– on peut résoudre le désaccord par une discussion entre les juges en désaccord
Avec la première solution, on peut se retrouver de nouveau dans une autre situation de désaccord avec le nouveau juge! Dans la deuxième solution, le juge ayant le plus d'influence aura le dernier mot qui ne sera peut être pas le bon!
A choisir moi j'opterais pour la première solution qui semble plus simple (c'est pas toujours facile de réunir les juges!!!).
Une autre question aussi que soulève la purification qualitative est le nombre optimal de juge.. Il me semble qu'il n'y a pas de réponses claires sur ce sujet (corrigez-moi si je me trompe). Rust et Cooil, 1994 ont essayé à ce niveau de montrer le lien entre l'indice de fiabilité, le nombre de catégories et le nombre de juges (Les auteurs fournissent des tables pour un nombre de juges allant de 1à 20 où on peut lire l'indice de fiabilité par rapport à la proportion d'accord entre les juges). Lorsque la proportion d'accord est faible (les juges ne sont pas sur la même longueur d'ondes), il vaut mieux que le nombre de juges soit important pour avoir de bons indices de fiabilité. Mais là encore on ne peut savoir le nombre optimal de juges qu'a posteriori.
Vous pouvez consulter l'article en question dans les documents du groupe. J'attends vos commentaires
_________________________________________________________
Aucun commentaire:
Enregistrer un commentaire