<div dir="ltr">there's also Krippendorff's alpha, which corrects for some biases  in cohen's kappa (it can also be used with multiple coders and missing data):<br><br><a href="http://www.asc.upenn.edu/usr/krippendorff/dogs.html">http://www.asc.upenn.edu/usr/krippendorff/dogs.html</a><br>
<br>cheers<br><br><div class="gmail_quote">2008/10/1 Francis Tyers <span dir="ltr"><<a href="mailto:ftyers@prompsit.com">ftyers@prompsit.com</a>></span><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
El mié, 01-10-2008 a las 11:35 +0200, Steen, G.J. escribió:<br>
> Dear all,<br>
><br>
> one way to measure inter-coder reliability is Cohen's kappa. But this<br>
> can only be applied to pairs of raters, at least in the standard use.<br>
><br>
> One solution to the problem of having more than two coders is to<br>
> average Cohen's kappas across all possible pairs of raters, but I am<br>
> not sure how this is looked upon in the testing community.<br>
><br>
> Another solution to this problem appears to be Fleiss' kappa, which<br>
> can accommodate more raters in one reliability analysis. What sort of<br>
> experience do you have with this statistic? And are there any software<br>
> packages that include it (since SPSS does not seem to have it)?<br>
><br>
> Any advice will be greatly appreciated.<br>
<br>
There are Java and Python implementations of Fleiss' kappa on Wikibooks:<br>
<br>
<a href="http://en.wikibooks.org/wiki/Algorithm_implementation/Statistics/Fleiss%27_kappa" target="_blank">http://en.wikibooks.org/wiki/Algorithm_implementation/Statistics/Fleiss%<br>
27_kappa</a><br>
<br>
There are some other statistics outlined on Wikipedia (which I suppose<br>
you've already seen):<br>
<br>
<a href="http://en.wikipedia.org/wiki/Interrater_reliability" target="_blank">http://en.wikipedia.org/wiki/Interrater_reliability</a><br>
<br>
The choice of statistic largely depends on the experiment.<br>
<br>
Fran<br>
<br>
<br>
_______________________________________________<br>
Corpora mailing list<br>
<a href="mailto:Corpora@uib.no">Corpora@uib.no</a><br>
<a href="http://mailman.uib.no/listinfo/corpora" target="_blank">http://mailman.uib.no/listinfo/corpora</a><br>
</blockquote></div><br></div>