<div dir="ltr"><div dir="ltr">Pada Sel, 7 Nov 2023 pukul 16.54 Guillaume Jacques <<a href="mailto:rgyalrongskad@gmail.com">rgyalrongskad@gmail.com</a>> menulis:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr">Dear Martin,</div><br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><p>As you say, the reliability of these studies hinges on the
      cognate coding, which is done manually, by humans with their
      biases. I'm wondering if there is a way to measure the degree to
      which different linguists agree or not (by some kind of kappa
      statistic), and a way to identify or exclude systematic biases
      (which are part of normal human behaviour). </p></div></blockquote><div>This is not something that has been done systematically in the past, but indeed a measure of inter-annotator agreement should be done in future research on phylogenies (when large teams are involved).</div></div></div></blockquote><div><br></div><div>What would such an inter-annotator agreement score tell you? If the<br>annotator are novices just looking at wordlists obviously their<br>cognate coding will not be of patricular interest (but for figures on<br>agreement, see Fodor & Rapai 2006). If they are experts on the family<br>in question, they will have read each other's stuff, and their<br>judgments will not be independent.<br><br>I think the real lurking factor of interest is the implicit<br>subgrouping any human has to use for cognate coding in large-ish<br>families.<br><br>all the best,<br>H<br></div><div><br></div><div>Fodor, István & J. Rapai. (2006) Une nouvelle objection à la méthode des "rassemblances" de Joseph H. Greenberg, fondée sur une expérimentation psycholinguistique (psychométrique).  Bulletin de la Société de linguistique de Paris CI(1). 439-456.<br></div><div><br></div><div><br></div><div><br></div><div> </div></div></div>