<div dir="auto">Intraclass Correlation Coefficient, as is usually used for reliability estimates :) <br><br><div data-smartmail="gmail_signature">Brielle C. Stark, PhD<br>Assistant Professor<br>Department of Speech, Language and Hearing Sciences<br>Program in Neuroscience, Cognitive Science Program<br>Indiana University Bloomington<br><br>sent from mobile, please excuse errors</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Apr 14, 2023, 20:19 Brian Macwhinney <<a href="mailto:macw@andrew.cmu.edu">macw@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Brie,<br>
    Sounds like a good idea, but does ICC refer to:  International Criminal Court?  Illinois Commerce Commission? International Cricket Council? Illinois Central College? International Color Consortium? International Christian Concern? or maybe the Industrial Chimney Company?  So far, googling this hasn’t helped.<br>
<br>
— Brian MacWhinney<br>
<br>
> On Apr 14, 2023, at 4:28 PM, Brielle Stark <<a href="mailto:brielle.stark@gmail.com" target="_blank" rel="noreferrer">brielle.stark@gmail.com</a>> wrote:<br>
> <br>
> One way we've done it is to look at number of utterances using outside tools like ICC. That's also a more robust metric for that then percent agreement, I'd argue. <br>
> <br>
> Brielle C. Stark, PhD<br>
> Assistant Professor<br>
> Department of Speech, Language and Hearing Sciences<br>
> Program in Neuroscience, Cognitive Science Program<br>
> Indiana University Bloomington<br>
> <br>
> sent from mobile, please excuse errors<br>
> <br>
> On Fri, Apr 14, 2023, 16:13 Leonid Spektor <<a href="mailto:spektor@andrew.cmu.edu" target="_blank" rel="noreferrer">spektor@andrew.cmu.edu</a>> wrote:<br>
> Cynthia,<br>
> <br>
> For RELY to work the speaker utterance in the first file must have corresponding utterance of the same speaker in the second file. Your example will produce an error that utterance do not match.<br>
> <br>
> Perhaps someone else can have a better suggestion.<br>
> <br>
> <br>
> Leonid.<br>
> <br>
>> On Apr 14, 2023, at 15:54, Cynthia Audisio <<a href="mailto:cpaudisio@gmail.com" target="_blank" rel="noreferrer">cpaudisio@gmail.com</a>> wrote:<br>
>> <br>
>> Dear chibolts,<br>
>> <br>
>> With some colleagues, we are trying to analyze inter-rater reliability of utterance segmentation in CHAT transcripts of spontaneous situations. We were wondering whether we can use RELY for this purpose. <br>
>> <br>
>> Here is an example of how transcripts by two different transcribers might look:<br>
>> <br>
>> Transcriber 1:<br>
>> CHI: Mami, tenés < el vasito > [/] el vasito de Juan ?<br>
>> <br>
>> Transcriber 2:<br>
>> CHI: Mami, tenés el vasito ?<br>
>> CHI: el vasito de Juan ? <br>
>> <br>
>> Best,<br>
>> Cynthia<br>
>> <br>
>> -- <br>
>> You received this message because you are subscribed to the Google Groups "chibolts" group.<br>
>> To unsubscribe from this group and stop receiving emails from it, send an email to <a href="mailto:chibolts%2Bunsubscribe@googlegroups.com" target="_blank" rel="noreferrer">chibolts+unsubscribe@googlegroups.com</a>.<br>
>> To view this discussion on the web visit <a href="https://groups.google.com/d/msgid/chibolts/3902be92-562e-4e3f-b4cd-35328e60f465n%40googlegroups.com" rel="noreferrer noreferrer" target="_blank">https://groups.google.com/d/msgid/chibolts/3902be92-562e-4e3f-b4cd-35328e60f465n%40googlegroups.com</a>.<br>
> <br>
> <br>
> -- <br>
> You received this message because you are subscribed to the Google Groups "chibolts" group.<br>
> To unsubscribe from this group and stop receiving emails from it, send an email to <a href="mailto:chibolts%2Bunsubscribe@googlegroups.com" target="_blank" rel="noreferrer">chibolts+unsubscribe@googlegroups.com</a>.<br>
> To view this discussion on the web visit <a href="https://groups.google.com/d/msgid/chibolts/FC7F6924-A5ED-4586-89F6-2130D5EE1442%40andrew.cmu.edu" rel="noreferrer noreferrer" target="_blank">https://groups.google.com/d/msgid/chibolts/FC7F6924-A5ED-4586-89F6-2130D5EE1442%40andrew.cmu.edu</a>.<br>
> <br>
> -- <br>
> You received this message because you are subscribed to the Google Groups "chibolts" group.<br>
> To unsubscribe from this group and stop receiving emails from it, send an email to <a href="mailto:chibolts%2Bunsubscribe@googlegroups.com" target="_blank" rel="noreferrer">chibolts+unsubscribe@googlegroups.com</a>.<br>
> To view this discussion on the web visit <a href="https://groups.google.com/d/msgid/chibolts/CAEs2yTqZYz-O7U9Kw4mQ1uDxkggmRSyuJqs1Kp5wiJCAKbpqJQ%40mail.gmail.com" rel="noreferrer noreferrer" target="_blank">https://groups.google.com/d/msgid/chibolts/CAEs2yTqZYz-O7U9Kw4mQ1uDxkggmRSyuJqs1Kp5wiJCAKbpqJQ%40mail.gmail.com</a>.<br>
<br>
</blockquote></div>

<p></p>

-- <br />
You received this message because you are subscribed to the Google Groups "chibolts" group.<br />
To unsubscribe from this group and stop receiving emails from it, send an email to <a href="mailto:chibolts+unsubscribe@googlegroups.com">chibolts+unsubscribe@googlegroups.com</a>.<br />
To view this discussion on the web visit <a href="https://groups.google.com/d/msgid/chibolts/CAEs2yTo%2BWE%2Bk-kk-kf9aU%2BVqw3fvgyvR_B7OT4Y4yUg4DF_jgQ%40mail.gmail.com?utm_medium=email&utm_source=footer">https://groups.google.com/d/msgid/chibolts/CAEs2yTo%2BWE%2Bk-kk-kf9aU%2BVqw3fvgyvR_B7OT4Y4yUg4DF_jgQ%40mail.gmail.com</a>.<br />