<div dir="ltr"><br clear="all"><div><p style="margin:0px 0px 1em;padding:0px;border:0px;font-size:14px;vertical-align:baseline;clear:both;word-wrap:break-word;color:rgb(17,17,17);font-family:'Helvetica Neue',Arial,sans-serif;line-height:19.59375px;background-color:rgb(253,253,253)">

For the task of building a humanly annotated corpora:</p><p style="margin:0px 0px 1em;padding:0px;border:0px;font-size:14px;vertical-align:baseline;clear:both;word-wrap:break-word;color:rgb(17,17,17);font-family:'Helvetica Neue',Arial,sans-serif;line-height:19.59375px;background-color:rgb(253,253,253)">

There are annotation tasks where the items belong to multiple categories and annotators have to mark each category to which the item belongs.</p><p style="margin:0px 0px 1em;padding:0px;border:0px;font-size:14px;vertical-align:baseline;clear:both;word-wrap:break-word;color:rgb(17,17,17);font-family:'Helvetica Neue',Arial,sans-serif;line-height:19.59375px;background-color:rgb(253,253,253)">

e.g: the same coder c1 assigns the two categories (v1,v2) to the item '1'</p><blockquote style="margin:0px 0px 10px;padding:10px;border-width:0px 0px 0px 2px;border-left-style:solid;border-left-color:rgb(255,235,142);font-size:14px;vertical-align:baseline;quotes:none;background-color:rgb(255,249,227);color:rgb(17,17,17);font-family:'Helvetica Neue',Arial,sans-serif;line-height:19.59375px">

<p style="margin:0px;padding:0px;border:0px;vertical-align:baseline;clear:both;word-wrap:break-word">task = AnnotationTask(data=[(‘c1’, ‘1’, ‘v1’),(‘c1’, ‘1’, ‘v2’),...])</p></blockquote><p style="margin:0px 0px 1em;padding:0px;border:0px;font-size:14px;vertical-align:baseline;clear:both;word-wrap:break-word;color:rgb(17,17,17);font-family:'Helvetica Neue',Arial,sans-serif;line-height:19.59375px;background-color:rgb(253,253,253)">

So should such multiple categories be represented as bitstrings , such that for n categories there would be a whopping 2^n assignments ? This would surely make the inter annotator agreement (IAA) scores very low for minor differences.</p>

<p style="margin:0px 0px 1em;padding:0px;border:0px;font-size:14px;vertical-align:baseline;clear:both;word-wrap:break-word;color:rgb(17,17,17);font-family:'Helvetica Neue',Arial,sans-serif;line-height:19.59375px;background-color:rgb(253,253,253)">

So what is the best way to compute annotation agreement for tasks that require multiple assignment to an item? And how to represent categories for such cases?</p></div>-- <br><div dir="ltr"><div><font color="#888888"><font color="#888888"><font style="color:rgb(0,0,0)" size="1"><span style="font-family:verdana,sans-serif;border-collapse:collapse"><b><span style="border-width:2px 0px 0px;border-style:solid;border-color:rgb(213,15,37);padding-top:3px;font-family:tahoma,sans-serif;margin-top:2px"><br>

<br></span></b></span></font></font></font></div></div>
</div>