Dear Emad,<div><br></div><div>you would need a measure averaged over classes --  for example for the recall value, the number of correctly classified instances divided by the overall number of instances.</div><div><br></div>
<div>Alexander<br><br><div class="gmail_quote">2012/12/2 Emad Mohamed <span dir="ltr"><<a href="mailto:emohamed@umail.iu.edu" target="_blank">emohamed@umail.iu.edu</a>></span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr">Hello Corpora members,<br>I have a corpus of 80,000 words in which each word is assigned either the class S or the class E. Class S occurs 72,000 times while class E occurs 8,000 times only.<br>I'm wondering what the best way to evaluate the classifier performance should be. I have randomly selected a dev set (5%) and a test set (10%). I'm mainly interested in predicting which words are class E.<br>

<br>I've read this page:<br><a href="http://webdocs.cs.ualberta.ca/~eisner/measures.html" target="_blank">webdocs.cs.ualberta.ca/~eisner/measures.html</a><br>but I'm still a little bit confused. Do we use specificity in linguistics papers? Should I report these measures for each of the two classes or a as a general number? Does this make sense / a difference?<br>

<br>Thank you so much.<span class="HOEnZb"><font color="#888888"><br clear="all"><br>-- <br><div dir="ltr"><font size="1">Emad Mohamed<br>aka Emad Nawfal<br><span dir="auto">Université du Québec à Montréal</span><br></font></div>
<br>
</font></span></div>
<br>_______________________________________________<br>
UNSUBSCRIBE from this page: <a href="http://mailman.uib.no/options/corpora" target="_blank">http://mailman.uib.no/options/corpora</a><br>
Corpora mailing list<br>
<a href="mailto:Corpora@uib.no">Corpora@uib.no</a><br>
<a href="http://mailman.uib.no/listinfo/corpora" target="_blank">http://mailman.uib.no/listinfo/corpora</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br>Alexander Osherenko<br><div>Dr. rer. nat, CEO and R&D</div><div><a href="http://www.socioware.de/" target="_blank"><img src="http://www.socioware.de/images/socioware_ultrasmall.png"></a></div>
<br>
</div>