Having identified your desired metric for comparison, and having assumedly calculated it as a micro or macro average, it would be beneficial to perform an analysis ensure that the increase (or decrease) observed in the comparison of your overall results is a result of a non-random effect.  Which method to use, and how to apply it, could be determined by reading the paper titled <i>Statistical comparisons of classifiers over multiple data sets.</i><div>

<br></div><div>Demšar J. Statistical comparisons of classifiers over multiple data sets. The Journal of Machine Learning Research. 2006;7:1-30. Available at: <a href="http://portal.acm.org/citation.cfm?id=1248547.1248548">http://portal.acm.org/citation.cfm?id=1248547.1248548</a><br>

<div><br></div><div><br><div class="gmail_quote">On Sun, May 8, 2011 at 3:28 PM, Emad Mohamed <span dir="ltr"><<a href="mailto:emohamed@umail.iu.edu">emohamed@umail.iu.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">

<div dir="ltr"><font size="4">Dear Corpora Listers,</font><div><font size="4"><br></font></div><div><font size="4">I have run a number of POS tagging experiments in a 5 fold cross validation setting. Imagine the results of the 5 folds (in terms of accuracy) are these fictitious numbers:</font><div>


<font size="4"><br></font></div><div><font size="4">93.4%    93.7%     92.9%     93%    93.1%</font></div><div><font size="4"><br></font></div><div>
<font size="4">I then added feature x to the feature set, which gave the following results:</font></div><div><font size="4"><br></font></div><div><font size="4">93.7%  94%       92.7%       93.2%   93.4%</font></div>
<div><font size="4"><br></font></div><div><font size="4">My question is: Do I need to use any significance test to show  that adding feature x really helps? if no, why not? and if yes, what are the appropriate tests in such a case?</font></div>


<div><br></div><div>Thank you in anticipation </div><div><br clear="all"><font color="#888888"><br>-- <br><div dir="ltr"><font size="1"><span style="color:rgb(255, 0, 0);background-color:rgb(255, 204, 51);font-family:comic sans ms,sans-serif">Emad Soliman Ali Mohamed </span><br style="color:rgb(255, 0, 0);background-color:rgb(255, 204, 51);font-family:comic sans ms,sans-serif">


<span style="color:rgb(255, 0, 0);background-color:rgb(255, 204, 51);font-family:comic sans ms,sans-serif">aka Emad Nawfal </span><span style="color:rgb(255, 0, 0);font-family:'comic sans ms', sans-serif">(<b>عماد نوفل</b>)</span><br style="color:rgb(255, 0, 0);background-color:rgb(255, 204, 51);font-family:comic sans ms,sans-serif">


</font></div><div dir="ltr"><font size="1"><span style="color:rgb(255, 0, 0);font-family:'comic sans ms', sans-serif">Suez Canal University, Egypt</span></font></div>
</font></div></div></div>
<br>_______________________________________________<br>
UNSUBSCRIBE from this page: <a href="http://mailman.uib.no/options/corpora" target="_blank">http://mailman.uib.no/options/corpora</a><br>
Corpora mailing list<br>
<a href="mailto:Corpora@uib.no">Corpora@uib.no</a><br>
<a href="http://mailman.uib.no/listinfo/corpora" target="_blank">http://mailman.uib.no/listinfo/corpora</a><br>
<br></blockquote></div><br></div></div>