<div dir="ltr">Hi,<div><br></div><div style>I have used McNemar's test for calculating significance in the train set/ test set scenario, evaluating for accuracy and weighted f-measure across labels. Here's a good calculator:</div><div style><br></div><div style><a href="http://vassarstats.net/propcorr.html">http://vassarstats.net/propcorr.html</a><br></div><div style><br></div><div style>You need to input 4 numbers:</div><div style>a: # times where both system 1 & system 2 are correct</div><div style>b: # times where system 1 is correct & system 2 is incorrect</div><div style>c: # times where system 2 is correct & system 1 is incorrect</div><div style>d: # times where both are incorrect</div><div style><br></div><div style>Cheers,</div><div style>Noura</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 10, 2014 at 10:36 AM, Zeljko Agic <span dir="ltr"><<a href="mailto:zeljko.agic@gmail.com" target="_blank">zeljko.agic@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 2014-11-10 12:28, Jack Alan wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<cut /><span class=""><br>
Could someone pinpoint me to the way of calculating the statistical<br>
significant between them?<br>
</span></blockquote>
<br>
Hi,<br>
<br>
take a look at these two papers, and give the bootstrap test and approximate randomization a try as well. :-)<br>
<br>
<a href="http://www.aclweb.org/anthology/D12-1091" target="_blank">http://www.aclweb.org/<u></u>anthology/D12-1091</a><br>
<a href="http://www.aclweb.org/anthology/W/W14/W14-1601.pdf" target="_blank">http://www.aclweb.org/<u></u>anthology/W/W14/W14-1601.pdf</a><br>
<br>
Bests,<br>
Z.<div class="HOEnZb"><div class="h5"><br>
<br>
______________________________<u></u>_________________<br>
UNSUBSCRIBE from this page: <a href="http://mailman.uib.no/options/corpora" target="_blank">http://mailman.uib.no/options/<u></u>corpora</a><br>
Corpora mailing list<br>
<a href="mailto:Corpora@uib.no" target="_blank">Corpora@uib.no</a><br>
<a href="http://mailman.uib.no/listinfo/corpora" target="_blank">http://mailman.uib.no/<u></u>listinfo/corpora</a><br>
</div></div></blockquote></div><br></div>