<div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">Message: 6<br>
Date: Mon, 26 Apr 2010 09:20:20 +0100<br>
From: "Georgios Paltoglou" <<a href="mailto:gpalto@gmail.com">gpalto@gmail.com</a>><br>
Subject: [Corpora-List] Leave-one out  vs. 10-fold cross validation<br>
To: <<a href="mailto:Corpora@uib.no">Corpora@uib.no</a>><br>
<br>
Hello to everyone,<br>
<br>
I just wanted to ask whether anyone is aware of any formal reasons (e.g.<br>
error distribution, decreased validity of results) for opting for 10-fold<br>
cross validation instead of leave-one out, apart from the obvious reason<br>
that it is more efficient and less time-consuming.<br>
<br>
<br>
<br>
My 2 cents thought is that leave-one seems more realistic in the sense that<br>
if the overall aim of a system is to provide the best classification for new<br>
examples in an "application environment" given some training data, one would<br>
naturally train it on the largest possible training subset.<br>
<br>
<br>
<br>
Thank you for your responses.<br>
<br>
<br>
<br>
Best regards,<br>
<br>
George<br>
<br></blockquote><div><br></div><div>HI George,</div><div>I will not answer your question, but will provide a case where leave one out did not work for me. When I worked with Arabic vowel restoration, the classification had to be done at the letter level, but the evaluation had to be reported at the word level. Also, there were several settings in which the per letter accuracy did not correlate with the per word accuracy. In some case, you just don't have the choice. </div>
<div> </div></div>-- <br>Emad Soliman Ali Mohamed<br>aka Emad Nawfal<br>Doctoral Candidate, Department of Linguistics,<br>Indiana University, Bloomington<br><a href="http://jones.ling.indiana.edu/~emadnawfal">http://jones.ling.indiana.edu/~emadnawfal</a><br>