<div dir="ltr">What are the "unknown ways" that one NLP researcher's conditions might differ from another NLP researcher's?  If you're empirically measuring runtime, you might have a point.  But if you're using a standardized dataset and automatic evaluation, it seems reasonable to report others' results for comparison.  Since NLP is much more about methodology than scientific hypothesis testing, it's not clear what the "experimental control" should be.  Is it really better to run your own implementation of the competing method?  (Some reviewers would likely complain that you might not have replicated the method properly!)  What about running the other researcher's code yourself?  I don't think that's fundamentally different from reporting others' results, unless you don't trust what they report.  Must I reannotate a Penn Treebank-style corpus every time I want to build a new parser?</div>

<div class="gmail_extra"><br clear="all"><div>--<br>Noah Smith<br>Associate Professor<br>School of Computer Science<br>Carnegie Mellon University</div>
<br><br><div class="gmail_quote">On Tue, Apr 8, 2014 at 6:57 PM, Kevin B. Cohen <span dir="ltr"><<a href="mailto:kevin.cohen@gmail.com" target="_blank">kevin.cohen@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div dir="ltr"><div><div>I was recently reading the 
Wikipedia page on "cargo cult science," a concept attributed to no 
lesser a light than Richard Feynman.  I found this on the page:<br><br>"An example of cargo cult science is an experiment that uses another researcher's results in lieu of an <a href="http://en.wikipedia.org/wiki/Experimental_control" title="Experimental control" target="_blank">experimental control</a>.
 Since the other researcher's conditions might differ from those of the 
present experiment in unknown ways, differences in the outcome might 
have no relation to the <a href="http://en.wikipedia.org/wiki/Independent_variable" title="Independent variable" target="_blank">independent variable</a> under consideration. Other examples, given by Feynman, are from <a href="http://en.wikipedia.org/wiki/Educational_research" title="Educational research" target="_blank">educational research</a>, <a href="http://en.wikipedia.org/wiki/Psychology" title="Psychology" target="_blank">psychology</a> (particularly <a href="http://en.wikipedia.org/wiki/Parapsychology" title="Parapsychology" target="_blank">parapsychology</a>), and <a href="http://en.wikipedia.org/wiki/Physics" title="Physics" target="_blank">physics</a>. He also mentions other kinds of dishonesty, for example, falsely promoting one's research to secure funding."<br>



<br></div>If we all had a dime for every NLP paper we've read that used "another researcher's results in lieu of an 
experimental control," we wouldn't have to work for a living.  <br><br>What do you think?  Are we all cargo cultists in this respect?<br><br><a href="http://en.wikipedia.org/wiki/Cargo_cult_science" target="_blank">http://en.wikipedia.org/wiki/Cargo_cult_science</a><br>



<br></div>Kev<span class="HOEnZb"><font color="#888888"><br><br clear="all"><br>-- <br><div dir="ltr">Kevin Bretonnel Cohen, PhD<br>Biomedical Text Mining Group Lead, Computational Bioscience Program, <br>U. Colorado School of Medicine<br>

<a href="tel:303-916-2417" value="+13039162417" target="_blank">303-916-2417</a><br><a href="http://compbio.ucdenver.edu/Hunter_lab/Cohen" target="_blank">http://compbio.ucdenver.edu/Hunter_lab/Cohen</a><br>

<br><br><br></div>
</font></span></div>
<br>_______________________________________________<br>
UNSUBSCRIBE from this page: <a href="http://mailman.uib.no/options/corpora" target="_blank">http://mailman.uib.no/options/corpora</a><br>
Corpora mailing list<br>
<a href="mailto:Corpora@uib.no">Corpora@uib.no</a><br>
<a href="http://mailman.uib.no/listinfo/corpora" target="_blank">http://mailman.uib.no/listinfo/corpora</a><br>
<br></blockquote></div><br></div>