Hi everyone,<div><br></div><div>I say let's judge the conference by the results. LREC is an awesome conference constantly improving year after year. Even though it would be great if somebody from the organizing committee could join this conversation and tell us a bit more about the reasons.</div>
<div><br></div><div>Best,</div><div><br></div><div>--Yassine.</div><div><br><div class="gmail_quote">On Fri, Sep 30, 2011 at 11:31 PM, Eric Ringger <span dir="ltr"><<a href="mailto:ringger@cs.byu.edu">ringger@cs.byu.edu</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><div lang="EN-US" link="blue" vlink="purple"><div><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">Thanks to all for the open discussion.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">Graeme’s reason (1)(a) – the impact on merit review – is for me the strongest reason to encourage LREC to move away from reviewing extended abstracts and toward reviewing full papers.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">Best,<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">--Eric <u></u><u></u></span></p>
<p class="MsoNormal"><a name="132bcb56d38f5ba9__MailEndCompose"><span style="font-size:11.0pt;color:#1F497D"><u></u> <u></u></span></a></p><div><div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:10.0pt">From:</span></b><span style="font-size:10.0pt"> Graeme Hirst [mailto:<a href="mailto:gh@cs.toronto.edu" target="_blank">gh@cs.toronto.edu</a>] <br><b>Sent:</b> Friday, September 30, 2011 11:02 AM<br>
<b>To:</b> Yorick Wilks<br><b>Cc:</b> Eric Ringger; <a href="mailto:corpora@uib.no" target="_blank">corpora@uib.no</a><br><b>Subject:</b> Re: [Corpora-List] why LREC2012 NOT blind-reviewed?<u></u><u></u></span></p></div></div>
<div><div></div><div class="h5"><p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal">Yorick,<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">(1)  Whether a conference is reviewed by abstract or by full paper makes an enormous difference:<u></u><u></u></p>
</div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">   (a) to merit, as perceived by tenure committees, granting agencies, and others, who count only fully peer-reviewed papers.<u></u><u></u></p>
</div><div><p class="MsoNormal">   (b) to funding for travel.  Right now, one of my colleagues has the problem that he cannot be funded to travel to give a paper at LREC because it isn't a fully-reviewed conference, so he doesn't even bother submitting.<u></u><u></u></p>
</div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">You might say that these situations aren't desirable, but they are nonetheless reality right now.<u></u><u></u></p></div><div><p class="MsoNormal">
<u></u> <u></u></p></div><div><p class="MsoNormal">(2)  I wonder how you are so sure that you almost invariably identify the author of an anonymous paper correctly.  If the paper is not ultimately accepted at the conference, which is 60 to 80% of them at ACL and COLING conferences, you will never find out who the authors actually are.  I've certainly guessed wrongly in the past.  And in my own papers, I often throw in "hidden signals" to deceive the reviewers.<u></u><u></u></p>
</div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">(3)  I think Eric Ringger is 100% right about LREC.  As you say, LREC's reputation and quality have grown, and for that reason it has to start acting like a grown-up conference.<u></u><u></u></p>
</div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Regards,<u></u><u></u></p></div><div><p class="MsoNormal">Graeme<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div>
<div><p class="MsoNormal" style="margin-bottom:12.0pt">--<br>::::  Graeme Hirst<br>::::  University of Toronto * Department of Computer Science<u></u><u></u></p></div><p class="MsoNormal"><u></u> <u></u></p><div><div><p class="MsoNormal">
On 2011-09-30, at 11:27, Yorick Wilks wrote:<u></u><u></u></p></div><p class="MsoNormal"><br><br><u></u><u></u></p><div><p class="MsoNormal">I disagree strongly. I dont see why all conferences should be exactly like all others. Extended abstracts are less of a burden on busy academics --both as writers and reviewers----and there is no evidence they lower the final quality; COLING used to do this and I am sorry it changed. The whole blind-review business is a huge nonsense: I rarely meet a paper to review where i cannot identify the authors from a careful trawl of hidden signals and the references. Trying to make a paper genuinely anonymous is almost impossible if one has a body of past work and publication to link it to---the mental gymnastics required are undignified and best avoided. LRECs reputation has grown steadily and it will be the quality of its papers that sustain it--there is no evidence at all anonymity would improve matters in the least. if it ain't broke........<u></u><u></u></p>
<div><p class="MsoNormal">Yorick Wilks<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p><div><div><p class="MsoNormal">On 30 Sep 2011, at 16:02, Eric Ringger wrote:<u></u><u></u></p>
</div><p class="MsoNormal"><br><br><u></u><u></u></p><div><div><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">Greetings.</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">LREC has been operated in this manner since its inception.  Personally and for the sake of LREC’s reputation, I would like to see the reviewing process for LREC upgraded to double-blind review.</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">I believe that LREC fills a couple of important niches: its focus on language resources and evaluation/validation is important and not well served elsewhere, and it does a good job of bringing a large, diverse group together.  (I should add that it does a good job of selecting attractive venues as well!)  If implemented well, I believe that double-blind review would not detract from the primary objectives of the conference but would refine the quality of the program and improve the reputation of the venue.  I have said as much in private feedback after past LRECs.</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">I also think it is time for LREC to move up from reviewing extended abstracts to reviewing full papers.</span><u></u><u></u></p>
</div><div><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">Regards,</span><u></u><u></u></p></div><div>
<p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">--Eric</span><u></u><u></u></p></div><div><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span><u></u><u></u></p></div><div><p class="MsoNormal">
<span style="font-size:11.0pt;color:#1F497D"> </span><u></u><u></u></p></div><div><div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in;border-width:initial;border-color:initial"><div><p class="MsoNormal">
<b><span style="font-size:10.0pt">From:</span></b><span><span style="font-size:10.0pt"> </span></span><span style="font-size:10.0pt"><a href="mailto:corpora-bounces@uib.no" target="_blank">corpora-bounces@uib.no</a><span> </span><a href="mailto:[mailto:corpora-bounces@uib.no]" target="_blank">[mailto:corpora-bounces@uib.no]</a><span> </span><b>On Behalf Of<span> </span></b>Isabella Chiari<br>
<b>Sent:</b><span> </span>Friday, September 30, 2011 8:45 AM<br><b>To:</b><span> </span><a href="mailto:corpora@uib.no" target="_blank">corpora@uib.no</a><br><b>Subject:</b><span> </span>[Corpora-List] why LREC2012 NOT blind-reviewed?</span><u></u><u></u></p>
</div></div></div><div><p class="MsoNormal"> <u></u><u></u></p></div><div><div><p class="MsoNormal"><span style="font-size:10.5pt;color:black">Dear Corpora members,</span><u></u><u></u></p></div></div><div><div><p class="MsoNormal">
<span style="font-size:10.5pt;color:black">I just noticed that the LREC2012 call specifies that submissions are NOT anonymous and there will not be blind-reviewing.</span><u></u><u></u></p></div></div><div><div><p class="MsoNormal">
<span style="font-size:10.5pt;color:black"> </span><u></u><u></u></p></div></div><div><div><p class="MsoNormal"><span style="font-size:10.5pt;color:black">Does anyone know why? Which is the policy under this decision?</span><u></u><u></u></p>
</div></div><div><div><p class="MsoNormal"><span style="font-size:10.5pt;color:black">Best regards,</span><u></u><u></u></p></div></div><div><div><p class="MsoNormal"><span style="font-size:10.5pt;color:black">Isabella Chiari</span><u></u><u></u></p>
</div></div><div><div><p class="MsoNormal"><span style="font-size:10.5pt;color:black"> </span><u></u><u></u></p></div></div></div></div></div></div></div><p class="MsoNormal"><u></u> <u></u></p></div></div></div></div><br>
_______________________________________________<br>
UNSUBSCRIBE from this page: <a href="http://mailman.uib.no/options/corpora" target="_blank">http://mailman.uib.no/options/corpora</a><br>
Corpora mailing list<br>
<a href="mailto:Corpora@uib.no">Corpora@uib.no</a><br>
<a href="http://mailman.uib.no/listinfo/corpora" target="_blank">http://mailman.uib.no/listinfo/corpora</a><br>
<br></blockquote></div><br></div>