I believe that Fadi Biadsy et al. used Amazon's Mechanical Turk for part of their evaluation in Biadsy et al. 2008:<br><br>An unsupervised approach to biography production using Wikipedia.<br><br>Kevin<br><br><div class="gmail_quote">
On Mon, May 11, 2009 at 12:18 PM, Anna Kazantseva <span dir="ltr"><<a href="mailto:ankazant@site.uottawa.ca">ankazant@site.uottawa.ca</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Dear Corpora members,<br>
<br>
<br>
<br>
Have any of you had any experience using the Amazon Mechanical Turk as<br>
an evaluation tool for relatively complex NLP tasks?<br>
<br>
Myself and the research group at the Univeristy of Ottawa are looking at<br>
using it to evaluate summaries in the context of the Text Analysis<br>
Conference. I know that several researchers used the Mechanical Turk<br>
successfully for cognitively simple tasks such as choosing  a correct<br>
word sense or ordering events.  But I am not aware of any studies where<br>
subjects would be required to spend significant amount of time to<br>
complete a single task (15 minutes minutes or more,  although this is<br>
very tentative). I would appreciate any pointers.<br>
<br>
I will post a summary of responses I receive.<br>
<br>
Many thanks in advance.<br>
<br>
Regards,<br>
<br>
Anna<br>
<br>
--<br>
Anna Kazantseva, Ph.D. Candidate<br>
School of Information Technology and Engineering<br>
University of Ottawa<br>
800 King Edward Ave. Ottawa, Ontario, Canada, K1N 6N5<br>
<br>
<br>
_______________________________________________<br>
Corpora mailing list<br>
<a href="mailto:Corpora@uib.no">Corpora@uib.no</a><br>
<a href="http://mailman.uib.no/listinfo/corpora" target="_blank">http://mailman.uib.no/listinfo/corpora</a><br>
</blockquote></div><br><br clear="all"><br>-- <br>K. B. Cohen<br>Biomedical Text Mining Group Lead, Center for Computational Pharmacology<br>and<br>Lead Artificial Intelligence Engineer, The MITRE Corporation, Human Language Technology Division<br>
303-916-2417 (cell) 303-377-9194 (home)<br><a href="http://compbio.uchsc.edu/Hunter_lab/Cohen">http://compbio.uchsc.edu/Hunter_lab/Cohen</a><br><br>