<div dir="ltr"><br><div class="gmail_quote"><br>(apologies for cross-posting)<br>
<br>
Deadline extended: Register by 22 February</div><div class="gmail_quote"><br></div><div class="gmail_quote" style>New subtask: linking-only</div><div class="gmail_quote"><br></div><div class="gmail_quote"><br>
FINAL CALL FOR PARTICIPATION<br>
<br>
                               TempEval-2013<br>
                                 as part of<br>
<br>
                               SemEval-2013<br>
                 International Workshop on Semantic Evaluations<br>
                            an ACL-SIGLEX event<br>
                         Second Call for Participation<br>
<br>
                  <a href="http://www.cs.york.ac.uk/semeval-2013" target="_blank">http://www.cs.york.ac.uk/semeval-2013</a><br>
<br>
<br>
The aim of TempEval is to advance research on temporal information<br>
processing, which could eventually help NLP applications like question<br>
answering, textual entailment, summarization, etc. TempEval-3 follows<br>
on from previous TempEval events, incorporating: a three-part task<br>
structure covering event, temporal expression and temporal relation<br>
extraction; the use of the complete set of TimeML temporal relations,<br>
that was simplified in previous editions; a 10-times larger dataset;<br>
and single overall performance scores, which allow the ranking of the<br>
participating systems in each task and also in general.<br>
<br>
Introduction:<br>
-------------<br>
<br>
Temporal annotation is a time-consuming task for humans, which has<br>
limited the size of annotated data in previous TempEvals. Current<br>
systems, however, are performing close to the inter-annotator<br>
reliability, which suggests that larger corpora could be built<br>
starting with automatically annotated data. One of the main goals of<br>
this TempEval edition is to explore whether there is value in adding a<br>
large automatically created silver standard to a hand-crafted gold<br>
standard. It might be that for some tasks an auto-annotated larger<br>
corpus might be more useful than a hand annotated small corpus.<br>
<br>
TempEval-3, a temporal evaluation task, is a follow-up to TempEval-1<br>
and 2. TempEval-3 differs from its ancestors in the following respects:<br>
   (i) size of the corpus: the dataset used comprises about 500K<br>
tokens of silver standard data and about 100K tokens of gold standard<br>
data for training, compared to the corpus of roughly 50K tokens corpus<br>
used in TempEval 1 and 2;<br>
   (ii) temporal relation task: the temporal relation classification<br>
tasks are to be performed from raw text, i.e. participants need to<br>
extract events and temporal expressions first, determine which ones to<br>
link and then obtain the relation types;<br>
   (iii) tasks not independent: participants must annotate temporal<br>
expressions and events in order to do the relation task;<br>
   (iv) temporal relation types: the full set of temporal interval<br>
relations in TimeML is used, rather than the reduced set used in<br>
earlier TempEvals;<br>
   (v) annotation: most of the corpus was automatically annotated by<br>
the stateof-the-art systems from TempEval-2, a portion of the corpus,<br>
including the test dataset, that is human reviewed;<br>
   (vi) evaluation: we will report a temporal awareness score for<br>
evaluating temporal relations, to help to rank systems with a single<br>
score.<br>
<br>
<br>
TempEval 3 Tasks:<br>
----------------<br>
The tasks proposed for TempEval-3 are related to each one of the main<br>
TimeML tags. These are:<br>
<br>
* Task A: Temporal expression extraction and normalization<br>
Determine the extent of the time expressions in a text as defined by<br>
the TimeML TIMEX3 tag. In addition, determine the value of the<br>
features TYPE and VAL. The possible values of TYPE are time, date,<br>
duration, and set; the value of VAL is a normalized value as defined by<br>
the TIMEX3 standard. The main attribute to annotate is VAL.<br>
<br>
* Task B: Event extraction<br>
As in TempEval-2, participants will determine the extent of the events<br>
in a text as defined by the TimeML EVENT tag. In addition, systems may<br>
determine the value of the features CLASS, TENSE, ASPECT, POLARITY,<br>
MODALITY and also identify if the event is a main event or not. The<br>
main attribute to annotate is CLASS.<br>
<br>
* Task C: Annotating temporal relations<br>
Identify the pairs of temporal entities (events or temporal<br>
expressions) that have a temporal link and classify the temporal<br>
relation between them as a TLINK. For this task, we now require </div><div class="gmail_quote">that the participating systems determine which entities need to be linked.<br>
The relation labels will be same as in TimeML, i.e.: before, after,<br>
includes, is-included, during, simultaneous, immediately after,<br>
immediately before, identity, begins, ends, begun-by and ended-by.<br>
<br>
Task selection<br>
Participants may choose to do task A, B, or C. Choosing task C<br>
(relation annotation) entails doing tasks A and B (interval<br>
annotation). However, a participant may perform only task C by<br>
applying existing tools to carry out tasks A and B. </div><div class="gmail_quote"><br></div><div class="gmail_quote">Further, the linking-only task is now available; gold-standard timex</div><div class="gmail_quote">and event annotations will be release and a separate one-week</div>
<div class="gmail_quote">evaluation window is available for teams only wishing to do the</div><div class="gmail_quote" style>temporal relation labelling task.</div><div class="gmail_quote">
<br>
<br>
Dataset Creation<br>
----------------<br>
In TempEval-3, we release new data, as well as significantly reviewing<br>
and modifying existing corpora.<br>
<br>
A large portion of the TempEval-3 data is automatically generated,<br>
using a temporal merging system. We include over half a million<br>
temporally-annotated tokens from English Gigaword, as well as 40,000<br>
tokens of new gold-standard data.<br>
<br>
<br>
Task Organizers:<br>
----------------<br>
<br>
James Allen, University of Rochester<br>
Leon Derczynski, University of Sheffield<br>
Hector Llorens, University of Alicante<br>
James Pustejovsky, Brandeis University<br>
Naushad UzZaman, University of Rochester [Primary Contact]<br>
Marc Verhagen, Brandeis University<br>
<br>
<br>
Important Dates:<br>
----------------<br>
<br><div class="gmail_quote">*February 22, 2013: Team registration deadline*</div><div class="gmail_quote"><br></div><div class="gmail_quote">March 1, 2013 (mid-day EST): Start of evaluation period for Task A; for Task B; for Combined Task ABC, from raw text</div>
<div class="gmail_quote">March 15, 2013 (23.59 UTC-10 Hawaii): End of evaluation period for Task A; for Task B; and for Combined Task ABC, from raw text</div><div class="gmail_quote">March 16, 2013 (mid-day EST): Start of evaluation period for Linking-only Task C using reference timex and event annotations</div>
<div class="gmail_quote">March 23, 2013 (23.59 UTC-10 Hawaii): End of evaluation period for Linking-only Task C</div><div class="gmail_quote">April 14, 2013 (23.59 UTC-10 Hawaii): System description & analysis paper submission deadline</div>
<div class="gmail_quote">April 24, 2013: Description paper notifications / reviews</div><div class="gmail_quote">May 4, 2013: Camera-ready deadline</div><div class="gmail_quote">June 13-14: *SEM conference co-hosted with NAACL</div>
<div class="gmail_quote">June 14-15: SemEval workshop (tentative)</div>
<br>
<br>
More infomation:<br>
----------------<br>
<br>
The TempEval-3 website, for signup and details, is:<br>
<br>
                <a href="http://www.cs.york.ac.uk/semeval-2013" target="_blank">http://www.cs.york.ac.uk/semeval-2013</a><br>
<br>
For details, check the task description paper here:<br>
<a href="http://arxiv.org/pdf/1206.5333v1.pdf" target="_blank">http://arxiv.org/pdf/1206.5333v1.pdf</a><br>
Naushad UzZaman, Hector Llorens, James F. Allen, Leon Derczynski, Marc<br>
Verhagen, James Pustejovsky. 2012. TempEval-3: Evaluating Events, Time<br>
Expressions, and Temporal Relations. arXiv:1206.5333v1.<br>
<br>
<br>
--<br>
Leon R A Derczynski<br>
NLP Research Group<br>
<br>
Department of Computer Science<br>
University of Sheffield<br>
Regent Court, 211 Portobello<br>
Sheffield S1 4DP, UK<br>
<br>
<a href="tel:%2B45%205157%204948" value="+4551574948">+45 5157 4948</a><br>
<a href="http://www.dcs.shef.ac.uk/~leon/" target="_blank">http://www.dcs.shef.ac.uk/~leon/</a><br></div><div class="gmail_quote"><br></div><br clear="all"><div><br></div>-- <br>Leon R A Derczynski<br>Research Associate, NLP Group<br>
<br>Department of Computer Science<br>University of Sheffield<br>Regent Court, 211 Portobello<br>Sheffield S1 4DP, UK<br><br>+45 5157 4948<br><a href="http://www.dcs.shef.ac.uk/~leon/" target="_blank">http://www.dcs.shef.ac.uk/~leon/</a>
</div>