<div dir="ltr"><p>SemEval-2015 Task 3: Answer Selection in Community Question Answering</p><p>Website: <a href="http://alt.qcri.org/semeval2015/task3">http://alt.qcri.org/semeval2015/task3</a><br>Google Group: <a href="https://groups.google.com/forum/#!forum/semeval-cqa">https://groups.google.com/forum/#!forum/semeval-cqa</a><br>Evaluation period: December 5 - 22, 2014<br>Paper submission: January 30, 2015 <br> <br> <br>SUMMARY</p><p>* Task: Answer selection in community question answering data (i.e., user generated content)</p><p>* Features:</p><p>  - The task is related to an application scenario, but it has been decoupled from the IR component to facilitate participation and focus on the relevant aspects for the SemEval community.<br>  <br>  - More challenging task than traditional question answering<br>  <br>  - Related to textual entailment, semantic similarity, and NL inference<br>  <br>  - Multilingual: Arabic and English</p><p>* Target: We target semantically oriented solutions using rich language representations to see whether they can improve over simpler bag-of-words and word matching techniques</p><p>Task: Answer selection in community question answering data (i.e., user generated content)</p><p> <br>TASK DESCRIPTION</p><p>Community question answering (QA) systems are gaining popularity online. Such systems are seldom moderated, quite open, and thus they have little restrictions, if any, on who can post and who can answer a question. On the positive side, this means that one can freely ask any question and expect some good, honest answers. On the negative side, it takes efforts to go through all possible answers and make sense of them. For example, it is not unusual for a question to have hundreds of answers, which makes it very time consuming to the user to inspect and winnow.</p><p>We propose a task that can help automate this process by identifying the posts in the answer thread that answer the question well vs. those that can be potentially useful to the user (e.g., because they can help educate him/her on the subject) vs. those that are just bad or useless.</p><p>Moreover, for the special case of YES/NO questions we propose an extreme summarization version of the task, which asks for producing a simple YES/NO summary of all valid answers.<br> <br>In short:</p><p>Subtask A: Given a question (short title + extended description), and several community answers, classify each of the answers as</p><p>  - definitely relevant (good),<br>  <br>  - potentially useful (potential), or<br>  <br>  - bad or irrelevant (bad, dialog, non-English, other)</p><p>Subtask B: Given a YES/NO question (short title + extended description), and a list of community answers, decide whether the global answer to the question should be yes, no or unsure, based on the individual good answers. This subtask is only available for English.<br> <br> <br>For a more detailed description of the English and Arabic datasets, please check here:</p><p> <a href="http://alt.qcri.org/semeval2015/task3/index.php?id=detailed-task-and-data-description">http://alt.qcri.org/semeval2015/task3/index.php?id=detailed-task-and-data-description</a></p><p>Register to participate here:</p><p> <a href="http://alt.qcri.org/semeval2015/task3/index.php?id=registration">http://alt.qcri.org/semeval2015/task3/index.php?id=registration</a></p><p>Finally, do not miss the important dates (the evaluation period is from December 5 to December 22).</p><p>*Important dates*</p><p>- Evaluation period starts: December 5, 2014<br>- Evaluation period ends: December 22, 2014<br>- Paper submission due: January 30, 2015<br>- Paper notification: Early March, 2015<br>- Camera-ready due: March 30, 2015<br>- SemEval-2015 workshop: June 4-5, 2015 (collocated with NAACL'2015)</p><p>For questions and doubts please check out our Google Group: <a href="mailto:semeval-cqa@googlegroups.com">semeval-cqa@googlegroups.com</a><br> <br>* Organizers</p><p>Lluís Màrquez, Qatar Computing Research Institute<br>James Glass, CSAIL-MIT<br>Walid Magdy, Qatar Computing Research Institute<br>Alessandro Moschitti, Qatar Computing Research Institute<br>Preslav Nakov, Qatar Computing Research Institute<br>Bilal Randeree, Qatar Living<br></p></div>