<br>     Conference and Labs of the Evaluation Forum - CLEF 2013<br>                     CALL FOR LAB PROPOSALS<br><br>             Valencia, Spain, 23-26 September 2013<br><br>The CLEF 2013 conference is next year's edition of the popular CLEF<br>
campaign and workshop series which has run since 2000 contributing <br>to the systematic evaluation of information access systems, primarily <br>through experimentation on shared tasks. In 2010 CLEF was launched <br>in a new format, as a conference with research presentations, panels, <br>
poster and demo sessions and laboratory evaluation workshops <br>interleaved during three and a half days of intense and stimulating <br>research activities.<br><br>ABOUT CLEF<br><br>The CLEF Initiative is a self-organized body whose main mission is <br>
to promote research, innovation, and development of information access <br>systems with an emphasis on multilingual and multimodal information <br>with various levels of structure. CLEF promotes research and <br>development by providing an infrastructure for:<br>
<br>- multilingual and multimodal system testing, tuning and evaluation;<br>- investigation of the use of unstructured, semi-structured, <br>  highly-structured, and semantically enriched data in information access;<br>- creation of reusable test collections for benchmarking;<br>
- exploration of new evaluation methodologies and innovative ways of <br>  using experimental data;<br>- discussion of results, comparison of approaches, exchange of ideas, <br>  and transfer of knowledge.<br><br>In 2013 CLEF will be organised in September in Valencia, and researchers <br>
and practitioners from all segments of the information access and related<br>communities are invited to submit evaluation lab proposals for review.<br>The lab selection committee will select among the proposals and will <br>
occasionally suggest modifications to proposed labs to best suit <br>the CLEF lab workflow.<br><br>SCOPE<br><br>Proposals are accepted for two different types of labs:<br><br>1)  Evaluation labs that follow a "campaign-style" evaluation practice <br>
    for specific information access problems (during the year preceding <br>    the conference) in the tradition of past CLEF campaign tracks. In 2012 <br>    there were 7 evaluation labs (<a href="http://clef2012.org/index.php?page=Pages/labs.html">http://clef2012.org/index.php?page=Pages/labs.html</a>): <br>
    ChiC, CLEF-IP, ImageCLEF, INEX, PAN, QA4MRE, RepLab. <br>    Topics covered by evaluation labs can be inspired by any information <br>    access-related domain or task.<br><br>2)  Lab workshops organised as speaking and discussion sessions to explore <br>
    issues of evaluation methodology, metrics, and processes in information <br>    access and closely related fields, such as natural language processing, <br>    machine translation, and human-computer interaction. Lab workshops can <br>
    be a first step towards an evaluation lab: in 2012 one lab workshop was <br>    given: CLEFeHealth. One of the 2011 lab workshops (CHiC) evolved into a <br>    2012 evaluation lab. This progression from a lab workshop to an <br>
    evaluation lab is a development track we wish to encourage - but lab <br>    workshops do not need to be associated with an evaluation lab: theoretical<br>    and methodological issues are numerous in our field and can well be <br>
    addressed in focused workshop sessions without shared tasks.<br><br>If the organisers of the proposal are new to CLEF or other shared task <br>evaluation campaigns, we highly recommend that a lab workshop first be <br>
organised to discuss the format, the problem space, and the practicalities <br>of the shared task. In both cases, it is expected that lab sessions at the <br>conference will contain ample time for general discussion and engagement by <br>
all participants - not just those presenting campaign results and papers. <br>Organisers should plan time for panels, demos, etc. where applicable.<br><br>LOCATION<br><br>The CLEF 2013 conference will reserve about half of the conference program<br>
for lab sessions. The lab sessions will take place at the site of the <br>conference in Valencia. The labs will present their overall results <br>"overview presentations" during the plenary scientific paper sessions to <br>
allow non-participants to get a sense of where the research frontiers <br>are moving.<br><br>USAGE SCENARIOS - THE VALIDATION OF BENCHMARKING<br><br>The sustainability and impact of the effort put into CLEF benchmarking <br>
evaluations hinges on their validity when applied to information seeking<br>and information access activities in practice. We wish to see all <br>labs - whether lab workshops or evaluation labs - to address the issue <br>
of validation through explicitly stated hypotheses of usage. An evaluation<br>lab should be concrete with respect to situation, context, platform and <br>user preferences for which the suggested evaluation benchmark is valid;<br>
a lab workshop should discuss how participants with domain and usage <br>experience and expertise can be recruited to the workshop to provide a <br>grounding of evaluation methodology in application to real-world task.<br>
<br>PROPOSAL SUBMISSION<br><br>Lab proposals should provide sufficient information for the lab organising<br>committee to be able to judge the importance, quality, impact and benefits<br>for the research community. Each lab should have one or more organisers<br>
responsible for the execution of the lab. Proposals should be 2-4 pages<br>long and should provide the following information:<br><br>1)   Title of the proposed lab.<br>2)   The planned format of the lab, i.e. evaluation lab or lab workshop.<br>
3)   Planned length of the lab session at the conference: <br>     half-day, one day, two days.<br>4)   Names and full addresses, including contact details, of the lab <br>     organiser(s), a brief description of the organisers' experience and <br>
     background in the topic and in previous evaluation campaigns, and <br>     links to web pages of the lab organisers.<br>5)   A brief description of the lab topic and goals, its relevance to <br>     CLEF and significance for the research field.<br>
6)   The proposal should give a brief but clear statement of usage <br>     scenarios or domain to which the activity is intended to contribute. <br>     In connection with the usage scenarios task-relevant stakeholders <br>
     should be identified and ideally enlisted in an active role in the <br>     lab to validate the scenarios. NO MORE THAN 3 TASKS SHOULD BE PROPOSED.<br>7)   A statement on the intended development/growth path if the proposal is <br>
     for a continuation of activities previously undertaken at CLEF workshops.<br>8)   A description of the target audience, areas from which the participants <br>     are expected to come, an analysis of the potential for participants <br>
     (number, statements of intent to participate where applicable), potential <br>     industry stakeholders, strategy for publicising the lab.<br>9)   Arrangements for the organisation of the lab campaign, if applicable, <br>
     including a brief outline of the campaign milestones, test data to be <br>     used, indications of the size of the data collections, issues of <br>     scalability, tasks to be proposed to participants, and format of <br>
     presentation at the conference.<br>10)  If the lab proposes to set up a steering committee to oversee its <br>     activities, include names, addresses, and home page links of people who <br>     have agreed to be part of the steering committee if the lab proposal is <br>
     accepted. This list should ideally include people from several different <br>     academic sites and industrial stakeholders.<br><br>REVIEWING PROCESS<br><br>Each submitted proposal will be reviewed by the CLEF 2013 lab organising <br>
committee. The decision will be sent by email to the responsible organiser <br>by October 28, 2012. The final length of the lab session will be determined <br>based on the overall organisation of the conference and the number of <br>
submissions received by a lab. Due to space restrictions, only a limited <br>number of lab sessions can be conducted in parallel at the conference. <br>The reviewers may suggest modifications to the proposed lab in order to <br>
better fit it to the overall organisation of CLEF 2013.<br><br>Reviewing criteria for labs include:<br><br>- The appropriateness of the lab to the overall information access agenda<br>  pursued by CLEF and its fit to other labs considered for inclusion.<br>
- Potential impact of the lab to current and future real-world information<br>  access challenges, current commercial applications, and future promising<br>  application arenas.<br>- Number of potential participants, critical mass.<br>
- Innovation, uniqueness and amount of contribution to new knowledge <br>  in the field.<br>- Focus of lab program, and specifically for evaluation labs: Practicability <br>  and feasibility of task, soundness of methodology.<br>
- For returning proposals: Movement beyond previous year's labs.<br>- Coverage of theory and practice, breadth of organising group, contact <br>  surfaces to stakeholders and research efforts.<br><br>Lab Organiser's Tasks:<br>
<br>- Produce a "Call for Participation" for an evaluation lab or a <br>  "Call for Papers" for a lab workshop and disseminating it through <br>  all appropriate means.<br>- Provide a web page URL which can be linked into the CLEF 2013 home page.<br>
- Provide a brief description of the lab for the conference program.<br>- Sign up campaign participants, and execute the campaign in the case <br>  of evaluation labs.<br>- Review submitted papers and position papers in case of lab workshops.<br>
- Schedule lab session activities in collaboration with the local organisers<br>  and the CLEF Lab Organising Committee Chairs.<br>- Send the lab schedule and other lab material, all in PDF format, to the<br>  CLEF Lab Organising Committee Chairs (deadline to be defined).<br>
- Organise of post-conference publication of lab results in appropriate<br>  form (special issue, lab proceedings, etc.).<br><br>The lab material (papers, presentations etc.) will be distributed by the <br>CLEF 2013 organisation to the conference participants in electronic format <br>
(copyright will not be asked for from the authors, but only permission <br>to publish and disseminate).<br><br>PUBLICATION<br><br>The working notes of the labs will be published online in time for the <br>conference. It is foreseen that this online publication will have an ISBN <br>
number and be indexed in relevant services. It is the responsibility of lab <br>organisers to arrange for appropriate post-conference publication of the <br>lab results.<br><br>IMPORTANT DATES (please note the tight schedule)<br>
<br>Final lab proposals: 15 October 2012<br>Notification of lab acceptance: 28 October 2012<br>CLEF 2013 Conference: 23-26 September 2013<br><br>SUBMISSION DETAILS<br><br>Lab proposals (or questions) should be submitted via e-mail (either <br>
plain text or PDF format) to both CLEF Lab Chairs.<br><br>Chairs:<br><br>Roberto Navigli, Sapienza University of Rome, <a href="mailto:navigli@di.uniroma1.it">navigli@di.uniroma1.it</a><br>Dan Tufis, RACAI, <a href="mailto:tufis@racai.ro">tufis@racai.ro</a><br>
<br>CLEF Lab Organising Committee (CLEF-LOC):<br><br>Roberto Navigli, Sapienza University of Rome (CLEF LOC 2013 co-chair)<br>Dan Tufis, RACAI, RACAI (CLEF LOC 2013 co-chair)<br>Jussi Karlgren, Gavagai and SICS (CLEF LOC 2012 co-chair)<br>
Christa Womser-Hacker, Universität Hildesheim (CLEF LOC 2012 co-chair)<br>Mark Sanderson, RMIT University<br>Hugo Zaragoza, Websays<br>(others to be confirmed)