35.3462, Calls: Workshop: LLM fails. Failed experiments with Generative AI and what we can learn from them

[The LINGUIST List]

LINGUIST List: Vol-35-3462. Fri Dec 06 2024. ISSN: 1069 - 4875.

Subject: 35.3462, Calls: Workshop: LLM fails. Failed experiments with Generative AI and what we can learn from them

Moderator: Steven Moran (linguist at linguistlist.org)
Managing Editor: Justin Fuller
Team: Helen Aristar-Dry, Steven Franks, Joel Jenkins, Daniel Swanson, Erin Steitz
Jobs: jobs at linguistlist.org | Conferences: callconf at linguistlist.org | Pubs: pubs at linguistlist.org

Homepage: http://linguistlist.org

Editor for this issue: Erin Steitz <ensteitz at linguistlist.org>

================================================================


Date: 03-Dec-2024
From: Annelen Brunner [brunner at ids-mannheim.de]
Subject: Workshop: LLM fails. Failed experiments with Generative AI and what we can learn from them


Full Title: Workshop: LLM fails. Failed experiments with Generative AI
and what we can learn from them

Date: 08-Apr-2025 - 09-Apr-2025
Location: Mannheim, Germany
Contact Person: Annelen Brunner
Meeting Email: brunner at ids-mannheim.de
Web Site: https://www.ids-mannheim.de/home/lexiktagungen/llm-fails

Linguistic Field(s): Computational Linguistics; General Linguistics
Subject Language(s): English (eng)
                     German (deu)

Call Deadline: 11-Dec-2024

Meeting Description:

Gescheiterte Experimente finden für gewöhnlich keinen Platz im
wissenschaftlichen Diskurs, sie werden verworfen und nicht publiziert.
Wir glauben, dass dadurch potenzieller Erkenntnisgewinn verloren geht.
Schließlich ermöglicht eine systematische Reflexion über die Gründe
des Scheiterns, angewendete Methoden zu hinterfragen und/oder zu
verbessern. Zudem kann bei der Wiederholung zuvor gescheiterter
Experimente explizit Fortschritt ermittelt werden, wenn diese dann
gelingen. Die Diskussion und Dokumentation von Fehlschlägen schafft
somit aus Perspektive der Methodenreflexion einen Mehrwert für die
wissenschaftliche Gemeinschaft. Dies gilt umso mehr in einem Bereich
wie der Forschung zu und mit Generativer Künstlicher Intelligenz, die
nicht auf eine jahrzehntelange Tradition zurückblicken kann und in dem
Best Practices erst ausgehandelt werden.
-------------------------
Failed experiments typically have no place in scientific discourse;
they are discarded and not published. We believe this leads to a loss
of potential knowledge. After all, a systematic reflection on the
reasons for failure allows for the questioning and/or improvement of
methods used. Furthermore, when previously failed experiments are
repeated and succeed, explicit progress can be determined. Thus, the
discussion and documentation of failures creates added value for the
scientific community from the perspective of methodological
reflection. This is even more relevant in a field like research into
and with Generative Artificial Intelligence (AI), which cannot look
back on decades of tradition and where best practices are still being
negotiated.

DEADLINE EXTENSION: 11 December 2024
---  English version below ---

Call for Abstracts (German): „LLM fails – Gescheiterte Experimente mit
Generativer KI und was wir daraus lernen können“

In diesem Workshop stehen linguistische und NLP-Experimente mit
Generativer Künstlicher Intelligenz im Fokus, die nicht die
gewünschten Ergebnisse gebracht haben, beispielsweise, aber nicht
beschränkt auf:
- Einsatz einer Generativer KI als Named-Entity-Recognizer
- Einsatz einer Generativer KI zur automatischen Transkription von
gesprochenen Sprachdaten
- Einsatz einer Generativer KI zur Erstellung von Wörterbuchartikeln
- Einsatz einer Generativen KI zur Detektion von
Sprachwandelphänomenen
Im Beitrag sollte klar werden, inwiefern dieses Scheitern zum
Erkenntnisgewinn bezüglich der Arbeit mit Generativer KI beitragen
kann.


Unveröffentlichte Beitragsvorschläge können bis zum *11.12.2024* in
Form eines  Abstracts (500-750 Wörter) in deutscher oder in englischer
Sprache anonymisiert an folgende Mailadresse gesendet werden:
llmfails at ids-mannheim.de


Über die Annahme der Beiträge entscheidet das Organisationsteam bis
zum 16.12.2025. Bei Annahme des Beitrags wird die Ausarbeitung zu
einem short paper (4-6 Seiten ohne Referenzen) auf Englisch bis zum
15.02.2025 erbeten. Die short papers werden im peer review (double
blind) begutachtet und in einem Sonderheft des Journals for Language
Technology and Computational Linguistics (https://jlcl.org/)
veröffentlicht und damit auch über die ACL Anthology archiviert.

Der Workshop findet vom 8.-9. April 2025 (Lunch-to-Lunch) am
Leibniz-Institut für Deutsche Sprache in Mannheim statt. Die
20-minütigen Vorträge können auf Deutsch oder Englisch gehalten
werden.

-------------------------------
Call for Abstracts (English): LLM fails – Failed experiments with
Generative AI and what we can learn from them

This workshop focuses on linguistic and NLP experiments with
Generative AI that did not yield the desired results, such as but not
limited to:
- Using Generative AI as a Named-Entity Recognizer
- Using Generative AI for automatic transcription of spoken language
data
- Using Generative AI for the creation of dictionary entries
- Using Generative AI for the detection of language change phenomena
The contribution should clarify how this failure can contribute to
knowledge gain regarding the work with Generative AI.


Unpublished proposals can be submitted anonymously as an abstract
(500-750 words) in either German or English to the following email
address by December 11, 2024:
llmfails at ids-mannheim.de


The organization team will decide on the acceptance of contributions
by December 16, 2025. If a contribution is accepted, a short paper
(4-6 pages without references) in English will be requested by
February 15, 2025. The short papers will undergo double-blind peer
review and will be published in a special issue of the Journal for
Language Technology and Computational Linguistics  (https://jlcl.org/)
and archived at ACL Anthology.

The workshop will take place from April 8-9, 2025 (Lunch-to-Lunch) at
the Leibniz Institute for the German Language in Mannheim. The
20-minutes presentations can be given in either German or English.



------------------------------------------------------------------------------

********************** LINGUIST List Support ***********************
Please consider donating to the Linguist List to support the student editors:

https://www.paypal.com/donate/?hosted_button_id=87C2AXTVC4PP8

LINGUIST List is supported by the following publishers:

Bloomsbury Publishing http://www.bloomsbury.com/uk/

Brill http://www.brill.com

Cambridge University Press http://www.cambridge.org/linguistics

Cascadilla Press http://www.cascadilla.com/

De Gruyter Mouton https://cloud.newsletter.degruyter.com/mouton

Edinburgh University Press https://edinburghuniversitypress.com

Elsevier Ltd http://www.elsevier.com/linguistics

Equinox Publishing Ltd http://www.equinoxpub.com/

European Language Resources Association (ELRA) http://www.elra.info

John Benjamins http://www.benjamins.com/

Language Science Press http://langsci-press.org

Lincom GmbH https://lincom-shop.eu/

Multilingual Matters http://www.multilingual-matters.com/

Narr Francke Attempto Verlag GmbH + Co. KG http://www.narr.de/

Netherlands Graduate School of Linguistics / Landelijke (LOT) http://www.lotpublications.nl/

Oxford University Press http://www.oup.com/us

Wiley http://www.wiley.com


----------------------------------------------------------
LINGUIST List: Vol-35-3462
----------------------------------------------------------