<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:arial,sans-serif"><div class="gmail_default" style="font-family:arial,sans-serif"></div><div class="gmail_default" style="font-family:arial,sans-serif"><div class="gmail_default" style="font-family:arial,sans-serif">For
 some reason many in linguistics (and beyond) appear quite captivated if not bedazzled by the promises of AI. Is it worth two seconds of anyone's time to defend? But more importantly, can anyone tell me: are we also making enough room in our methods for 
the 
human element in language? <br></div><div class="gmail_default" style="font-family:arial,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,sans-serif">Recently
 I saw an abstract for a talk in a respected linguistics department where I live - a 
student had done her "fieldwork" in Chinese high schools to study "AI
 literacy", ultimately discovering how "AI literacy as a multifaceted construct 
influences how L2 learners engage with AI tools". It all sounded nice, proper posh corporate style and whatnot. And I have no doubt funds will continue to be poured into that sort of thing like butter into so many biscuit factories, but surely the circularity of all this AI stuff is self-evident (while proponents claim it can inform upon language)? Who knows, maybe it does have some utility for linguists. Some technology is useful and important for us, after all. But what does AI speak to but itself?</div><div class="gmail_default" style="font-family:arial,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,sans-serif">But as others have already mentioned here, it is also problematic. For one we know it hails from the corporate world, one whose interests are hardly intellectual, much less humanistic, and this is why some including myself do not appreciate the advertising of it (read: hearing about it more than we already have to). And everyone knows students are using it to cheat like nobody's business, we have all heard stories about how things have changed and not for the better, for academic integrity because of AI. <br></div><div class="gmail_default" style="font-family:arial,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,sans-serif">What all this really makes me think of though is when I was walking in the pristine jungle around this
 time last year in PNG. The New Guinea sun was radiant, though tempered as the canopy filtered its rays. The bush was pungent with the smell of all sorts of trees and their fruit and cassowary poop, the sounds of tropical birdsong a consistent melody. I was alone and enjoying each step, when this guy Alvis bumped into me 
coming from the other direction. We were surprised to see each other. 
With a big smile on his face, he said 
something to me in Chini. It was one of those moments, mostly because it 
was very pleasant and human. What he said was really kind, I will never forget it. What is more, he happened to use a very 
infrequent construction, quite interesting, a lone dependent clause 
marked by two otherwise functionally contrasting clause chain linkers slapped onto the end,
 with the main clause material elided. It was also a key 
example for another reason, not important here.<br></div><div class="gmail_default" style="font-family:arial,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,sans-serif">So I am terribly sorry to burst any bubbles but you know, language will never be reducible to some outgrowth of our inordinate preoccupation with technology. We can distort it if it pleases us, we can pretend that what it is is what we view through our devices or our tools. Nothing is stopping us from doing so, after all. But language is human, it is embedded in culture, it is creative and it is social. AI is artificial. It is not intelligent, but dumb. We know AI tools are not even reliable or accurate in terms of information. </div><div class="gmail_default" style="font-family:arial,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,sans-serif">I will get off my soap box here but sometimes one grows especially tired of hearing all the time about this fad, one whose hype & hoopla contrast with how painfully dull, and empty, it is. </div><div class="gmail_default" style="font-family:arial,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,sans-serif">It's just some doodad.<br></div></div><div class="gmail_default" style="font-family:arial,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,sans-serif">J</div><div class="gmail_default" style="font-family:arial,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,sans-serif">“If
 people’s use of language is reduced analytically to how meaning is 
formed and represented in sound, or communicated from one person to 
another, or even the conjunction of the two, something vital has been 
abstracted away: the people themselves, who, prior to such abstraction, 
are always present in what they say … A full account of linguistic 
communication would have to start with, not a message, but again the 
speakers themselves, and their interpretation of each other that 
determines, interactively, their interpretation of what is said” (Joseph
 2004:226 in Dobrin & Berson 2011:207)</div></div></div><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Sat, Nov 8, 2025 at 11:11 PM <<a href="mailto:lingtyp-request@listserv.linguistlist.org">lingtyp-request@listserv.linguistlist.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Send Lingtyp mailing list submissions to<br>
        <a href="mailto:lingtyp@listserv.linguistlist.org" target="_blank">lingtyp@listserv.linguistlist.org</a><br>
<br>
To subscribe or unsubscribe via the World Wide Web, visit<br>
        <a href="https://listserv.linguistlist.org/cgi-bin/mailman/listinfo/lingtyp" rel="noreferrer" target="_blank">https://listserv.linguistlist.org/cgi-bin/mailman/listinfo/lingtyp</a><br>
or, via email, send a message with subject or body 'help' to<br>
        <a href="mailto:lingtyp-request@listserv.linguistlist.org" target="_blank">lingtyp-request@listserv.linguistlist.org</a><br>
<br>
You can reach the person managing the list at<br>
        <a href="mailto:lingtyp-owner@listserv.linguistlist.org" target="_blank">lingtyp-owner@listserv.linguistlist.org</a><br>
<br>
When replying, please edit your Subject line so it is more specific<br>
than "Re: Contents of Lingtyp digest..."<br>
<br>
<br>
Today's Topics:<br>
<br>
   1. Postdoc position in Historical Linguistics (combining<br>
      genetics/archaeology) at the Center for the Human Past, Uppsala<br>
      University (Harald Hammarstr?m)<br>
   2. Re: "AI" and linguistics problem sets (Maxime Fily)<br>
<br>
<br>
----------------------------------------------------------------------<br>
<br>
Message: 1<br>
Date: Fri, 7 Nov 2025 14:41:23 +0100<br>
From: Harald Hammarstr?m <<a href="mailto:harald@bombo.se" target="_blank">harald@bombo.se</a>><br>
To: Linguistic Typology <<a href="mailto:LINGTYP@listserv.linguistlist.org" target="_blank">LINGTYP@listserv.linguistlist.org</a>><br>
Subject: [Lingtyp] Postdoc position in Historical Linguistics<br>
        (combining genetics/archaeology) at the Center for the Human Past,<br>
        Uppsala University<br>
Message-ID:<br>
        <CALXhtx0H9-NPdHJi+b=<a href="mailto:b6-SHky%2B_zNX7-XF-jkrUDepWFP6bKA@mail.gmail.com" target="_blank">b6-SHky+_zNX7-XF-jkrUDepWFP6bKA@mail.gmail.com</a>><br>
Content-Type: text/plain; charset="utf-8"<br>
<br>
Dear colleagues,<br>
Let me interrupt the flow of the AI-discussions with yet another postdoc<br>
ad.<br>
This time in historical linguistics combined with genetics and/or<br>
archaeology where IE, Bantu and Austronesian are three prioritized<br>
(sub-)families. Please share widely and encourage relevant colleagues at<br>
this level to apply.<br>
<a href="https://www.uu.se/en/about-uu/join-us/jobs-and-vacancies/job-details?query=872194" rel="noreferrer" target="_blank">https://www.uu.se/en/about-uu/join-us/jobs-and-vacancies/job-details?query=872194</a><br>
all the best, Harald<br>
-------------- next part --------------<br>
An HTML attachment was scrubbed...<br>
URL: <<a href="http://listserv.linguistlist.org/pipermail/lingtyp/attachments/20251107/e3c9b84f/attachment-0001.htm" rel="noreferrer" target="_blank">http://listserv.linguistlist.org/pipermail/lingtyp/attachments/20251107/e3c9b84f/attachment-0001.htm</a>><br>
<br>
------------------------------<br>
<br>
Message: 2<br>
Date: Fri, 7 Nov 2025 23:20:05 +0100<br>
From: Maxime Fily <<a href="mailto:maxime.fily@gmail.com" target="_blank">maxime.fily@gmail.com</a>><br>
To: Stela MANOVA <<a href="mailto:manova.stela@gmail.com" target="_blank">manova.stela@gmail.com</a>><br>
Cc: Liberty Lidz <<a href="mailto:libertylidz@yahoo.com" target="_blank">libertylidz@yahoo.com</a>>,  typology list<br>
        <<a href="mailto:lingtyp@listserv.linguistlist.org" target="_blank">lingtyp@listserv.linguistlist.org</a>><br>
Subject: Re: [Lingtyp] "AI" and linguistics problem sets<br>
Message-ID:<br>
        <CAPqs5634cY2oSdv6SM-3S7c75bu51pD5hhMAnuevks9v1j3d=<a href="mailto:g@mail.gmail.com" target="_blank">g@mail.gmail.com</a>><br>
Content-Type: text/plain; charset="utf-8"<br>
<br>
Dear Mark,<br>
I completely second everything that Randy said about AI : it's a machine<br>
trained to do statistical predictions based on cost functions. By lowering<br>
the cost of the next predicted word, they output contextual answers which<br>
are located in a sort of local minimum in their representations' space.<br>
Sorry for the tedious intro, but it's important for what I'm about to say:<br>
sentences output by LLM are plain and boring, by essence. You can tell<br>
actually if it's AI generated because all the word in one sentence have a<br>
very high probability of co-occurrence, which does not occur that<br>
systematically with a human.<br>
So, it means that on top of telling your students all the cognitive benefit<br>
there is in not using AI all the time when learning new stuff, you can also<br>
tell them that if they use AI too much it'll show (it's actually super easy<br>
to detect) and it'll reflect poorly on their work.<br>
<br>
I'm not saying that AI should not be used, for example it's very helpful<br>
for coding when you already know how to code and want to do more complex<br>
programs. Likewise, asking AIs about broad topic overviews like "give me an<br>
outline of the history of China from the Han Dynasty to the Tang Dynasty",<br>
it will most likely give out a very readable memo which will be helpful if<br>
you're looking for general information. It won't be perfect but it'll<br>
definitely save time.<br>
<br>
Lastly, a word on the reply by Stela: AIs do not "learn" or "remember"<br>
stuff. Stela, if you use words like that, even as a figure of speech, you<br>
propagate false ideas about LLMs. Also, I would be very careful on doing<br>
experiments with ChatGPT: prompting the recent ChatGPT versions and<br>
discussing the results is just wrong: you can use it as a tool but never as<br>
a research object. First of all because even if you write down the version<br>
you're using, openai now updates the weights on-the-fly and you'll never be<br>
able to reproduce your research. And second of all, and maybe more<br>
importantly, evaluating LLMs requires that you ask how prompting can<br>
actually tell stuff about the model itself, like how it handles<br>
long-distance dependencies. So you need careful prompts, frozen models<br>
(yes, plural), and an understanding of the inner workings of the models to<br>
ask yourself the right questions. If not, then you're just toying with a<br>
model, which is fine, but it's not science. We're at the beginning of the<br>
AI practice, so it's okay to get carried away by the promise of AI, but<br>
let's not get carried away too much. It's just ones and zeros.<br>
<br>
Best,<br>
Maxime<br>
<br>
<br>
Le ven. 7 nov. 2025 ? 09:48, Stela MANOVA via Lingtyp <<br>
<a href="mailto:lingtyp@listserv.linguistlist.org" target="_blank">lingtyp@listserv.linguistlist.org</a>> a ?crit :<br>
<br>
> Apologies for the oversight. The previous version contained mark-ups and<br>
> may have looked incomprehensible in plain-text format.<br>
><br>
> Here is a more reader-friendly version:<br>
><br>
> Dear colleagues,<br>
><br>
> The answer is more complex than a linguist may suppose, since many things<br>
> matter:<br>
> In which script the examples are given.<br>
> Different scripts have different representations, e.g., a Latin letter is<br>
> one byte, a Cyrillic letter is two bytes, an Arabic letter is three bytes,<br>
> etc. Consequently, languages are tokenized differently, which reflects on<br>
> the correctness of the ?linguistic? analysis.<br>
><br>
> The way one approaches the task.<br>
> If students have been given examples in class or additional materials with<br>
> data, they can give these examples to ChatGPT to introduce it to the task,<br>
> and the result will be different, too. One can even ask ChatGPT to write a<br>
> short Python program to improve the performance ? and it will.<br>
><br>
> The exact formulation of the prompt.<br>
> Roughly, if you ask directly, the result will be one; if you start from<br>
> afar, the result will be different.<br>
><br>
> Shared representational space.<br>
> ChatGPT uses a single highly dimensional space to represent all languages<br>
> and can ?analogize,? as mentioned in the email by Liberty.<br>
><br>
> The available literature on the topic in the training data.<br>
> This has already been discussed.<br>
><br>
> The linguistic fine-tuning of the model<br>
> How diligent the human linguist working with the model was (this is why it<br>
> seems that Gemini is more linguistically competent than ChatGPT, but Gemini<br>
> has a memory issue: it quickly forgets things learned earlier, and it is<br>
> therefore often not so good for testing what I explain in 2).<br>
><br>
> Etc.<br>
><br>
> I will discuss all these issues in my Linguistics Meets ChatGPT workshop<br>
> series. A simple rule of thumb: ChatGPT does not have linguistic units, so<br>
> asking it to count phonemes, morphemes, or words relatively quickly gives<br>
> wrong results ? even for English. This can be used as a straightforward<br>
> testing strategy.<br>
><br>
> Best,<br>
><br>
> Stela<br>
><br>
><br>
> On 07.11.2025, at 08:33, Stela MANOVA <<a href="mailto:manova.stela@gmail.com" target="_blank">manova.stela@gmail.com</a>> wrote:<br>
><br>
> Dear colleagues,<br>
><br>
> The answer is more complex than a linguist may suppose, since many things<br>
> matter:<br>
><br>
>    1.<br>
><br>
>    In which script the examples are given. Different scripts have<br>
>    different representations, e.g., a Latin letter is one byte, a Cyrillic<br>
>    letter is two bytes, an Arabic letter is three bytes, etc. Consequently,<br>
>    languages are tokenized differently, which reflects on the correctness of<br>
>    the ?linguistic? analysis.<br>
>    2. The way one approaches the task. If students have been given<br>
>    examples in class or additional materials with data, they can give these<br>
>    examples to ChatGPT to introduce it to the task, and the result will be<br>
>    different, too. One can even ask ChatGPT to write a short Python program to<br>
>    improve the performance ? and it will.<br>
>    3. The exact formulation of the prompt. Roughly, if you ask directly,<br>
>    the result will be one; if you start from afar, the result will be<br>
>    different.<br>
>    4. Shared representational space. ChatGPT uses a single highly<br>
>    dimensional space to represent all languages and can ?analogize,? as<br>
>    mentioned in the email by Liberty.<br>
>    5. The available literature on the topic in the training data. This<br>
>    has already been discussed.<br>
>    6.<br>
><br>
>    The linguistic fine-tuning of the model, i.e., how diligent the human<br>
>    linguist working with the model was (this is why it seems that Gemini is<br>
>    more linguistically competent than ChatGPT, but Gemini has a memory issue:<br>
>    it quickly forgets things learned earlier, and it is therefore often not so<br>
>    good for testing what I explain in 2).<br>
><br>
> Etc.<br>
><br>
> I will discuss all these issues in my Linguistics Meets ChatGPT workshop<br>
> series. A simple rule of thumb: ChatGPT does not have linguistic units, so<br>
> asking it to count phonemes, morphemes, or words relatively quickly gives<br>
> wrong results ? even for English. This can be used as a straightforward<br>
> testing strategy.<br>
><br>
> Stela<br>
><br>
><br>
><br>
> On 07.11.2025, at 07:24, Liberty Lidz via Lingtyp <<br>
> <a href="mailto:lingtyp@listserv.linguistlist.org" target="_blank">lingtyp@listserv.linguistlist.org</a>> wrote:<br>
><br>
> Hi all,<br>
><br>
> Thank you for this very helpful discussion and it is heartening to see the<br>
> hard work that different scholars are putting into improving pedagogical<br>
> methods given the wrench that LLMs have put into things. A few small<br>
> thoughts: although Nepali certainly is a less-commonly-taught language,<br>
> many of the large tech companies treat Indics by bootstrapping from Hindi,<br>
> for which there is much, much more data, to other members of the family,<br>
> including varieties like Nepali and Assamese, for which there are much less<br>
> data. The same is to some degree true for other language families, but a<br>
> bit dependent upon the perceived size and socioeconomic value of the<br>
> speaker populations and the complexity of adding the language varieties to<br>
> the models for the given company. Another thing to consider is that<br>
> companies developing LLMs have essentially scraped the entire internet of<br>
> scrapable data (incredible as this may seem), so if there are books,<br>
> dissertations, or journal articles on a language that are available on the<br>
> open internet, they have almost certainly been scraped to train the LLMs.<br>
> Linguists have worked really hard in the last almost two decades to make<br>
> publications open access or otherwise freely available so that members of<br>
> native language communities and other scholars can have access to them, so<br>
> there is a huge amount of language data out there.<br>
><br>
> Best,<br>
><br>
> Liberty<br>
><br>
> On Thursday, November 6, 2025 at 09:12:01 PM PST, Spike Gildea via Lingtyp<br>
> <<a href="mailto:lingtyp@listserv.linguistlist.org" target="_blank">lingtyp@listserv.linguistlist.org</a>> wrote:<br>
><br>
><br>
> Hi all,<br>
><br>
> This last summer, a team here at the University of Oregon tested a number<br>
> of assignments from across the Humanities for susceptibility to AI. I<br>
> offered them the take-home midterm from my advanced syntax class, a complex<br>
> problem set using examples I had created from my personal knowledge of the<br>
> Nepali language. The data featured SOV order, postpositions, case-marking<br>
> suffixes, optionality of core arguments, tense-based split ergativity,<br>
> dative subjects, and differential object marking. I was confident that<br>
> AI would have little chance of finding and describing all these patterns.<br>
><br>
> On 5/28/2025, they gave the assignment to *Gemini** 2.5 Pro Preview *and<br>
> it not only identified most of the relevant patterns and successfully<br>
> answered my descriptive questions, it also generated a strong essay about<br>
> the relevance of morphological vs. syntactic subject properties in the<br>
> data. This essay correctly synthesized the relevant patterns in the<br>
> assigned data, but it would have been suspicious to me because it also drew<br>
> on theoretical perspectives (presumably from scraping the internet) that I<br>
> deliberately did not include in the class. So even though it was quite<br>
> high-level work, I would certainly have called in the student to ask where<br>
> they had picked up these out-of-class ideas, after which I suspect the<br>
> truth would have come out, since the student would have been unlikely to<br>
> have the capacity to discuss the theoretical literature and why they had<br>
> chosen to use these concepts instead of the ones I taught in class.<br>
><br>
> When I expressed my surprise at the success of AI at solving this problem,<br>
> the testers told me that over the last two years, AI has taken massive<br>
> leaps forward in sophistication. They added: "These models are typically<br>
> good at following instructions, and they are trained in a large variety of<br>
> languages and linguistics-related texts. As these models have considerable<br>
> data in their training sets (or access to it on the internet) and entirely<br>
> language-centric, they?re likely to do a reasonable if not very<br>
> competent job." and "Language is the specialty of LLMs. There is a lot of<br>
> text out there likely scraped online and fed to these models. They can<br>
> speak tens of languages, and they know a lot about linguistics. As<br>
> non-experts, we cannot be certain that these answers are correct, although<br>
> they seem so at first glance. We don?t doubt the model?s capabilities in<br>
> this field."<br>
><br>
> Cheers!<br>
> Spike<br>
><br>
> *From: *Lingtyp <<a href="mailto:lingtyp-bounces@listserv.linguistlist.org" target="_blank">lingtyp-bounces@listserv.linguistlist.org</a>> on behalf of<br>
> Alexander Coupe via Lingtyp <<a href="mailto:lingtyp@listserv.linguistlist.org" target="_blank">lingtyp@listserv.linguistlist.org</a>><br>
> *Date: *Thursday, November 6, 2025 at 7:27?PM<br>
> *To: *Juergen Bohnemeyer <<a href="mailto:jb77@buffalo.edu" target="_blank">jb77@buffalo.edu</a>>, Mark Post <<br>
> <a href="mailto:mark.post@sydney.edu.au" target="_blank">mark.post@sydney.edu.au</a>>, typology list <<a href="mailto:lingtyp@listserv.linguistlist.org" target="_blank">lingtyp@listserv.linguistlist.org</a><br>
> ><br>
> *Subject: *Re: [Lingtyp] "AI" and linguistics problem sets<br>
><br>
> This message originated outside the UO email ecosystem.<br>
> Use caution with links and attachments. Learn more about this *email<br>
> warning tag<br>
> <<a href="https://service.uoregon.edu/TDClient/2030/Portal/KB/ArticleDet?ID=141098" rel="noreferrer" target="_blank">https://service.uoregon.edu/TDClient/2030/Portal/KB/ArticleDet?ID=141098</a>>*<br>
> .<br>
> Report Suspicious<br>
> <<a href="https://us-phishalarm-ewt.proofpoint.com/EWT/v1/C5qS4YX3!OymHZdAFSneBnUakM_O6Cg_4Bzz61Ui1jyPxXoMRTCoE94kD55qqwRvBZQ2oQ9Q1oRPooC5CgOy7mct_yAnqYjOz0q-jzpRmUlXZhWj01MIxdbgKHA$" rel="noreferrer" target="_blank">https://us-phishalarm-ewt.proofpoint.com/EWT/v1/C5qS4YX3!OymHZdAFSneBnUakM_O6Cg_4Bzz61Ui1jyPxXoMRTCoE94kD55qqwRvBZQ2oQ9Q1oRPooC5CgOy7mct_yAnqYjOz0q-jzpRmUlXZhWj01MIxdbgKHA$</a>><br>
><br>
> Dear Mark and Juergen,<br>
><br>
><br>
> A while ago when I was teaching an undergraduate morphology & syntax<br>
> course I had the same concerns about students relying on AI to solve<br>
> problem sets, so I tested ChatGPT (probably v. 3.5) on some fairly obscure<br>
> data prior to setting assignments. The first task was a grammatical sketch<br>
> based on ~two dozen sentences in Nagamese with English translations. While<br>
> it did quite well with identifying word classes, tense marking, and other<br>
> details of morphology, it struggled to make sense of the postpositional<br>
> case markers (I had included example sentences of differential marking of P<br>
> arguments in the data set). Nevertheless, it would have gotten through with<br>
> a pass. I then tested it on some Dyirbal data with sentences demonstrating<br>
> the split alignment system in the case marking/pronominals. This time it<br>
> did extremely poorly and would have earned an F for its attempt. Naturally<br>
> I shared the findings with my students ?<br>
><br>
><br>
> This suggests that if there is language data available that a LLM can<br>
> access to learn, then it is risky to use a data set of that or a<br>
> typologically similar language for assessment. At the stage of ChatGPT 3.5<br>
> it seemed that it hadn?t had much exposure to head-final languages, and<br>
> that may explain its inability to identify postpositional case markers. But<br>
> this may change in the future, and its performance might have already<br>
> improved vastly.<br>
><br>
><br>
> Alec<br>
> --<br>
> Assoc. Prof. Alexander R. Coupe, Ph.D. | Associate Chair (Research) | School<br>
> of Humanities | Nanyang Technological University<br>
> 48 Nanyang Avenue, SHHK-03-84D, Singapore 639818<br>
> Tel: +65 6904 2072 GMT+8h | Email: *<a href="mailto:arcoupe@ntu.edu.sg" target="_blank">arcoupe@ntu.edu.sg</a><br>
> <<a href="mailto:arcoupe@ntu.edu.sg" target="_blank">arcoupe@ntu.edu.sg</a>>*<br>
> Academia.edu: *<a href="https://nanyang.academia.edu/AlexanderCoupe" rel="noreferrer" target="_blank">https://nanyang.academia.edu/AlexanderCoupe</a><br>
> <<a href="https://urldefense.com/v3/__https://nanyang.academia.edu/AlexanderCoupe__;!!C5qS4YX3!AYlp9c-DTaVHsnTMRlYSmuMzxsqa-fSpOLYlPhat7VpZOgroj3MWgyzR-PyRCdxbnCdyYVW0qixHRA80tDIIYZckE-6L$" rel="noreferrer" target="_blank">https://urldefense.com/v3/__https://nanyang.academia.edu/AlexanderCoupe__;!!C5qS4YX3!AYlp9c-DTaVHsnTMRlYSmuMzxsqa-fSpOLYlPhat7VpZOgroj3MWgyzR-PyRCdxbnCdyYVW0qixHRA80tDIIYZckE-6L$</a>>*<br>
><br>
> ORCID ID: *<a href="https://orcid.org/0000-0003-1979-2370" rel="noreferrer" target="_blank">https://orcid.org/0000-0003-1979-2370</a><br>
> <<a href="https://urldefense.com/v3/__https://orcid.org/0000-0003-1979-2370__;!!C5qS4YX3!AYlp9c-DTaVHsnTMRlYSmuMzxsqa-fSpOLYlPhat7VpZOgroj3MWgyzR-PyRCdxbnCdyYVW0qixHRA80tDIIYf61tY-S$" rel="noreferrer" target="_blank">https://urldefense.com/v3/__https://orcid.org/0000-0003-1979-2370__;!!C5qS4YX3!AYlp9c-DTaVHsnTMRlYSmuMzxsqa-fSpOLYlPhat7VpZOgroj3MWgyzR-PyRCdxbnCdyYVW0qixHRA80tDIIYf61tY-S$</a>>*<br>
> Webpage: *<a href="https://blogs.ntu.edu.sg/arcoupe/" rel="noreferrer" target="_blank">https://blogs.ntu.edu.sg/arcoupe/</a><br>
> <<a href="https://urldefense.com/v3/__https://blogs.ntu.edu.sg/arcoupe/__;!!C5qS4YX3!AYlp9c-DTaVHsnTMRlYSmuMzxsqa-fSpOLYlPhat7VpZOgroj3MWgyzR-PyRCdxbnCdyYVW0qixHRA80tDIIYdHSOv5c$" rel="noreferrer" target="_blank">https://urldefense.com/v3/__https://blogs.ntu.edu.sg/arcoupe/__;!!C5qS4YX3!AYlp9c-DTaVHsnTMRlYSmuMzxsqa-fSpOLYlPhat7VpZOgroj3MWgyzR-PyRCdxbnCdyYVW0qixHRA80tDIIYdHSOv5c$</a>>*<br>
><br>
><br>
><br>
><br>
><br>
><br>
> *From: *Lingtyp <<a href="mailto:lingtyp-bounces@listserv.linguistlist.org" target="_blank">lingtyp-bounces@listserv.linguistlist.org</a>> on behalf of "<br>
> <a href="mailto:lingtyp@listserv.linguistlist.org" target="_blank">lingtyp@listserv.linguistlist.org</a>" <<a href="mailto:lingtyp@listserv.linguistlist.org" target="_blank">lingtyp@listserv.linguistlist.org</a>><br>
> *Reply to: *Juergen Bohnemeyer <<a href="mailto:jb77@buffalo.edu" target="_blank">jb77@buffalo.edu</a>><br>
> *Date: *Friday, 7 November 2025 at 1:09?AM<br>
> *To: *Mark Post <<a href="mailto:mark.post@sydney.edu.au" target="_blank">mark.post@sydney.edu.au</a>>, "<br>
> <a href="mailto:lingtyp@listserv.linguistlist.org" target="_blank">lingtyp@listserv.linguistlist.org</a>" <<a href="mailto:lingtyp@listserv.linguistlist.org" target="_blank">lingtyp@listserv.linguistlist.org</a>><br>
> *Subject: *Re: [Lingtyp] "AI" and linguistics problem sets<br>
><br>
><br>
><br>
> *[Alert: Non-NTU Email] Be cautious before clicking any link or<br>
> attachment.*<br>
> Dear Mark ? I?m actually surprised to hear that an AI bot is able to<br>
> adequately solve your problem sets. My assumption, based on my own very<br>
> limited experience with ChatGPT, has been that LMMs would perform so poorly<br>
> at linguistic analysis that the results would dissuade students from trying<br>
> again in the future. Would it be possible at all to share more details with<br>
> us?<br>
><br>
><br>
> (One recommendation I have, which I however haven?t actually tried out, is<br>
> to put a watermark of sorts in your assignments, in the form of a factual<br>
> detail about some lesser-studied language. Even though such engines are of<br>
> course quite capable of information retrieval, their very nature seems to<br>
> predispose them toward predicting the answer rather than to looking it up.<br>
> With the results being likely straightforwardly false.)<br>
><br>
><br>
> Best ? Juergen<br>
><br>
><br>
><br>
><br>
> Juergen Bohnemeyer (He/Him)<br>
> Professor, Department of Linguistics<br>
> University at Buffalo<br>
><br>
> Office: 642 Baldy Hall, UB North Campus<br>
> Mailing address: 609 Baldy Hall, Buffalo, NY 14260<br>
> Phone: (716) 645 0127<br>
> Fax: (716) 645 3825<br>
> Email: *<a href="mailto:jb77@buffalo.edu" target="_blank">jb77@buffalo.edu</a> <<a href="mailto:jb77@buffalo.edu" target="_blank">jb77@buffalo.edu</a>>*<br>
> Web: *<a href="http://www.acsu.buffalo.edu/~jb77/" rel="noreferrer" target="_blank">http://www.acsu.buffalo.edu/~jb77/</a><br>
> <<a href="https://urldefense.com/v3/__http://www.acsu.buffalo.edu/*jb77/__;fg!!C5qS4YX3!AYlp9c-DTaVHsnTMRlYSmuMzxsqa-fSpOLYlPhat7VpZOgroj3MWgyzR-PyRCdxbnCdyYVW0qixHRA80tDIIYQ1qRBWH$" rel="noreferrer" target="_blank">https://urldefense.com/v3/__http://www.acsu.buffalo.edu/*jb77/__;fg!!C5qS4YX3!AYlp9c-DTaVHsnTMRlYSmuMzxsqa-fSpOLYlPhat7VpZOgroj3MWgyzR-PyRCdxbnCdyYVW0qixHRA80tDIIYQ1qRBWH$</a>>*<br>
><br>
><br>
> Office hours Tu/Th 3:30-4:30pm in 642 Baldy or via Zoom (Meeting ID 585<br>
> 520 2411; Passcode Hoorheh)<br>
><br>
> There?s A Crack In Everything - That?s How The Light Gets In<br>
> (Leonard Cohen)<br>
> --<br>
><br>
><br>
><br>
> *From: *Lingtyp <<a href="mailto:lingtyp-bounces@listserv.linguistlist.org" target="_blank">lingtyp-bounces@listserv.linguistlist.org</a>> on behalf of<br>
> Mark Post via Lingtyp <<a href="mailto:lingtyp@listserv.linguistlist.org" target="_blank">lingtyp@listserv.linguistlist.org</a>><br>
> *Date: *Tuesday, November 4, 2025 at 18:27<br>
> *To: *typology list <<a href="mailto:lingtyp@listserv.linguistlist.org" target="_blank">lingtyp@listserv.linguistlist.org</a>><br>
> *Subject: *[Lingtyp] "AI" and linguistics problem sets<br>
> Dear Listmembers,<br>
><br>
><br>
> I trust that most lingtyp subscribers will have engaged with ?problem<br>
> sets? of the type found in Language Files, Describing Morphosyntax, and my<br>
> personal favourite oldie-but-goodie the Source Book for Linguistics. Since<br>
> the advent of ChatGPT, I?ve been migrating away from these (and even<br>
> edited/obscured versions of them) for assessments, and relying more and<br>
> more on private/unpublished data sets, mostly from languages with lots of<br>
> complex morphology and less familiar category types, that LLMs seemed to<br>
> have a much harder time with. This was not an ideal situation for many<br>
> reasons, not least of which being that these were not the only types of<br>
> languages students should get practice working with. But the problem really<br>
> came to a head this year, when I found that perhaps most off-the-shelf LLMs<br>
> were now able to solve almost all of my go-to problem sets to an at least<br>
> reasonable degree, even after I obscured much of the data.<br>
><br>
><br>
> Leaving aside issues around how LLMs work, what role(s) they can or should<br>
> (not) play in linguistic research, etc., I?d like to ask if any listmembers<br>
> would be willing to share their experiences, advice, etc., specifically in<br>
> the area of student assessment in the teaching of linguistic data analysis,<br>
> and in particular morphosyntax, in the unfolding AI-saturated environment.<br>
> Is the ?problem set? method of teaching distributional analysis<br>
> irretrievably lost? Can it still be employed, and if so how? Are there<br>
> different/better ways of teaching more or less the same skills?<br>
><br>
><br>
> Note that I would really like to avoid doomsdayisms if possible here (?the<br>
> skills traditionally taught to linguists have already been made obsolete by<br>
> AIs, such that there?s no point in teaching them anymore? - an argument<br>
> with which I am all-too-familiar), and focus, if possible, on *how* it is<br>
> possible to assess/evaluate students? performance *under the assumption* that<br>
> there is at least some value in teaching at least some human beings how to<br>
> do a distributional analysis ?by hand? - such that they are actually able,<br>
> for example, to evaluate a machine?s performance in analysing a<br>
> new/unfamiliar data set, and under the further assumption that<br>
> assessment/evaluation of student performance in at least many institutions<br>
> will continue to follow existing models.<br>
><br>
><br>
> Many thanks in advance!<br>
> Mark<br>
><br>
><br>
> ------------------------------<br>
><br>
> CONFIDENTIALITY: This email is intended solely for the person(s) named and<br>
> may be confidential and/or privileged. If you are not the intended<br>
> recipient, please delete it, notify us and do not copy, use, or disclose<br>
> its contents.<br>
> Towards a sustainable earth: Print only when necessary. Thank you.<br>
> _______________________________________________<br>
> Lingtyp mailing list<br>
> <a href="mailto:Lingtyp@listserv.linguistlist.org" target="_blank">Lingtyp@listserv.linguistlist.org</a><br>
> <a href="https://listserv.linguistlist.org/cgi-bin/mailman/listinfo/lingtyp" rel="noreferrer" target="_blank">https://listserv.linguistlist.org/cgi-bin/mailman/listinfo/lingtyp</a><br>
><br>
><br>
> <<a href="https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail" rel="noreferrer" target="_blank">https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail</a>><br>
> <a href="http://Virus-free.www.avast.com" rel="noreferrer" target="_blank">Virus-free.www.avast.com</a><br>
> <<a href="https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail" rel="noreferrer" target="_blank">https://www.avast.com/sig-email?utm_medium=email&utm_source=link&utm_campaign=sig-email&utm_content=webmail</a>><br>
> _______________________________________________<br>
> Lingtyp mailing list<br>
> <a href="mailto:Lingtyp@listserv.linguistlist.org" target="_blank">Lingtyp@listserv.linguistlist.org</a><br>
> <a href="https://listserv.linguistlist.org/cgi-bin/mailman/listinfo/lingtyp" rel="noreferrer" target="_blank">https://listserv.linguistlist.org/cgi-bin/mailman/listinfo/lingtyp</a><br>
><br>
><br>
><br>
> _______________________________________________<br>
> Lingtyp mailing list<br>
> <a href="mailto:Lingtyp@listserv.linguistlist.org" target="_blank">Lingtyp@listserv.linguistlist.org</a><br>
> <a href="https://listserv.linguistlist.org/cgi-bin/mailman/listinfo/lingtyp" rel="noreferrer" target="_blank">https://listserv.linguistlist.org/cgi-bin/mailman/listinfo/lingtyp</a><br>
><br>
-------------- next part --------------<br>
An HTML attachment was scrubbed...<br>
URL: <<a href="http://listserv.linguistlist.org/pipermail/lingtyp/attachments/20251107/bb381727/attachment-0001.htm" rel="noreferrer" target="_blank">http://listserv.linguistlist.org/pipermail/lingtyp/attachments/20251107/bb381727/attachment-0001.htm</a>><br>
<br>
------------------------------<br>
<br>
Subject: Digest Footer<br>
<br>
_______________________________________________<br>
Lingtyp mailing list<br>
<a href="mailto:Lingtyp@listserv.linguistlist.org" target="_blank">Lingtyp@listserv.linguistlist.org</a><br>
<a href="https://listserv.linguistlist.org/cgi-bin/mailman/listinfo/lingtyp" rel="noreferrer" target="_blank">https://listserv.linguistlist.org/cgi-bin/mailman/listinfo/lingtyp</a><br>
<br>
<br>
------------------------------<br>
<br>
End of Lingtyp Digest, Vol 134, Issue 10<br>
****************************************<br>
</blockquote></div></div>