<div dir="ltr"><div style>I'm not totally clear on whether you would be using corpora in the traditional sense, or using these word lists as corpora. But either way you might want to check out this book: Word Frequency Distributions by Baayen:</div>
<a href="http://books.google.com/books/about/Word_Frequency_Distributions.html?id=xUSM69ZkjHoC">http://books.google.com/books/about/Word_Frequency_Distributions.html?id=xUSM69ZkjHoC</a><br><div><br></div><div style>Comparing word frequency measures across corpora of different sizes is rife with complexity. Baayen goes into great detail from the ground-up describing the issues with modelling word frequency distributions (which are at the heart of lexical diversity measures).</div>
<div style><br></div><div style>He also talks about issues specifically related to quantifying lexical diversity. Measures such as type/token ratios are incredibly dependent upon sample size, so comparing them across corpora of different sizes is difficult to interpret if not simply meaningless.</div>
<div style><br></div><div style>He proposes a few adjustments that do help and there are other techniques that have been proposed such as vocd (<a href="http://ltj.sagepub.com/content/19/1/85.short">http://ltj.sagepub.com/content/19/1/85.short</a>). However it seems like every time someone proposes a new technique, someone else shows how it still does not satisfactorally address issues related to sample-size-dependence. For vocd, here is such a paper: <a href="http://ltj.sagepub.com/content/24/4/459.abstract">http://ltj.sagepub.com/content/24/4/459.abstract</a></div>
<div style><br></div><div style>Overall I think there is, as yet, no simple solution to the problem of sample size dependence. However, here is a link to a new technique called MTLD that claims to solve it: <a href="http://link.springer.com/article/10.3758/BRM.42.2.381">http://link.springer.com/article/10.3758/BRM.42.2.381</a></div>
<div style><br></div><div style>I haven't read the paper or tried MTLD, so I couldn't say how effective it is. They claim that it is not dependent upon sample size. Probably someone soon will write a paper explaining why it is dependent on sample size (stay tuned!)</div>
<div style><br></div><div style><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Apr 8, 2013 at 5:33 PM, Marko, Georg (<a href="mailto:georg.marko@uni-graz.at">georg.marko@uni-graz.at</a>) <span dir="ltr"><<a href="mailto:georg.marko@uni-graz.at" target="_blank">georg.marko@uni-graz.at</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Dear corpus linguists,<br>
<br>
I’m almost a tabula rasa when it comes to statistics so please excuse me if the following question is complete nonsense.<br>
<br>
But there has been a problem that has been bothering me concerning the quantification of the lexical diversity (or lexical variation) in lists derived from corpora. Theoretically, these lists could be of any kind, formally or semantically defined. The idea is to compare different lists from one corpus or the same lists across different corpora with respect to how prominent the categories the lists represent are in a particular text, in a particular text type, discourse, genre, etc.<br>

<br>
Token frequencies are the obvious starting point for quantifying this, assuming that if words from one list occur more often than those from another the former category will be more prominent (leaving aside the question what ‘prominence’ now means cognitively and/or socially).<br>

<br>
But lexical diversity* would be another as the status of a list of two lexemes occurring 50 times each (e.g. a list of pathonyms containing ‘disease’ and ‘illness’) is probably different from one of 25 lexemes occurring 4 times each on average (e.g. a list of pathonyms containing ‘cardiovascular disease’, ‘heart disease’, ‘coronary heart disease’, ‘heart failure’, ‘myocardial infarction’, ‘tachycardia’, ‘essential hypertension’…).<br>

<br>
The easiest way to quantify this would to take the number of different types/lexemes in the list. This seems fine intuitively, even though I’m not sure to what extent I should be looking for a measure that is less dependent on token frequencies (obviously, there is usually a correlation between type and token frequencies). Type-token ratios could be another candidate, but it is the converse situation, with small lists showing higher values than larger lists.<br>

<br>
So I guess, my question is whether there is any (perhaps even established *embarrassment*) measure that would represent lexical diversity better.<br>
<br>
Maybe it all depends on what I mean by lexical diversity and by clarifying this I would avoid the problem at the other end of the analysis. However, if anyone knows, I would be grateful to learn.<br>
<br>
Thank you<br>
<br>
Best regards<br>
<br>
<br>
<br>
Georg Marko<br>
<br>
<br>
<br>
*There is a relation to the concept of “overlexicalization” or “overwording” used in Critical Discourse Analysis, which assumes that the use of many different lexemes for the same concept, similar or related concepts points to a certain preoccupation with an idea or set of ideas. The problem here is of course ‘over’ and the question of an implicitly assumed standard of lexicalization.<br>

<br>
_______________________________________________<br>
UNSUBSCRIBE from this page: <a href="http://mailman.uib.no/options/corpora" target="_blank">http://mailman.uib.no/options/corpora</a><br>
Corpora mailing list<br>
<a href="mailto:Corpora@uib.no">Corpora@uib.no</a><br>
<a href="http://mailman.uib.no/listinfo/corpora" target="_blank">http://mailman.uib.no/listinfo/corpora</a><br>
</blockquote></div><br></div>