<div dir="ltr"><div>Well, I don't have *the* solution to your problem necessarily, but I have noticed that Google definitely tends to disregard punctuation (*not* spaces), and so would probably treat A.M. and a.m. and a.m and am. and am all as the same, for example (you can also notice this in responses to certain queries). On the other hand, your query and your examples do not jibe, insofar as you give "won't" with 37K responses, but "wont" with 3.7M responses (which latter *must* include mostly actual "won't", since archaic 'wont' would hardly occur that many times, even in Google's 9.8 gazillion pages (I don't have much familiarity with the ngram corpus, but I assume it is derived from the normal Google 'corpus'). More to the point, from your very query, one wouldn't expect *any* responses in your corpus to "won't".</div>

<div> </div>
<div>Jim<br><br></div>
<div class="gmail_quote">On Sat, Aug 30, 2008 at 5:58 AM, Alex Clark <span dir="ltr"><<a href="mailto:alexc@cs.rhul.ac.uk">alexc@cs.rhul.ac.uk</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid"><br>I have noticed that there seems to a problem with the<br>treatment of "won't" in the Google ngram corpus. We would expect it to<br>
occur about 100 million times, but it seems to have disappeared or be<br>tokenized in a non-standard way. We would expect it to appear in the Penn<br>style as "wo" + "n't"<br><br>As a unigram we get<br>
<br>won't   37251<br>wont 3677346<br>wo      1226869<br><br>in the bigrams we get things like<br><br>I 'm    188587483<br><br>but nothing that I can find that corresponds to "won't".<br><br>Has anyone else noticed this?<br>
<br>regards<br><br>Alex<br><br>--<br>Alexander Clark     <a href="mailto:alexc@cs.rhul.ac.uk">alexc@cs.rhul.ac.uk</a><br><a href="http://www.cs.rhul.ac.uk/home/alexc/" target="_blank">http://www.cs.rhul.ac.uk/home/alexc/</a><br>
Lecturer, Department of Computer Science,<br>Royal Holloway, University of London, Egham, Surrey TW20 0EX<br>Direct 01784 443430 Department 01784 434455 Fax 01784 439786<br><br>_______________________________________________<br>
Corpora mailing list<br><a href="mailto:Corpora@uib.no">Corpora@uib.no</a><br><a href="http://mailman.uib.no/listinfo/corpora" target="_blank">http://mailman.uib.no/listinfo/corpora</a><br></blockquote></div><br><br clear="all">
<br>-- <br>James L. Fidelholtz<br>Posgrado en Ciencias del Lenguaje<br>Instituto de Ciencias Sociales y<br>Humanidades<br>Benemérita Universidad Autónoma de<br>Puebla, MÉXICO<br></div>