<div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><br>
CB<div class="im"><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
But, if you do manage to set up sufficiently precise hypotheses,<br>
and associate numbers with the hypotheses, statistical reasoning<br>
definitely can help.<br>
</blockquote>
<br></div>
I agree that statistics can help.  But there are many models for<br>
generating statistics.  Should you give higher weights to typing<br>
mistakes, dictionaries, legislation, or common usage?<br><font color="#888888">
<br>
John</font></blockquote><div><br></div><div>Yes indeed. These are the questions. I have no idea how to decide. The point I was trying to make, which I believe most of us agree on, is that statistical methods are just a tool for reasoning about uncertainty, so the burden falls back on the researcher to make sensible choices about how to model the situations that are of interest. This fundamental fact about what statistics is can often be obscured by practice and pedagogy in psychology (and probably also applied linguistics), because statistical methods are used mainly in stereotyped experimental designs for which well-researched statistical tests are firmly established, with most of the conceptual kinks already ironed out by higher authority. In that light it can seem that the task reduces to finding the "right" statistical test. I think that this attitude is dangerous and misguided in any field, and that you need a deeper understanding of what you are doing in order to draw safe conclusions. For problems as conceptually tricky as the original poster's, there is no immediate reason to think that any standard statistical test will be even close to right.</div>
<div> </div></div><br>-- <br>Chris Brew, Educational Testing Service<br>