Dear Chris,<br>Following the same logic and disclaimer of Jin-Dong, you might find Koehn's method for stat. sig. testing for machine translation output useful:<br><br>Philipp Koehn. 2004. Statistical significance tests for<br>
machine translation evaluation. In Proceedings of the<br>Conference on Empirical Methods in Natural Language<br>Processing (EMNLP).<br><br><br>There's a freely available implementation and source code of it, too. (Not sure about the exact license).<br>
<br><br>Best,<br><br>-Yuval<br><br><br><br><br><div class="gmail_quote">On Fri, Oct 14, 2011 at 4:09 AM, Jin-Dong Kim <span dir="ltr"><<a href="mailto:jdkim@dbcls.rois.ac.jp">jdkim@dbcls.rois.ac.jp</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">Dear Chris,<br>
<br>
I am not sure if you consider it as a corpus linguistics study, but<br>
bootstrap resampling techniques were indeed used in this work:<br>
<br>
@article{Sang:2002:MSP:944790.944818,<br>
 author = {Sang, Erik F. Tjong Kim},<br>
 title = {Memory-based shallow parsing},<br>
 journal = {J. Mach. Learn. Res.},<br>
 volume = {2},<br>
 month = {March},<br>
 year = {2002},<br>
 issn = {1532-4435},<br>
 pages = {559--594},<br>
 numpages = {36},<br>
 url = {<a href="http://dl.acm.org/citation.cfm?id=944790.944818" target="_blank">http://dl.acm.org/citation.cfm?id=944790.944818</a>},<br>
 acmid = {944818},<br>
 publisher = {JMLR.org},<br>
 keywords = {feature selection, memory-based learning, shallow<br>
parsing, system combination},<br>
}<br>
<br>
Hope it helps.<br>
<br>
Best,<br>
<br>
Jin-Dong<br>
<div><div></div><div class="h5"><br>
On Thu, Oct 13, 2011 at 11:43 PM,  <<a href="mailto:CRuehlemann@aol.com">CRuehlemann@aol.com</a>> wrote:<br>
> Dear all,<br>
><br>
><br>
><br>
> It is not uncommon in quantitative corpus linguistic studies that a<br>
> significance test cannot be performed either because one cannot juxtapose<br>
> the distribution of a variable against the distribution of another<br>
> comparable variable or against a specific distribution (e.g. normal<br>
> distribution, exponential, etc.) or against an a priory stipulated value. To<br>
> nonetheless assess whether the distribution in the sample is simply due to<br>
> chance or a reflection of the true distribution in the population,<br>
> statisticians often use the bootstrap method. This method is a resampling<br>
> method: from the sample, a large number of resamples are drawn randomly and<br>
> with replacement.<br>
><br>
><br>
><br>
> Is anyone aware of any (corpus) linguistic study/studies which has/have used<br>
> this method?<br>
><br>
><br>
><br>
> Many thanks in advance<br>
><br>
><br>
><br>
> Chris<br>
><br>
</div></div>> _______________________________________________<br>
> UNSUBSCRIBE from this page: <a href="http://mailman.uib.no/options/corpora" target="_blank">http://mailman.uib.no/options/corpora</a><br>
> Corpora mailing list<br>
> <a href="mailto:Corpora@uib.no">Corpora@uib.no</a><br>
> <a href="http://mailman.uib.no/listinfo/corpora" target="_blank">http://mailman.uib.no/listinfo/corpora</a><br>
><br>
><br>
<br>
<br>
<br>
--<br>
Jin-Dong Kim, Ph.D,<br>
Project Associate Professor,<br>
Database Center for Life Science (DBCLS),<br>
Research Organization of Information and Systems (ROIS)<br>
home: <a href="http://dbcls.rois.ac.jp/%7Ejdkim" target="_blank">http://dbcls.rois.ac.jp/~jdkim</a><br>
e-mail: <a href="mailto:jdkim@dbcls.rois.ac.jp">jdkim@dbcls.rois.ac.jp</a><br>
<br>
_______________________________________________<br>
UNSUBSCRIBE from this page: <a href="http://mailman.uib.no/options/corpora" target="_blank">http://mailman.uib.no/options/corpora</a><br>
Corpora mailing list<br>
<a href="mailto:Corpora@uib.no">Corpora@uib.no</a><br>
<a href="http://mailman.uib.no/listinfo/corpora" target="_blank">http://mailman.uib.no/listinfo/corpora</a><br>
</blockquote></div><br>