The way you should do this is by cross-validating in a held out set :-)<br>
<br><br><div class="gmail_quote">On Thu, Oct 15, 2009 at 7:21 AM, Han-Cheol Cho <span dir="ltr"><<a href="mailto:priancho@gmail.com">priancho@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

<div>Dear researchers in NLP and related fields</div><div><br></div><div>I received an e-mail about the sigma value tuning for CRF++.</div><div>As far as I know, there is no tools or package that finds even sub-optimal C (actually sigma) value.</div>


<div>However, some papers mentions that the final accuracy is not quite different even a sigma value differs as a factor of 10.</div><div><br></div><div>Actually I am developing a NER tool for bio-domain.</div><div>In my case, sigma values from 0.01, 0.1, 0.2, 0.5, 1, 2, 5, 10, 100, 1000</div>


<div>When I trained and tested the models with NLPBA2004 shared task corpus, usually the models with 0.5, 1, 5 sigma values showed better performance.</div><div>(Features are generated from word (both word identity and orthographic features), POS, shallow parsing), sigma value 0.5 </div>


<div><br></div><div>I think that training several models (5~10) could be enough to find a good sigma value.</div><div><br></div><div>Sincerely yours,</div><div><br></div><div>P.s If someone knows a better way, please let me know.</div>

<div><div></div><div class="h5">
<div><br></div><br><div class="gmail_quote">On Thu, Oct 15, 2009 at 7:58 PM, Ahmed Ragab <span dir="ltr"><<a href="mailto:ahmed.nabhan@gmail.com" target="_blank">ahmed.nabhan@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">


Dear Colleagues,<br>
<br>
Greetings,<br>
<br>
I am using CRF++ for Named Entity Recognition (NER) task and in the<br>
documentation of CRF++ it is stated that we should set the hyper<br>
parameter C to an appropriate value.<br>
<quote><br>
This parameter trades the balance between overfitting and<br>
underfitting. The results will significantly be influenced by this<br>
parameter.<br>
</quote><br>
<br>
Is there any available tool (perhaps a perl script) to perform<br>
parameter tuning of CRF++ on development set?<br>
<br>
Best wishes,<br>
--<br>
Ahmed Ragab Nabhan<br>
Assistant Lecturer<br>
Fayoum University - Egypt<br>
<br>
_______________________________________________<br>
Corpora mailing list<br>
<a href="mailto:Corpora@uib.no" target="_blank">Corpora@uib.no</a><br>
<a href="http://mailman.uib.no/listinfo/corpora" target="_blank">http://mailman.uib.no/listinfo/corpora</a><br>
</blockquote></div><br><br clear="all"><br></div></div><font color="#888888">-- <br>Han-Cheol Cho<br>Tsujii Lab., Graduate School of Information Science and Technology, The University of Tokyo<br>
</font><br>_______________________________________________<br>
Corpora mailing list<br>
<a href="mailto:Corpora@uib.no">Corpora@uib.no</a><br>
<a href="http://mailman.uib.no/listinfo/corpora" target="_blank">http://mailman.uib.no/listinfo/corpora</a><br>
<br></blockquote></div><br>