A good starting point for you might be the evaluation paper from this year's Worshop on Machine Translation hosted at ACL.  It describes how well a variety of automatic evaluation metrics correlate with a variety of human evaluation metrics for a variety of types of translation system.
<br><br><a href="http://www.statmt.org/wmt07/pdf/WMT18.pdf">http://www.statmt.org/wmt07/pdf/WMT18.pdf</a><br><br>Chris<br><br><div><span class="gmail_quote">On 8/10/07, <b class="gmail_sendername">CARLOS EDUARDO DANTAS DE MENEZES
</b> <<a href="mailto:cedmenezes@gmail.com">cedmenezes@gmail.com</a>> wrote:</span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">Dear all,
<br>
<br>
Is there a metric to compare quality of a machine translation?<br>
<br>
Regards,<br><span class="sg">
<br>
Carlos Menezes
</span><br>_______________________________________________<br>Corpora mailing list<br><a onclick="return top.js.OpenExtLink(window,event,this)" href="mailto:Corpora@uib.no">Corpora@uib.no</a><br><a onclick="return top.js.OpenExtLink(window,event,this)" href="http://mailman.uib.no/listinfo/corpora" target="_blank">
http://mailman.uib.no/listinfo/corpora</a><br><br></blockquote></div><br>