<html><head><meta http-equiv="Content-Type" content="text/html charset=windows-1252"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;">SignWriting List<div>September 1, 2014</div><div><br></div><div>Hello Maria -</div><div>I just sent another message showing good drawings of facial expressions from an avatar program designed by the Parkhursts. I am going to write to Steve and Dianne Parkhurst to ask them if we can use more of the Avatar as a description of facial expressions because we do need that…</div><div><br></div><div>But yes, it is good we discuss this, mainly because I have trouble reading Receptive writing and it is not easy to flip over to Expressive..in fact a big job... so your program, if writing the Receptive, of course is valuable, but even after the Receptive transcript is done, it would be hard to find a skilled person to be able to manually re-write the transcript into the Expressive, since most people are not trained to do that - it would take a true specialist -</div><div><br></div><div>I will be able to return to this topic tomorrow - thanks so much for your patience and interest in the development of SignWriting -</div><div><br></div><div>Val ;-)</div><div><br></div><div>----------</div><div><br></div><div><br><div><div>On Sep 1, 2014, at 8:41 AM, Maria De Marsico <<a href="mailto:demarsico@DI.UNIROMA1.IT">demarsico@DI.UNIROMA1.IT</a>> wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite"><div dir="ltr"><div><div><div><div><div>Dear Valerie,<br> I completely agree with you when you state "Receptive and Expressive could be changed to “transcribing what someone else says” and “writing for daily use” ".<br>

<br></div>However, from the report of your deep experience  I also see that understanding by everyday readers can be hindered if using Receptive writing to transcribe, and this would make us miss half of the usefulness of the application we are going to design...<br>

</div><br><br></div>Can you suggest me some reading about Receptive and Expressive SW, in order to better understand the related issues?<br><br></div>Thanks a lot!<br><br></div>Maria<br><div><div><br></div>

</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">2014-09-01 16:25 GMT+02:00 Valerie Sutton <span dir="ltr"><<a href="mailto:signwriting@mac.com" target="_blank">signwriting@mac.com</a>></span>:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word">SignWriting List<div>September 1, 2014</div><div><br></div><div>Hello Maria!</div><div>

Thank you for this message. Please know we love your project and will support it all we can!</div><div><br></div><div>If your software can actually see a video in sign language, and give us some of the Receptive symbols that correspond to that, it will be a major gift. And thank you for trying to establish such a project. This is a difficult project.</div>

<div><br></div><div>I think the terms Receptive and Expressive could be changed to “transcribing what someone else says” and “writing for daily use”… That is more accurate probably…</div><div><br></div><div>Although I understand your points as a hearing person, it was through decades of working directly with native signers that taught me about Receptive and Expressive and what those terms really mean. Transcribing spoken and signed languages from video or audio, and writing spoken and signed languages for daily use, are two different experiences… Writing spoken languages and signed languages on a daily basis both are Expressive.</div>

<div><br></div><div>Daily writing by signers around the world is Expressive. When I use the terms Expressive and Receptive, I am not just talking about a flip of the symbols. That is a misunderstanding. Receptive Writing actually uses different symbols - not completely - there is a lot of flipping of symbols - and most of it is just the reverse, but there are some symbols in the Receptive that look totally different than those used in Expressive - </div>

<div><br></div><div>So Expressive writing is not intonation - it is actually the way people write on a daily basis. When I say “writing what we feel” - I am not talking about adding extra symbols that provide intonation - but explaining how all people write their daily languages through expressing themselves - </div>

<div><br></div><div>Over time, writing on a daily basis by thousands of people changed SignWriting…it evolved and moved forward into a true writing system for daily use. And that daily use is Expressive. People write what they want to express - they do not write what someone else is demonstrating on a video. And that is the same for spoken languages. Daily writing for spoken languages is Expressive too.</div>

<div><br></div><div>I suspect you can see a lot of Expressive writing in the Handwriting that you are scanning for the OGR project, which by the way, Steve and I would like to collaborate with you on in another way that we have not had time to discuss yet ;-))</div>

<div><br></div><div>Years ago I was very skilled at reading both Receptive and Expressive, but I found out, when trying to read a Receptive Transcription of Nepali Sign Language one day, with Dr. Erika Hoffmann-Dilloway, who had transcribed a video she created in Nepali Sign Language for her dissertation, which was an excellent job and an exciting project, I had trouble switching between reading texts in Receptive to Expressive -So we had to re-write it in Expressive for me to read it in depth (very sorry Erika for giving you so much extra work ;-(</div>

<div><br></div><div>Years ago we did a project with Dr. Karen Emmorey in which she asked me to write some basic signs in the Receptive and the Expressive and to analyze why it is that Deaf people can read the Expressive writing better than they can read the Receptive writing…the project did not get the funding needed by the National Science Foundation, so it was not done in depth, but I do have some of the signs if you would like to see some of the differences between Receptive and Expressive -</div>

<div><br></div><div>Having said all this, Maria and Fabrizio, I want you to know that we are grateful for the software and anything you can do will really be a blessing - a transcript is hard to get, and if there could be software that could give us a basis that we can then create a document from later, that will be amazing and a very big step forward…</div>

<div><br></div><div>So thank you, and please continue your work - it means a great deal to us -</div><div><br></div><div>Val ;-)</div><div><br></div><div>-------</div><div><div class="h5"><div><br></div><div><br></div><div>

<br><div><div>On Sep 1, 2014, at 6:38 AM, Maria De Marsico <<a href="mailto:demarsico@DI.UNIROMA1.IT" target="_blank">demarsico@DI.UNIROMA1.IT</a>> wrote:</div><br><blockquote type="cite"><div dir="ltr"><div><div><div>

<div><div><div>Dear Valerie,<br></div>thank you very much fro your deep comments, that are very interesting as usual.<br></div>Of course, we do not pretend to transfer on paper any kind of feeling. I agree that who signs does  also including a kind of "feeling prosody" in the expression, and this is somehow similar to non-formal writing in verbal languages too, where this is rendered by a special use of punctuation and also by a choise of lexicon. However, as for transcription, I adopt as a reference the transcription from a spoken discourse. <br>

<br>In this case,  in most situations the transcriber should be as neutral as possible to avoid to risk to change the intended essence of the message from the speaker, to interleave with one's own opinions and feelings,etc. The latter would produce an "augmented" message, which is not necessarily the same as the original.<br>

<br>I'm neither a linguist nor an expert in SLs, as I repeatedly said, but i think that this caveat should also hold for transcription from SL . This suggests that Receptive writing should be more appropriate for transcription (reproduction of the message from another person). As a matter of fact, while we speak about "creative writing", we never speak about "creative transcription".<br>

<br></div><div>Maybe the problem is a technical one on the meaning of "transcription". <br><br><span lang="en"><span>My "practical" interpretation </span><span></span> <span>(as opposed to </span><span>linguist</span><span>ic)</span> is <span></span><span>the</span> <span>following</span><span>.</span> <br>

<span>By writing</span>, one is  <span>directly</span><span> producing</span> <span>the</span> <span>written representation</span> <span>of a concept,</span> an idea, a thought, a situation, an information, a rule, etc., <span>and this is</span> <span>(more </span><span>or less) what</span> <span>SW</span> <span>is used for.</span><br>

<span>With</span> <span>the transcript</span> <span>I think we can</span> <span>distinguish</span> <span>more </span><span>cases:</span> <br><span>1</span><span>) to reproduce</span> <span>in written form or</span> <span>copy a</span> <span>text</span> <span>without any alteration</span><span>,</span> <span>and</span> <span>this is again </span><span></span><span>writing</span> <span>in</span> a<span> broader sense</span> <br>

  <span>2</span><span>)</span> <span>move from one</span> <span>writing system</span> <span>to another </span><span>(usually</span><span> possible,</span> <span>for example</span> <span>from</span> <span>Latin to</span> <span>Cyrillic)</span><span>; in a broader sense, this encompasses translation; it is worth noticing that translation in litarature (poems, etc.) is so hard just because one must attempt to preserve the original message, even when a contamination with one's own feelings may result in a smarter work; the idea is that of official documents, where translation must exactly preserve the message;</span><br>

<span>3</span><span>)</span> <span>extract</span> <span>the relevant part</span> <span>of the "</span><span>speech</span><span>" (not</span> <span>written</span><span>)</span> <span>by</span> <span>another</span> <span>and put it</span> <span>in writing </span></span><span lang="en"><span><span lang="en"><span>while keeping as much </span><span>meaning as possible</span> and without altering it </span> (</span><span>eg</span><span>.</span> <span>Shorthand</span><span>)</span><span></span><span>.</span></span><br>

<br></div><div>We are definitely addressing case 3).<br></div><div><br>

</div>Given this, the automatic handling of this activity can only use Receptive. Otherwise, we should have a "human-in-the-loop" revising the video AND the transcription together to pass from Receptive to Expressive ... too much work I suppose, most of all if we aim at creating large corpora from existing videos. Better to do it directly in a manual way.<br>

</div><div>On the other hand, techniques borrowed from studies about affective computing in HCI (Human-Computer Interaction) with expression and emotion recognition may help to improve also the automatic result.<br></div>

<div><br></div>Actually, we are just starting working about this, and therefore (unfortunately) there is no software to mention yet ...<br><br></div>What do you think?<br><br></div>Maria<br>

</div><div class="gmail_extra"><br><br><div class="gmail_quote">2014-08-31 17:37 GMT+02:00 Valerie Sutton <span dir="ltr"><<a href="mailto:signwriting@mac.com" target="_blank">signwriting@mac.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div style="word-wrap:break-word">SignWriting List<div>August 31, 2014</div><div><br></div><div>Hello Maria, Fabrizio and Stefan -</div><div>I believe you are asking for corresponding photos or drawings that could be placed side by side with each Facial Expression symbol in SignWriting?</div>

<div><br></div><div>There have been others who ask for this too, and we have considered doing this, but the problem is that the human face is very different from person to person, and I personally cannot even do all the facial expressions that are possible to write in SignWriting. Most people can’t either ;-)</div>

<div><br></div><div>We have had some photos taken in the past to use in this way, but not everyone could recognize in the photos exactly what the position was. This proves one fact that I had to learn over time…we are not just writing what we see…we are also writing what we feel, and what is considered necessary facial expressions for the understanding of the signs…not all facial expressions are needed. When you transcribe videos you need to know the difference between the facial expressions that are needed and the facial expressions that are not needed…that is not easy, with or without automation.</div>

<div><br></div><div>SignWriting has many aspects. It is a handwriting. It is expressing signer’s expression from their own perspective. That is the Expressive Viewpoint which is our standard.</div><div><br></div><div>But as you know for a decade we wrote Receptively. I was given an assignment, back in 1974, at the University of Copenhagen, to write what I saw people sign (and gesture) on a videotape of both hearing and Deaf people. The project was “writing the difference between hearing person’s gestures, and the movements of Deaf people signing Danish Sign Language”…so you can imagine the Deaf people were expressing their language and the hearing people were supporting their spoken language with minimal gestures…that was my beginning with writing signs and developing the beginning of SignWriting and it was through that project that I realized that the sign languages of the Deaf are real languages and it was clear that the hearing people did not have a sign language, but were using gestures to support their spoken language.</div>

<div><br></div><div>But being the hearing person I am (smile), I made the mistaken assumption that when we started to write real sign languages, that we should write from videotape and write exactly what we see…not feel. That came from the fact that I did not know the languages I was writing from videotape. I felt I could not impose my lack of knowledge on the writing, so I made a strong rule that we just write what we see, and it was Receptive, from 1974 to 1984.</div>

<div><br></div><div>But Receptive writing is not the same as Expressive writing - there are larger differences than most people realize…Later it was our Deaf staff, Lucinda O’Grady and Meriam Ina Schroeder, who requested switching from Receptive to Expressive in 1984, after three years writing articles in ASL in the SignWriter Newspaper in the Receptive, they became fed up with Receptive and demanded Expressive and I am glad they did!</div>

<div><br></div><div>They explained in a meeting in 1984 that they were really writing from their own experience, and were not writing from videotape…and when we write Expressively, which is the standard now, we write what we FEEL too… My immediate response was “what about Facial Expressions? how can we “see Facial Expressions” if we are writing ourselves?” and Lucinda explained it is what we “feel” while we are signing and writing that matters to a person fluent in writing ASL...</div>

<div><br></div><div>Which brings us back to video transcription - Video transcription fits well with Receptive, but nonetheless, most people I know use the Expressive to transcribe video because sooner or later the transcript must be in the Expressive for others to read... so most people write the videos in the Expressive from the beginning…</div>

<div><br></div><div>And Facial Expressions truly are based on a combination of what we see and what we feel…so the photos you are needing are harder because not all facial expression photos really portray what a person feels while they are signing…</div>

<div><br></div><div>So here are my questions to you Maria and Fabrizio…</div><div><br></div><div>1. Are you creating software that does an automatic transcription of sign language videos into SignWriting?</div><div><br></div>

<div>2. What is the name of this new software so I can refer to it easier? ;-)</div><div><br></div><div>3. Are you developing the software to transcribe videos in the Recpetive or the Expressive or both?</div><div><br></div>

<div>Val ;-)</div><div><br></div><div><br></div><div>-----------</div><div><br></div><div><br></div><div><br></div><div><br><div><div>On Aug 27, 2014, at 2:54 AM, Maria De Marsico <<a href="mailto:demarsico@DI.UNIROMA1.IT" target="_blank">demarsico@DI.UNIROMA1.IT</a>> wrote:</div>

<br><blockquote type="cite"><div dir="ltr"><div>Hi Stefan,<br></div>thanks for the quick feedback! I suppose we need the latter, since we would like to create an application able to process any pre-recorded viedo ... or almost any ;-)<br>

<br>Maria<br>

</div><div class="gmail_extra"><br><br><div class="gmail_quote">2014-08-27 11:30 GMT+02:00 Stefan Wöhrmann <span dir="ltr"><<a href="mailto:stefanwoehrmann@googlemail.com" target="_blank">stefanwoehrmann@googlemail.com</a>></span>:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div link="blue" vlink="blue" lang="DE">

<div><p class="MsoNormal"><font color="navy" face="Arial"><span style="font-size:10.0pt;font-family:Arial;color:navy" lang="EN-GB">Hi Maria, <u></u><u></u></span></font></p><p class="MsoNormal"><font color="navy" face="Arial"><span style="font-size:10.0pt;font-family:Arial;color:navy" lang="EN-GB"><u></u> <u></u></span></font></p><p class="MsoNormal"><font color="navy" face="Arial"><span style="font-size:10.0pt;font-family:Arial;color:navy" lang="EN-GB">Are you looking for a

match of symbols for “Woehrmann´s SpeechWriting” and a picture how the mouth /

face looks like or are you looking for all kinds of facial expressions –

tongue, eyebrows, eyes, cheecks, air in or air out, teeth… <u></u><u></u></span></font></p><p class="MsoNormal"><font color="navy" face="Arial"><span style="font-size:10.0pt;font-family:Arial;color:navy" lang="EN-GB"><u></u> <u></u></span></font></p><p class="MsoNormal"><font color="navy" face="Arial"><span style="font-size:10.0pt;font-family:Arial;color:navy" lang="EN-GB">All best <u></u><u></u></span></font></p><p class="MsoNormal"><font color="navy" face="Arial"><span style="font-size:10.0pt;font-family:Arial;color:navy" lang="EN-GB"><u></u> <u></u></span></font></p><p class="MsoNormal"><font color="navy" face="Arial"><span style="font-size:10.0pt;font-family:Arial;color:navy" lang="EN-GB">Stefan <u></u><u></u></span></font></p><p class="MsoNormal"><font color="navy" face="Arial"><span style="font-size:10.0pt;font-family:Arial;color:navy" lang="EN-GB"><u></u> <u></u></span></font></p><p class="MsoNormal"><font color="navy" face="Arial"><span style="font-size:10.0pt;font-family:Arial;color:navy" lang="EN-GB"><u></u> <u></u></span></font></p><p class="MsoNormal"><font color="navy" face="Arial"><span style="font-size:10.0pt;font-family:Arial;color:navy" lang="EN-GB">Animation of performing a

sign name  - the mouth moves as if saying: T I M O    (German way to pronounce

the word ;-)) )<u></u><u></u></span></font></p>

<div>

<div class="MsoNormal" style="text-align:center" align="center"><font face="Times New Roman" size="3"><span style="font-size:12.0pt">

<hr align="center" size="2" width="100%">

</span></font></div><p class="MsoNormal"><b><font face="Tahoma"><span style="font-size:10.0pt;font-family:Tahoma;font-weight:bold">Von:</span></font></b><font face="Tahoma"><span style="font-size:10.0pt;font-family:Tahoma"> SignWriting

List: Read and Write Sign Languages [mailto:<a href="mailto:SW-L@LISTSERV.VALENCIACOLLEGE.EDU" target="_blank">SW-L@LISTSERV.VALENCIACOLLEGE.EDU</a>] <b><span style="font-weight:bold">Im Auftrag von </span></b>Maria De Marsico<br>

<b><span style="font-weight:bold">Gesendet:</span></b> Mittwoch, 27. August

2014 11:22<br>

<b><span style="font-weight:bold">An:</span></b>

<a href="mailto:SW-L@LISTSERV.VALENCIACOLLEGE.EDU" target="_blank">SW-L@LISTSERV.VALENCIACOLLEGE.EDU</a><br>

<b><span style="font-weight:bold">Betreff:</span></b> Face glyphs</span></font><u></u><u></u></p>

</div><div><p class="MsoNormal"><font face="Times New Roman" size="3"><span style="font-size:12.0pt"><u></u> <u></u></span></font></p>

<div>

<div>

<div><p class="MsoNormal"><font face="Times New Roman" size="3"><span style="font-size:12.0pt">Dear all,<br>

we are addressing the problem of transcribing signed videos in SignWriting.

Unfortunately, when automatically processing single frames, we cannot use any

previous knowledge of the content. For this reason, in oprder to reliably

reproduce face expresions through the corresponding glyphs, we would need a

kind og "glossary". i.e., a table of correspondence between real face

images and glyphs.<u></u><u></u></span></font></p>

</div><p class="MsoNormal" style="margin-bottom:12.0pt"><font face="Times New Roman" size="3"><span style="font-size:12.0pt">Do you know if something

of this kind is already available?<u></u><u></u></span></font></p>

</div><p class="MsoNormal"><font face="Times New Roman" size="3"><span style="font-size:12.0pt">Thanks!<br>

<br>

Maria <br clear="all">

<u></u><u></u></span></font></p>

<div>

<div>

<div><p class="MsoNormal"><font face="Times New Roman" size="3"><span style="font-size:12.0pt"><br>

-- <br>

---------------------------------------------------------------------------<br>

Maria De Marsico<br>

Assistant professor<br>

Sapienza University of Rome<br>

Department of Computer Science <br>

Via Salaria 113 - 00198 Rome - Italy<br>

email: <a href="mailto:demarsico@di.uniroma1.it" target="_blank">demarsico@di.uniroma1.it</a><br>

tel: +39 06 49918312<u></u><u></u></span></font></p>

</div>

</div>

</div>

</div>

</div><p class="MsoNormal"><font face="Times New Roman" size="3"><span style="font-size:12.0pt">________________________________________________ <u></u><u></u></span></font></p><p><font face="Times New Roman" size="3"><span style="font-size:12.0pt">SIGNWRITING

LIST INFORMATION <u></u><u></u></span></font></p><p><font face="Times New Roman" size="3"><span style="font-size:12.0pt">Valerie

Sutton SignWriting List moderator <a href="mailto:sutton@signwriting.org" target="_blank">sutton@signwriting.org</a> <u></u><u></u></span></font></p><p><font face="Times New Roman" size="3"><span style="font-size:12.0pt">Post

Messages to the SignWriting List: <a href="mailto:sw-l@listserv.valenciacollege.edu" target="_blank">sw-l@listserv.valenciacollege.edu</a> <u></u><u></u></span></font></p><p><font face="Times New Roman" size="3"><span style="font-size:12.0pt">SignWriting

List Archives & Home Page <a href="http://www.signwriting.org/forums/swlist" target="_blank">http://www.signwriting.org/forums/swlist</a> <font face="Times New Roman" size="3"><span style="font-size:12.0pt">Join,

Leave or Change How You Receive SW List Messages

<a href="http://listserv.valenciacollege.edu/cgi-bin/wa?SUBED1=SW-L&A=1" target="_blank">http://listserv.valenciacollege.edu/cgi-bin/wa?SUBED1=SW-L&A=1</a> <u></u><u></u></span></font></p>

</div>

</div>

________________________________________________

<div>

<br></div><p>

SIGNWRITING LIST INFORMATION

</p><p>

Valerie Sutton

SignWriting List moderator

<a href="mailto:sutton@signwriting.org" target="_blank">sutton@signwriting.org</a>

</p><p>