<html>
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
  </head>
  <body text="#000000" bgcolor="#FFFFFF">
    <p>Dear All,</p>
    <p>A brief comment on the standards for quantitative approaches  to
      typology: I don't think anyone would disagree that
      coding-procedures need to be maximally transparent, explicitly
      justified, and adequately illustrated. I also think it's extremely
      important to minimize subjective effects in annotation practice -
      in general more annotators are better than just one, etc. <br>
    </p>
    <p>But what also needs to be stressed is ensuring the full
      accessibility and accountability of the raw data itself - in
      effect allowing for replication of the study by other scholars,
      who are free to opt for, e.g. different coding decisions (which
      will likely lead to different results). That is actually long-term
      the best way of assessing the strengths and weaknesses of any
      coding procedure.<br>
    </p>
    <p>So: if the data are out there, with unrestricted access ("open
      science"), then the issue of coding procedures becomes less
      pivotal. <br>
    </p>
    <p>I would would therefore support recommendations for maximizing
      data accountability, accessibility, and replicability, to be a
      part of ALT-guidelines, and considered them as criteria for
      evaluating quality (e.g. in reviewing publications, or nominations
      for awards etc.).</p>
    <p>best</p>
    <p>Geoff<br>
    </p>
    <p><br>
    </p>
    <p><br>
    </p>
    <br>
    <div class="moz-cite-prefix">Am 19.11.2017 um 23:33 schrieb Dryer,
      Matthew:<br>
    </div>
    <blockquote type="cite"
      cite="mid:D6384351.5877C%25dryer@buffalo.edu">
      <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
      <meta name="Title" content="">
      <meta name="Keywords" content="">
      <meta name="ProgId" content="Word.Document">
      <meta name="Generator" content="Microsoft Word 14">
      <meta name="Originator" content="Microsoft Word 14">
      <link rel="File-List"
href="file://localhost/Users/dryer/Library/Caches/TemporaryItems/msoclip/0/clip_filelist.xml">
      <!--[if gte mso 9]><xml>
 <o:DocumentProperties>
  <o:Revision>0</o:Revision>
  <o:TotalTime>0</o:TotalTime>
  <o:Pages>1</o:Pages>
  <o:Words>156</o:Words>
  <o:Characters>891</o:Characters>
  <o:Company>University at Buffalo</o:Company>
  <o:Lines>7</o:Lines>
  <o:Paragraphs>2</o:Paragraphs>
  <o:CharactersWithSpaces>1045</o:CharactersWithSpaces>
  <o:Version>14.0</o:Version>
 </o:DocumentProperties>
 <o:OfficeDocumentSettings>
  <o:AllowPNG/>
 </o:OfficeDocumentSettings>
</xml><![endif]-->
      <link rel="themeData"
href="file://localhost/Users/dryer/Library/Caches/TemporaryItems/msoclip/0/clip_themedata.xml">
      <!--[if gte mso 9]><xml>
 <w:WordDocument>
  <w:View>Normal</w:View>
  <w:Zoom>0</w:Zoom>
  <w:TrackMoves/>
  <w:TrackFormatting/>
  <w:PunctuationKerning/>
  <w:ValidateAgainstSchemas/>
  <w:SaveIfXMLInvalid>false</w:SaveIfXMLInvalid>
  <w:IgnoreMixedContent>false</w:IgnoreMixedContent>
  <w:AlwaysShowPlaceholderText>false</w:AlwaysShowPlaceholderText>
  <w:DoNotPromoteQF/>
  <w:LidThemeOther>EN-US</w:LidThemeOther>
  <w:LidThemeAsian>JA</w:LidThemeAsian>
  <w:LidThemeComplexScript>X-NONE</w:LidThemeComplexScript>
  <w:Compatibility>
   <w:BreakWrappedTables/>
   <w:SnapToGridInCell/>
   <w:WrapTextWithPunct/>
   <w:UseAsianBreakRules/>
   <w:DontGrowAutofit/>
   <w:SplitPgBreakAndParaMark/>
   <w:EnableOpenTypeKerning/>
   <w:DontFlipMirrorIndents/>
   <w:OverrideTableStyleHps/>
   <w:UseFELayout/>
  </w:Compatibility>
  <m:mathPr>
   <m:mathFont m:val="Cambria Math"/>
   <m:brkBin m:val="before"/>
   <m:brkBinSub m:val="--"/>
   <m:smallFrac m:val="off"/>
   <m:dispDef/>
   <m:lMargin m:val="0"/>
   <m:rMargin m:val="0"/>
   <m:defJc m:val="centerGroup"/>
   <m:wrapIndent m:val="1440"/>
   <m:intLim m:val="subSup"/>
   <m:naryLim m:val="undOvr"/>
  </m:mathPr></w:WordDocument>
</xml><![endif]--><!--[if gte mso 9]><xml>
 <w:LatentStyles DefLockedState="false" DefUnhideWhenUsed="true"
  DefSemiHidden="true" DefQFormat="false" DefPriority="99"
  LatentStyleCount="276">
  <w:LsdException Locked="false" Priority="0" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Normal"/>
  <w:LsdException Locked="false" Priority="9" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="heading 1"/>
  <w:LsdException Locked="false" Priority="9" QFormat="true" Name="heading 2"/>
  <w:LsdException Locked="false" Priority="9" QFormat="true" Name="heading 3"/>
  <w:LsdException Locked="false" Priority="9" QFormat="true" Name="heading 4"/>
  <w:LsdException Locked="false" Priority="9" QFormat="true" Name="heading 5"/>
  <w:LsdException Locked="false" Priority="9" QFormat="true" Name="heading 6"/>
  <w:LsdException Locked="false" Priority="9" QFormat="true" Name="heading 7"/>
  <w:LsdException Locked="false" Priority="9" QFormat="true" Name="heading 8"/>
  <w:LsdException Locked="false" Priority="9" QFormat="true" Name="heading 9"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 1"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 2"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 3"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 4"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 5"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 6"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 7"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 8"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 9"/>
  <w:LsdException Locked="false" Priority="35" QFormat="true" Name="caption"/>
  <w:LsdException Locked="false" Priority="10" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Title"/>
  <w:LsdException Locked="false" Priority="1" Name="Default Paragraph Font"/>
  <w:LsdException Locked="false" Priority="11" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Subtitle"/>
  <w:LsdException Locked="false" Priority="22" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Strong"/>
  <w:LsdException Locked="false" Priority="20" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Emphasis"/>
  <w:LsdException Locked="false" Priority="59" SemiHidden="false"
   UnhideWhenUsed="false" Name="Table Grid"/>
  <w:LsdException Locked="false" UnhideWhenUsed="false" Name="Placeholder Text"/>
  <w:LsdException Locked="false" Priority="1" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="No Spacing"/>
  <w:LsdException Locked="false" Priority="60" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Shading"/>
  <w:LsdException Locked="false" Priority="61" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light List"/>
  <w:LsdException Locked="false" Priority="62" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Grid"/>
  <w:LsdException Locked="false" Priority="63" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 1"/>
  <w:LsdException Locked="false" Priority="64" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 2"/>
  <w:LsdException Locked="false" Priority="65" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 1"/>
  <w:LsdException Locked="false" Priority="66" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 2"/>
  <w:LsdException Locked="false" Priority="67" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 1"/>
  <w:LsdException Locked="false" Priority="68" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 2"/>
  <w:LsdException Locked="false" Priority="69" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 3"/>
  <w:LsdException Locked="false" Priority="70" SemiHidden="false"
   UnhideWhenUsed="false" Name="Dark List"/>
  <w:LsdException Locked="false" Priority="71" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Shading"/>
  <w:LsdException Locked="false" Priority="72" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful List"/>
  <w:LsdException Locked="false" Priority="73" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Grid"/>
  <w:LsdException Locked="false" Priority="60" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Shading Accent 1"/>
  <w:LsdException Locked="false" Priority="61" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light List Accent 1"/>
  <w:LsdException Locked="false" Priority="62" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Grid Accent 1"/>
  <w:LsdException Locked="false" Priority="63" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 1 Accent 1"/>
  <w:LsdException Locked="false" Priority="64" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 2 Accent 1"/>
  <w:LsdException Locked="false" Priority="65" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 1 Accent 1"/>
  <w:LsdException Locked="false" UnhideWhenUsed="false" Name="Revision"/>
  <w:LsdException Locked="false" Priority="34" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="List Paragraph"/>
  <w:LsdException Locked="false" Priority="29" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Quote"/>
  <w:LsdException Locked="false" Priority="30" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Intense Quote"/>
  <w:LsdException Locked="false" Priority="66" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 2 Accent 1"/>
  <w:LsdException Locked="false" Priority="67" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 1 Accent 1"/>
  <w:LsdException Locked="false" Priority="68" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 2 Accent 1"/>
  <w:LsdException Locked="false" Priority="69" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 3 Accent 1"/>
  <w:LsdException Locked="false" Priority="70" SemiHidden="false"
   UnhideWhenUsed="false" Name="Dark List Accent 1"/>
  <w:LsdException Locked="false" Priority="71" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Shading Accent 1"/>
  <w:LsdException Locked="false" Priority="72" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful List Accent 1"/>
  <w:LsdException Locked="false" Priority="73" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Grid Accent 1"/>
  <w:LsdException Locked="false" Priority="60" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Shading Accent 2"/>
  <w:LsdException Locked="false" Priority="61" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light List Accent 2"/>
  <w:LsdException Locked="false" Priority="62" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Grid Accent 2"/>
  <w:LsdException Locked="false" Priority="63" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 1 Accent 2"/>
  <w:LsdException Locked="false" Priority="64" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 2 Accent 2"/>
  <w:LsdException Locked="false" Priority="65" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 1 Accent 2"/>
  <w:LsdException Locked="false" Priority="66" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 2 Accent 2"/>
  <w:LsdException Locked="false" Priority="67" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 1 Accent 2"/>
  <w:LsdException Locked="false" Priority="68" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 2 Accent 2"/>
  <w:LsdException Locked="false" Priority="69" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 3 Accent 2"/>
  <w:LsdException Locked="false" Priority="70" SemiHidden="false"
   UnhideWhenUsed="false" Name="Dark List Accent 2"/>
  <w:LsdException Locked="false" Priority="71" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Shading Accent 2"/>
  <w:LsdException Locked="false" Priority="72" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful List Accent 2"/>
  <w:LsdException Locked="false" Priority="73" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Grid Accent 2"/>
  <w:LsdException Locked="false" Priority="60" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Shading Accent 3"/>
  <w:LsdException Locked="false" Priority="61" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light List Accent 3"/>
  <w:LsdException Locked="false" Priority="62" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Grid Accent 3"/>
  <w:LsdException Locked="false" Priority="63" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 1 Accent 3"/>
  <w:LsdException Locked="false" Priority="64" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 2 Accent 3"/>
  <w:LsdException Locked="false" Priority="65" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 1 Accent 3"/>
  <w:LsdException Locked="false" Priority="66" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 2 Accent 3"/>
  <w:LsdException Locked="false" Priority="67" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 1 Accent 3"/>
  <w:LsdException Locked="false" Priority="68" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 2 Accent 3"/>
  <w:LsdException Locked="false" Priority="69" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 3 Accent 3"/>
  <w:LsdException Locked="false" Priority="70" SemiHidden="false"
   UnhideWhenUsed="false" Name="Dark List Accent 3"/>
  <w:LsdException Locked="false" Priority="71" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Shading Accent 3"/>
  <w:LsdException Locked="false" Priority="72" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful List Accent 3"/>
  <w:LsdException Locked="false" Priority="73" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Grid Accent 3"/>
  <w:LsdException Locked="false" Priority="60" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Shading Accent 4"/>
  <w:LsdException Locked="false" Priority="61" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light List Accent 4"/>
  <w:LsdException Locked="false" Priority="62" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Grid Accent 4"/>
  <w:LsdException Locked="false" Priority="63" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 1 Accent 4"/>
  <w:LsdException Locked="false" Priority="64" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 2 Accent 4"/>
  <w:LsdException Locked="false" Priority="65" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 1 Accent 4"/>
  <w:LsdException Locked="false" Priority="66" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 2 Accent 4"/>
  <w:LsdException Locked="false" Priority="67" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 1 Accent 4"/>
  <w:LsdException Locked="false" Priority="68" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 2 Accent 4"/>
  <w:LsdException Locked="false" Priority="69" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 3 Accent 4"/>
  <w:LsdException Locked="false" Priority="70" SemiHidden="false"
   UnhideWhenUsed="false" Name="Dark List Accent 4"/>
  <w:LsdException Locked="false" Priority="71" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Shading Accent 4"/>
  <w:LsdException Locked="false" Priority="72" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful List Accent 4"/>
  <w:LsdException Locked="false" Priority="73" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Grid Accent 4"/>
  <w:LsdException Locked="false" Priority="60" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Shading Accent 5"/>
  <w:LsdException Locked="false" Priority="61" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light List Accent 5"/>
  <w:LsdException Locked="false" Priority="62" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Grid Accent 5"/>
  <w:LsdException Locked="false" Priority="63" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 1 Accent 5"/>
  <w:LsdException Locked="false" Priority="64" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 2 Accent 5"/>
  <w:LsdException Locked="false" Priority="65" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 1 Accent 5"/>
  <w:LsdException Locked="false" Priority="66" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 2 Accent 5"/>
  <w:LsdException Locked="false" Priority="67" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 1 Accent 5"/>
  <w:LsdException Locked="false" Priority="68" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 2 Accent 5"/>
  <w:LsdException Locked="false" Priority="69" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 3 Accent 5"/>
  <w:LsdException Locked="false" Priority="70" SemiHidden="false"
   UnhideWhenUsed="false" Name="Dark List Accent 5"/>
  <w:LsdException Locked="false" Priority="71" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Shading Accent 5"/>
  <w:LsdException Locked="false" Priority="72" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful List Accent 5"/>
  <w:LsdException Locked="false" Priority="73" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Grid Accent 5"/>
  <w:LsdException Locked="false" Priority="60" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Shading Accent 6"/>
  <w:LsdException Locked="false" Priority="61" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light List Accent 6"/>
  <w:LsdException Locked="false" Priority="62" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Grid Accent 6"/>
  <w:LsdException Locked="false" Priority="63" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 1 Accent 6"/>
  <w:LsdException Locked="false" Priority="64" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 2 Accent 6"/>
  <w:LsdException Locked="false" Priority="65" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 1 Accent 6"/>
  <w:LsdException Locked="false" Priority="66" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 2 Accent 6"/>
  <w:LsdException Locked="false" Priority="67" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 1 Accent 6"/>
  <w:LsdException Locked="false" Priority="68" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 2 Accent 6"/>
  <w:LsdException Locked="false" Priority="69" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 3 Accent 6"/>
  <w:LsdException Locked="false" Priority="70" SemiHidden="false"
   UnhideWhenUsed="false" Name="Dark List Accent 6"/>
  <w:LsdException Locked="false" Priority="71" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Shading Accent 6"/>
  <w:LsdException Locked="false" Priority="72" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful List Accent 6"/>
  <w:LsdException Locked="false" Priority="73" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Grid Accent 6"/>
  <w:LsdException Locked="false" Priority="19" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Subtle Emphasis"/>
  <w:LsdException Locked="false" Priority="21" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Intense Emphasis"/>
  <w:LsdException Locked="false" Priority="31" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Subtle Reference"/>
  <w:LsdException Locked="false" Priority="32" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Intense Reference"/>
  <w:LsdException Locked="false" Priority="33" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Book Title"/>
  <w:LsdException Locked="false" Priority="37" Name="Bibliography"/>
  <w:LsdException Locked="false" Priority="39" QFormat="true" Name="TOC Heading"/>
 </w:LatentStyles>
</xml><![endif]-->
      <style>
<!--
 /* Font Definitions */
@font-face
        {font-family:"MS 明朝";
        mso-font-alt:Times;
        mso-font-charset:78;
        mso-generic-font-family:auto;
        mso-font-pitch:variable;
        mso-font-signature:-536870145 1791491579 18 0 131231 0;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;
        mso-font-alt:Georgia;
        mso-font-charset:0;
        mso-generic-font-family:auto;
        mso-font-pitch:variable;
        mso-font-signature:-536870145 1107305727 0 0 415 0;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;
        mso-font-alt:Consolas;
        mso-font-charset:0;
        mso-generic-font-family:auto;
        mso-font-pitch:variable;
        mso-font-signature:-520092929 1073806591 9 0 415 0;}
 /* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {mso-style-unhide:no;
        mso-style-qformat:yes;
        mso-style-parent:"";
        margin:0in;
        margin-bottom:.0001pt;
        mso-pagination:widow-orphan;
        font-size:12.0pt;
        font-family:"Times New Roman";
        mso-fareast-font-family:"MS 明朝";
        mso-fareast-theme-font:minor-fareast;
        mso-bidi-font-family:"Times New Roman";
        mso-bidi-theme-font:minor-bidi;
        mso-fareast-language:JA;}
.MsoChpDefault
        {mso-style-type:export-only;
        mso-default-props:yes;
        mso-fareast-font-family:"MS 明朝";
        mso-fareast-theme-font:minor-fareast;
        mso-bidi-font-family:"Times New Roman";
        mso-bidi-theme-font:minor-bidi;
        mso-fareast-language:JA;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.25in 1.0in 1.25in;
        mso-header-margin:.5in;
        mso-footer-margin:.5in;
        mso-paper-source:0;}
div.WordSection1
        {page:WordSection1;}
-->
</style><!--[if gte mso 10]>
<style>
 /* Style Definitions */
table.MsoNormalTable
        {mso-style-name:"Table Normal";
        mso-tstyle-rowband-size:0;
        mso-tstyle-colband-size:0;
        mso-style-noshow:yes;
        mso-style-priority:99;
        mso-style-parent:"";
        mso-padding-alt:0in 5.4pt 0in 5.4pt;
        mso-para-margin:0in;
        mso-para-margin-bottom:.0001pt;
        mso-pagination:widow-orphan;
        font-size:12.0pt;
        font-family:"Times New Roman";
        mso-bidi-font-family:"Times New Roman";
        mso-bidi-theme-font:minor-bidi;
        mso-fareast-language:JA;}
</style>
<![endif]-->
      <div><!--[if gte mso 9]><xml>
 <o:DocumentProperties>
  <o:Revision>0</o:Revision>
  <o:TotalTime>0</o:TotalTime>
  <o:Pages>1</o:Pages>
  <o:Words>156</o:Words>
  <o:Characters>891</o:Characters>
  <o:Company>University at Buffalo</o:Company>
  <o:Lines>7</o:Lines>
  <o:Paragraphs>2</o:Paragraphs>
  <o:CharactersWithSpaces>1045</o:CharactersWithSpaces>
  <o:Version>14.0</o:Version>
 </o:DocumentProperties>
 <o:OfficeDocumentSettings>
  <o:AllowPNG/>
 </o:OfficeDocumentSettings>
</xml><![endif]--><!--[if gte mso 9]><xml>
 <w:WordDocument>
  <w:View>Normal</w:View>
  <w:Zoom>0</w:Zoom>
  <w:TrackMoves/>
  <w:TrackFormatting/>
  <w:PunctuationKerning/>
  <w:ValidateAgainstSchemas/>
  <w:SaveIfXMLInvalid>false</w:SaveIfXMLInvalid>
  <w:IgnoreMixedContent>false</w:IgnoreMixedContent>
  <w:AlwaysShowPlaceholderText>false</w:AlwaysShowPlaceholderText>
  <w:DoNotPromoteQF/>
  <w:LidThemeOther>EN-US</w:LidThemeOther>
  <w:LidThemeAsian>JA</w:LidThemeAsian>
  <w:LidThemeComplexScript>X-NONE</w:LidThemeComplexScript>
  <w:Compatibility>
   <w:BreakWrappedTables/>
   <w:SnapToGridInCell/>
   <w:WrapTextWithPunct/>
   <w:UseAsianBreakRules/>
   <w:DontGrowAutofit/>
   <w:SplitPgBreakAndParaMark/>
   <w:EnableOpenTypeKerning/>
   <w:DontFlipMirrorIndents/>
   <w:OverrideTableStyleHps/>
   <w:UseFELayout/>
  </w:Compatibility>
  <m:mathPr>
   <m:mathFont m:val="Cambria Math"/>
   <m:brkBin m:val="before"/>
   <m:brkBinSub m:val="--"/>
   <m:smallFrac m:val="off"/>
   <m:dispDef/>
   <m:lMargin m:val="0"/>
   <m:rMargin m:val="0"/>
   <m:defJc m:val="centerGroup"/>
   <m:wrapIndent m:val="1440"/>
   <m:intLim m:val="subSup"/>
   <m:naryLim m:val="undOvr"/>
  </m:mathPr></w:WordDocument>
</xml><![endif]--><!--[if gte mso 9]><xml>
 <w:LatentStyles DefLockedState="false" DefUnhideWhenUsed="true"
  DefSemiHidden="true" DefQFormat="false" DefPriority="99"
  LatentStyleCount="276">
  <w:LsdException Locked="false" Priority="0" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Normal"/>
  <w:LsdException Locked="false" Priority="9" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="heading 1"/>
  <w:LsdException Locked="false" Priority="9" QFormat="true" Name="heading 2"/>
  <w:LsdException Locked="false" Priority="9" QFormat="true" Name="heading 3"/>
  <w:LsdException Locked="false" Priority="9" QFormat="true" Name="heading 4"/>
  <w:LsdException Locked="false" Priority="9" QFormat="true" Name="heading 5"/>
  <w:LsdException Locked="false" Priority="9" QFormat="true" Name="heading 6"/>
  <w:LsdException Locked="false" Priority="9" QFormat="true" Name="heading 7"/>
  <w:LsdException Locked="false" Priority="9" QFormat="true" Name="heading 8"/>
  <w:LsdException Locked="false" Priority="9" QFormat="true" Name="heading 9"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 1"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 2"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 3"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 4"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 5"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 6"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 7"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 8"/>
  <w:LsdException Locked="false" Priority="39" Name="toc 9"/>
  <w:LsdException Locked="false" Priority="35" QFormat="true" Name="caption"/>
  <w:LsdException Locked="false" Priority="10" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Title"/>
  <w:LsdException Locked="false" Priority="1" Name="Default Paragraph Font"/>
  <w:LsdException Locked="false" Priority="11" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Subtitle"/>
  <w:LsdException Locked="false" Priority="22" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Strong"/>
  <w:LsdException Locked="false" Priority="20" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Emphasis"/>
  <w:LsdException Locked="false" Priority="59" SemiHidden="false"
   UnhideWhenUsed="false" Name="Table Grid"/>
  <w:LsdException Locked="false" UnhideWhenUsed="false" Name="Placeholder Text"/>
  <w:LsdException Locked="false" Priority="1" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="No Spacing"/>
  <w:LsdException Locked="false" Priority="60" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Shading"/>
  <w:LsdException Locked="false" Priority="61" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light List"/>
  <w:LsdException Locked="false" Priority="62" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Grid"/>
  <w:LsdException Locked="false" Priority="63" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 1"/>
  <w:LsdException Locked="false" Priority="64" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 2"/>
  <w:LsdException Locked="false" Priority="65" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 1"/>
  <w:LsdException Locked="false" Priority="66" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 2"/>
  <w:LsdException Locked="false" Priority="67" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 1"/>
  <w:LsdException Locked="false" Priority="68" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 2"/>
  <w:LsdException Locked="false" Priority="69" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 3"/>
  <w:LsdException Locked="false" Priority="70" SemiHidden="false"
   UnhideWhenUsed="false" Name="Dark List"/>
  <w:LsdException Locked="false" Priority="71" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Shading"/>
  <w:LsdException Locked="false" Priority="72" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful List"/>
  <w:LsdException Locked="false" Priority="73" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Grid"/>
  <w:LsdException Locked="false" Priority="60" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Shading Accent 1"/>
  <w:LsdException Locked="false" Priority="61" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light List Accent 1"/>
  <w:LsdException Locked="false" Priority="62" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Grid Accent 1"/>
  <w:LsdException Locked="false" Priority="63" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 1 Accent 1"/>
  <w:LsdException Locked="false" Priority="64" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 2 Accent 1"/>
  <w:LsdException Locked="false" Priority="65" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 1 Accent 1"/>
  <w:LsdException Locked="false" UnhideWhenUsed="false" Name="Revision"/>
  <w:LsdException Locked="false" Priority="34" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="List Paragraph"/>
  <w:LsdException Locked="false" Priority="29" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Quote"/>
  <w:LsdException Locked="false" Priority="30" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Intense Quote"/>
  <w:LsdException Locked="false" Priority="66" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 2 Accent 1"/>
  <w:LsdException Locked="false" Priority="67" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 1 Accent 1"/>
  <w:LsdException Locked="false" Priority="68" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 2 Accent 1"/>
  <w:LsdException Locked="false" Priority="69" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 3 Accent 1"/>
  <w:LsdException Locked="false" Priority="70" SemiHidden="false"
   UnhideWhenUsed="false" Name="Dark List Accent 1"/>
  <w:LsdException Locked="false" Priority="71" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Shading Accent 1"/>
  <w:LsdException Locked="false" Priority="72" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful List Accent 1"/>
  <w:LsdException Locked="false" Priority="73" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Grid Accent 1"/>
  <w:LsdException Locked="false" Priority="60" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Shading Accent 2"/>
  <w:LsdException Locked="false" Priority="61" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light List Accent 2"/>
  <w:LsdException Locked="false" Priority="62" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Grid Accent 2"/>
  <w:LsdException Locked="false" Priority="63" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 1 Accent 2"/>
  <w:LsdException Locked="false" Priority="64" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 2 Accent 2"/>
  <w:LsdException Locked="false" Priority="65" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 1 Accent 2"/>
  <w:LsdException Locked="false" Priority="66" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 2 Accent 2"/>
  <w:LsdException Locked="false" Priority="67" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 1 Accent 2"/>
  <w:LsdException Locked="false" Priority="68" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 2 Accent 2"/>
  <w:LsdException Locked="false" Priority="69" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 3 Accent 2"/>
  <w:LsdException Locked="false" Priority="70" SemiHidden="false"
   UnhideWhenUsed="false" Name="Dark List Accent 2"/>
  <w:LsdException Locked="false" Priority="71" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Shading Accent 2"/>
  <w:LsdException Locked="false" Priority="72" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful List Accent 2"/>
  <w:LsdException Locked="false" Priority="73" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Grid Accent 2"/>
  <w:LsdException Locked="false" Priority="60" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Shading Accent 3"/>
  <w:LsdException Locked="false" Priority="61" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light List Accent 3"/>
  <w:LsdException Locked="false" Priority="62" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Grid Accent 3"/>
  <w:LsdException Locked="false" Priority="63" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 1 Accent 3"/>
  <w:LsdException Locked="false" Priority="64" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 2 Accent 3"/>
  <w:LsdException Locked="false" Priority="65" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 1 Accent 3"/>
  <w:LsdException Locked="false" Priority="66" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 2 Accent 3"/>
  <w:LsdException Locked="false" Priority="67" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 1 Accent 3"/>
  <w:LsdException Locked="false" Priority="68" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 2 Accent 3"/>
  <w:LsdException Locked="false" Priority="69" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 3 Accent 3"/>
  <w:LsdException Locked="false" Priority="70" SemiHidden="false"
   UnhideWhenUsed="false" Name="Dark List Accent 3"/>
  <w:LsdException Locked="false" Priority="71" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Shading Accent 3"/>
  <w:LsdException Locked="false" Priority="72" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful List Accent 3"/>
  <w:LsdException Locked="false" Priority="73" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Grid Accent 3"/>
  <w:LsdException Locked="false" Priority="60" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Shading Accent 4"/>
  <w:LsdException Locked="false" Priority="61" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light List Accent 4"/>
  <w:LsdException Locked="false" Priority="62" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Grid Accent 4"/>
  <w:LsdException Locked="false" Priority="63" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 1 Accent 4"/>
  <w:LsdException Locked="false" Priority="64" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 2 Accent 4"/>
  <w:LsdException Locked="false" Priority="65" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 1 Accent 4"/>
  <w:LsdException Locked="false" Priority="66" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 2 Accent 4"/>
  <w:LsdException Locked="false" Priority="67" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 1 Accent 4"/>
  <w:LsdException Locked="false" Priority="68" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 2 Accent 4"/>
  <w:LsdException Locked="false" Priority="69" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 3 Accent 4"/>
  <w:LsdException Locked="false" Priority="70" SemiHidden="false"
   UnhideWhenUsed="false" Name="Dark List Accent 4"/>
  <w:LsdException Locked="false" Priority="71" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Shading Accent 4"/>
  <w:LsdException Locked="false" Priority="72" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful List Accent 4"/>
  <w:LsdException Locked="false" Priority="73" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Grid Accent 4"/>
  <w:LsdException Locked="false" Priority="60" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Shading Accent 5"/>
  <w:LsdException Locked="false" Priority="61" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light List Accent 5"/>
  <w:LsdException Locked="false" Priority="62" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Grid Accent 5"/>
  <w:LsdException Locked="false" Priority="63" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 1 Accent 5"/>
  <w:LsdException Locked="false" Priority="64" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 2 Accent 5"/>
  <w:LsdException Locked="false" Priority="65" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 1 Accent 5"/>
  <w:LsdException Locked="false" Priority="66" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 2 Accent 5"/>
  <w:LsdException Locked="false" Priority="67" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 1 Accent 5"/>
  <w:LsdException Locked="false" Priority="68" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 2 Accent 5"/>
  <w:LsdException Locked="false" Priority="69" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 3 Accent 5"/>
  <w:LsdException Locked="false" Priority="70" SemiHidden="false"
   UnhideWhenUsed="false" Name="Dark List Accent 5"/>
  <w:LsdException Locked="false" Priority="71" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Shading Accent 5"/>
  <w:LsdException Locked="false" Priority="72" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful List Accent 5"/>
  <w:LsdException Locked="false" Priority="73" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Grid Accent 5"/>
  <w:LsdException Locked="false" Priority="60" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Shading Accent 6"/>
  <w:LsdException Locked="false" Priority="61" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light List Accent 6"/>
  <w:LsdException Locked="false" Priority="62" SemiHidden="false"
   UnhideWhenUsed="false" Name="Light Grid Accent 6"/>
  <w:LsdException Locked="false" Priority="63" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 1 Accent 6"/>
  <w:LsdException Locked="false" Priority="64" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Shading 2 Accent 6"/>
  <w:LsdException Locked="false" Priority="65" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 1 Accent 6"/>
  <w:LsdException Locked="false" Priority="66" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium List 2 Accent 6"/>
  <w:LsdException Locked="false" Priority="67" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 1 Accent 6"/>
  <w:LsdException Locked="false" Priority="68" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 2 Accent 6"/>
  <w:LsdException Locked="false" Priority="69" SemiHidden="false"
   UnhideWhenUsed="false" Name="Medium Grid 3 Accent 6"/>
  <w:LsdException Locked="false" Priority="70" SemiHidden="false"
   UnhideWhenUsed="false" Name="Dark List Accent 6"/>
  <w:LsdException Locked="false" Priority="71" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Shading Accent 6"/>
  <w:LsdException Locked="false" Priority="72" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful List Accent 6"/>
  <w:LsdException Locked="false" Priority="73" SemiHidden="false"
   UnhideWhenUsed="false" Name="Colorful Grid Accent 6"/>
  <w:LsdException Locked="false" Priority="19" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Subtle Emphasis"/>
  <w:LsdException Locked="false" Priority="21" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Intense Emphasis"/>
  <w:LsdException Locked="false" Priority="31" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Subtle Reference"/>
  <w:LsdException Locked="false" Priority="32" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Intense Reference"/>
  <w:LsdException Locked="false" Priority="33" SemiHidden="false"
   UnhideWhenUsed="false" QFormat="true" Name="Book Title"/>
  <w:LsdException Locked="false" Priority="37" Name="Bibliography"/>
  <w:LsdException Locked="false" Priority="39" QFormat="true" Name="TOC Heading"/>
 </w:LatentStyles>
</xml><![endif]--><!--[if gte mso 10]>
<style>
 /* Style Definitions */
table.MsoNormalTable
        {mso-style-name:"Table Normal";
        mso-tstyle-rowband-size:0;
        mso-tstyle-colband-size:0;
        mso-style-noshow:yes;
        mso-style-priority:99;
        mso-style-parent:"";
        mso-padding-alt:0in 5.4pt 0in 5.4pt;
        mso-para-margin:0in;
        mso-para-margin-bottom:.0001pt;
        mso-pagination:widow-orphan;
        font-size:12.0pt;
        font-family:"Times New Roman";
        mso-bidi-font-family:"Times New Roman";
        mso-bidi-theme-font:minor-bidi;
        mso-fareast-language:JA;}
</style>
<![endif]--><!--StartFragment-->
        <p class="MsoNormal">Volker,<o:p></o:p></p>
        <p class="MsoNormal"><o:p> </o:p></p>
        <p class="MsoNormal">I agree with what you say about the need to
          have clear operational definitions for one’s comparative
          concepts, but I don’t understand the following:<o:p></o:p></p>
        <p class="MsoNormal"><o:p> </o:p></p>
        <p class="MsoNormal">"To what extent do you consider the
          operationalizations valid, with respect to the definition of
          the tertium comparationis/comparative concept?"<o:p></o:p></p>
        <p class="MsoNormal"><o:p> </o:p></p>
        <p class="MsoNormal">This might make sense if one believes in
          crosslinguistic categories, but I don’t understand what it
          could mean applied to comparative concepts. It seems to imply
          that there is a set of comparative concepts out there that it
          is our job to discover and identify the properties of. But on
          my understanding, comparative concepts are not things that
          exist. Rather, they are simply notions that are defined for
          the purposes of a particular typological study. What exists if
          a continuous multi-dimensional space and the comparative
          concept is a partially arbitrary definition of a region within
          that continuous multi-dimenstional space. From that
          perspective, I don’t understand what it would mean for the
          operationalization to be valid.<o:p></o:p></p>
        <p class="MsoNormal"><o:p> </o:p></p>
        <p class="MsoNormal">Matthew</p>
        <!--EndFragment--></div>
      <div><br>
      </div>
      <span id="OLK_SRC_BODY_SECTION">
        <div style="font-family:Calibri; font-size:11pt;
          text-align:left; color:black; BORDER-BOTTOM: medium none;
          BORDER-LEFT: medium none; PADDING-BOTTOM: 0in; PADDING-LEFT:
          0in; PADDING-RIGHT: 0in; BORDER-TOP: #b5c4df 1pt solid;
          BORDER-RIGHT: medium none; PADDING-TOP: 3pt">
          <span style="font-weight:bold">From: </span>Lingtyp <<a
            href="mailto:lingtyp-bounces@listserv.linguistlist.org"
            moz-do-not-send="true">lingtyp-bounces@listserv.linguistlist.org</a>>
          on behalf of Volker Gast <<a
            href="mailto:volker.gast@uni-jena.de" moz-do-not-send="true">volker.gast@uni-jena.de</a>><br>
          <span style="font-weight:bold">Date: </span>Sunday, November
          19, 2017 at 7:57 PM<br>
          <span style="font-weight:bold">To: </span>William Croft <<a
            href="mailto:wcroft@unm.edu" moz-do-not-send="true">wcroft@unm.edu</a>><br>
          <span style="font-weight:bold">Cc: </span>Linguistic Typology
          <<a href="mailto:lingtyp@listserv.linguistlist.org"
            moz-do-not-send="true">lingtyp@listserv.linguistlist.org</a>><br>
          <span style="font-weight:bold">Subject: </span>Re: [Lingtyp]
          Empirical standards in typology<br>
        </div>
        <div><br>
        </div>
        <div>
          <div>
            <div><br>
            </div>
            <div>Thanks Bill. Note that I didn't say that there is no
              awareness, or no </div>
            <div>discussion, of research methods. What I said is that
              there are no commonly </div>
            <div>accepted standards that we could apply, for instance,
              when evaluating </div>
            <div>journal articles, dissertations or research proposals.
              I assume that </div>
            <div>everyone applies their own, personal standards.</div>
            <div><br>
            </div>
            <div>So here are some thoughts about standards in
              quantitative linguistic </div>
            <div>typology:</div>
            <div><br>
            </div>
            <div>With regard to coding/annotation, we're dealing with a
              question of </div>
            <div>reliability, which ultimately concerns replicability.
              Let's assume that </div>
            <div>self-annotation cannot be avoided for financial
              reasons. What about </div>
            <div>establishing a standard saying that, for instance, when
              you submit a </div>
            <div>quantitative-typological paper to LT you have to
              provide the data in such </div>
            <div>a way that the coding decisions are made sufficiently
              transparent for </div>
            <div>readers to see if they can go along with the argument?
              And if you fail to </div>
            <div>do so your submission will not even be taken into
              consideration? This </div>
            <div>could include, in addition to the data itself, a
              description of the coding </div>
            <div>process and operational tests for the levels of each
              variable.</div>
            <div><br>
            </div>
            <div>The other questions that have been discussed are mainly
              questions of </div>
            <div>validity (though the distinction has been made using
              other terms in this </div>
            <div>discussion). From my point of view the most important
              insight from the </div>
            <div>distinction between comparative concepts and
              descriptive categories is </div>
            <div>that comparative concepts, our tertia comparationis,
              are analyst's </div>
            <div>("observer-made") concepts, not participant's concepts.
              That means that we </div>
            <div>need to think about operationalizations, as you (Bill)
              write. So there are </div>
            <div>minimally two questions (and I'm not saying anything
              new here): (i) how </div>
            <div>can we define comparative concepts, and (ii) how can
              they be </div>
            <div>operationalized. If you define comparative concepts
              (e.g. 'word') in terms </div>
            <div>of other comparative concepts (e.g. 'vowel harmony'),
              that doesn't really </div>
            <div>help, obviously. What you're really doing is replace
              one tertium </div>
            <div>comparationis with a list of tertia (and if the
              operationalization is </div>
            <div>existential quantification over a set of comparative
              concepts, I have a </div>
            <div>hard time seeing how this can lead to valid results).
              That's why I </div>
            <div>think that functional definitions are better suited as
              the basis of </div>
            <div>crosslinguistic comparison (to the extent that
              crosslinguistic comparison </div>
            <div>situates itself in the functional paradigm, but there
              seems to be </div>
            <div>consensus that this is actually the case). They need to
              be independent of </div>
            <div>the actual operationalizations.</div>
            <div><br>
            </div>
            <div>Once you have a proper definition of your comparative
              concept, you can </div>
            <div>think about operationalizations; and obviously, you
              have to make sure that </div>
            <div>the operationalizations, which 'measure out' the
              individual linguistic </div>
            <div>systems, do in fact measure what you think you are
              measuring; they have to </div>
            <div>match the (independent) definition of your tertium
              comparationis. As we </div>
            <div>have seen, it's very hard to establish something like a
              common sense here. </div>
            <div>My view is that minimally, definitions (of
              tertia/comparative concepts) </div>
            <div>and operationalizations should be kept apart, and that
              authors should be </div>
            <div>explicit about both -- which, I'm aware, they often
              are, as you (Bill) </div>
            <div>write, though different terms are used. My point is
              that this should not </div>
            <div>just be regarded as something that is done by 'most'
              typologists, it </div>
            <div>should become a standard. Specifically, the degree of
              explicitness with </div>
            <div>which the operationalizations are explained, and their
              plausiblity with </div>
            <div>respect to the definition of the tertium comparationis
              (which is </div>
            <div>subjective), should be evaluated in the review. This
              could be implemented </div>
            <div>by sending LT-reviewers a list of questions including
              something like: "Is </div>
            <div>the tertium comparationis clearly defined?", "Are the
              operationalizations </div>
            <div>made explicit?", "To what extent do you consider the
              operationalizations </div>
            <div>valid, with respect to the definition of the tertium </div>
            <div>comparationis/comparative concept?"</div>
            <div><br>
            </div>
            <div>Such criteria could also be integrated into ALT-awards,
              to encourage young </div>
            <div>scholars to apply them.</div>
            <div><br>
            </div>
            <div>Best,</div>
            <div>Volker</div>
            <div><br>
            </div>
            <div><br>
            </div>
            <div>* * *</div>
            <div>Prof. V. Gast</div>
            <div><a href="http://www.uni-jena.de/%7Emu65qev"
                moz-do-not-send="true">http://www.uni-jena.de/~mu65qev</a></div>
            <div><br>
            </div>
            <div>On Sat, 18 Nov 2017, William Croft wrote:</div>
            <div><br>
            </div>
            <blockquote id="MAC_OUTLOOK_ATTRIBUTION_BLOCKQUOTE"
              style="BORDER-LEFT: #b5c4df 5 solid; PADDING:0 0 0 5;
              MARGIN:0 0 0 5;">
              <div>Dear Volker,</div>
              <div>  I think most typologists are aware that (i)
                defining categories for coding is very hard, especially
                across languages -- hence all the discussions about
                comparative concepts on Lingtyp</div>
              <div>(some of which have subsequently been published in
                some form in Linguistic Typology), of which this
                discussion of ‘word’ is only the latest; and (ii) that
                typologists must usually</div>
              <div>operationalize those criteria and make the
                operationalizations as explicit as possible. I think
                that (i) and (ii) are fairly common practice in
                typology, despite my previous comments</div>
              <div>about essentialism and methodological opportunism
                (cherry-picking of criteria).</div>
              <div>   On the other hand, your point about mono-annotator
                annotation is well taken. Nevertheless, the operational
                factor is this one:</div>
              <div><br>
              </div>
              <div>       And I'm not saying that mono-annotator
                projects are useless, sometimes you just don't have the
                manpower for multi-annotator projects </div>
              <div>  I have recently been working on computational
                projects that involve annotation, and even there, where
                there is a lot more large-scale funding than in
                typology, it is very expensive to</div>
              <div>hire and train annotators, and in the end there are
                maybe two annotators and a third person acting as
                adjudicator for a pilot annotation at most. (In fact,
                most of the effort in</div>
              <div>computational linguistics is towards training
                classifiers to do the annotation automatically on large
                corpora, and in my small experience those are often
                worse than mono-annotator</div>
              <div>annotations.)</div>
              <div>    In typology, there is virtually no funding for
                any sort of multi-annotator annotation whatsoever. This
                is especially true for graduate students doing
                typological dissertations, but</div>
              <div>also for faculty doing typological research. I would
                guess that many typologists are aware that
                multi-annotator annotation is preferable, but
                impractical. But we don’t normally add a</div>
              <div>statement like “We are aware that engaging multiple
                annotators would improve the reliability of our coding
                and hence of the results of our crosslinguistic study;
                but due to lack of</div>
              <div>funding, all annotation of the data was performed by
                the author.” Perhaps we typologists should starting
                adding such statements.</div>
              <div>Best wishes,</div>
              <div>Bill</div>
              <div><br>
              </div>
              <div>       On Nov 18, 2017, at 6:32 AM, Volker Gast <<a
                  href="mailto:volker.gast@uni-jena.de"
                  moz-do-not-send="true">volker.gast@uni-jena.de</a>>
                wrote:</div>
              <div>Hi Johanna, even if I could do this diplomatically, I
                wouldn't, and I think it wouldn't make much sense, as my
                point is not about specific publications or authors;
                it's about</div>
              <div>common practice (and common practice is reflected in
                the publications of 'major authorities'). But I think I
                get your point; so let me be a bit more specific.</div>
              <div>A lot of (quantitative) typological work relies on
                'coding': Information is extracted from grammars and
                transformed into a data matrix. Now, it is common
                practice (and I'm not</div>
              <div>excluding myself here) for the coding to be done by
                the analyst him/herself, and by no one else. But that's
                considered bad practice in other fields. Ideally, you'd
                need a team of</div>
              <div>annotators coding independently, on the basis of
                annotation guidelines. The team codes a sample,
                determines inter-annotator agreement, and
                adjusts/specifies the annotation</div>
              <div>guidelines where necessary. This is done until the
                inter-annotator agreement is satisfactory. And then you
                can start with the actual coding. Ideally, the analyst
                shouldn't be</div>
              <div>involved in the coding process, as her annotation
                decisions might be (subconsciously) influenced by her
                working hypotheses. (Note that this might be a viable
                solution to the</div>
              <div>question of how comparative concepts can reliably be
                defined, for a given study; you can just measure how
                much inter-annotator variation there is; whether or not
                the</div>
              <div>operationalizations make sense is a different
                question, of course, one of validity. When you use a set
                of criteria disjunctively, the question is what exactly
                your</div>
              <div>operationalizations are intended to represent.)</div>
              <div>Note that I'm not saying that there are no
                multi-annotator projects in typology (I'm actually
                involved in two such projects, though one of them is
                actually a comparative corpus</div>
              <div>linguistics project); but as far as I can tell, it is
                'basically' comon practice for analysts to code the data
                themselves. And I'm not saying that mono-annotator
                projects are</div>
              <div>useless, sometimes you just don't have the manpower
                for multi-annotator projects (and one of the
                multi-annotator projects I'm involved in was really
                painful; but it was instructive</div>
              <div>to see that even for categories that we thought we
                had defined rather clearly, inter-annotator agreement
                was rather low in some cases). But as I said earlier, it
                would be nice to</div>
              <div>have some standards or at least general guidelines
                for coding typological data. Minimally, I think, the
                data should be published, along with at least some
                information on the</div>
              <div>operational tests that were applied, even if done by
                a single annotator.</div>
              <div>I hope this clarifies my (too general) remarks in my
                previous post.</div>
              <div>Volker</div>
              <div>Am 18.11.2017 um 13:27 schrieb Johanna NICHOLS:</div>
              <div>       Volker, </div>
              <div>If there's a way to do this diplomatically, could you
                cite an example or two of  "important publications by
                major authorities of the field where these criteria are
                simply not</div>
              <div>applied"?   In linguistics we don't have as much
                technical comment on publications as some other fields
                do, and maybe we should.  In journals where I see
                technical comments</div>
              <div>sections those comments are refereed, edited, brief,
                and focused on factual and methodological matters, i.e.
                about empirical fundamentals and not debate on
                theoretical</div>
              <div>frameworks.</div>
              <div>If there's no way to do it diplomatically, never
                mind.</div>
              <div>Johanna</div>
              <div>On Sat, Nov 18, 2017 at 12:37 PM, Volker Gast <<a
                  href="mailto:volker.gast@uni-jena.de"
                  moz-do-not-send="true">volker.gast@uni-jena.de</a>>
                wrote:</div>
              <div><br>
              </div>
              <div>       Matthew -- are you saying that "one cannot
                rule out disjunctively defined comparative concept"
                because this is what you did?</div>
              <div><br>
              </div>
              <div>       I am not convinced by "disjunctive comparative
                concepts". Now, that's nothing for you to worry about --
                I'm just one reader (actually, audience of your</div>
              <div>       ALT/2015-talk) who doesn't buy your
                conclusions because he doesn't accept your
                operationalizations.</div>
              <div><br>
              </div>
              <div>       But if we want "to talk TO each other (not
                only PAST each other)", as Martin writes, it would be
                good to have what other fields call "standards of
                empirical</div>
              <div>       research". We have copied a lot of statistical
                methods from fields such as the social sciences and
                biology. I think it would also be beneficial to take a
                look at</div>
              <div>       their standards at the "lower" level -- for
                instances, wrt how data is gathered, processed and
                classified, how hypotheses are operationalized, etc., to
                make sure</div>
              <div>       that the results obtained by somebody are also
                accepted by others (just think of the 5%-threshold for
                statistical significance, which is just a matter of</div>
              <div>       convention).</div>
              <div><br>
              </div>
              <div>       I'm aware that this type of remark is annoying
                for some of you. I teach both corpus linguistics and
                typology. In corpus linguistics our students deal with
                very</div>
              <div>       basic questions of empirical research -- like
                the traditional 'quality criteria' -- e.g. (external,
                internal) validity, objectivity, reliability -- and
                then, in</div>
              <div>       typology, we read important publications by
                major authorities of the field where these criteria are
                simply not applied, sometimes the statistics are faulty,
                and</div>
              <div>       students do enquire about this. What can I
                say? There are no research standards in typology? There
                is an ongoing discussion about</div>
              <div>       "arbitrary/subjective/random/disjunctive
                comparative concepts" on the Lingtype-list? I'm afraid
                it wouldn't convince them. What I say is that typology
                still has</div>
              <div>       some way to go to in terms of research
                methods. There are many non-trivial problems, as we have
                seen in various discussions on this list, and we should
                be aware</div>
              <div>       that linguistic data is sui generis (for
                instance, I think we can't adopt just any
                method/software package from genetics). But we shouldn't
                use "authority" as a</div>
              <div>       criterion in our methodological choices, and
                the choices shouldn't be made in such a way to
                legitimize our own research 'ex post'.</div>
              <div><br>
              </div>
              <div>       Volker</div>
              <div><br>
              </div>
              <div>       Am 18.11.2017 um 07:36 schrieb Dryer, Matthew:</div>
              <div><br>
              </div>
              <div>       With respect to Martin’s comment</div>
              <div><br>
              </div>
              <div>        </div>
              <div>“It is my impression that such ortho-affixes (= forms
                written as affixes) are perhaps even more common than
                “phonologically weak” ortho-affixes, but this is an</div>
              <div>empirical question (in his 2015 ALT abstract, Matthew
                mentions 248 languages with weak affixes, but 308
                languages with only affixes of the Tauya type,
                apparently</div>
              <div>confirming my impression).”</div>
              <div> </div>
              <div>I realize that this is a reasonable inference from my
                abstract, but one often has to simplify things for the
                purposes of an abstract. My definition of a weak</div>
              <div>affix is very narrow and many if not most affixes
                that are not weak affixes by my narrow criteria can
                still be shown to be attached phonologically by broader</div>
              <div>criteria. Furthermore, I also treat a morpheme as an
                affix for the purposes of this study if it triggers
                phonologically conditioned allomorphy in stems it</div>
              <div>attaches to and it is clear from Macdonald’s
                description of Tauya that some of the ortho-affixes
                Martin mentions do trigger phonologically conditioned
                allomorphy</div>
              <div>in stems they attach to (pp 54, 72, 74, 79).</div>
              <div> </div>
              <div>I counted an affix as weak for the purposes of the
                study in my 2015 ALT talk only if the description of it
                in a grammar makes clear that it is nonsyllabic (or has</div>
              <div>nonsyllabic allomorphs) or that it exhibits
                phonologically allomorphy or triggers phonologically
                conditioned allomorphy in adjacent stems. But in many
                grammars,</div>
              <div>it is only in the discussion of phonology that it
                becomes clear that a given affix exhibits phonologically
                conditioned allomorphy or that it triggers</div>
              <div>phonologically conditioned allomorphy in adjacent
                stems. But because I wanted to include a large sample of
                languages and because it is often unclear from</div>
              <div>discussions of phonology whether particular rules
                apply to particular affixes or stems such affixes
                combine with, I adopted the procedure of not consulting
                the</div>
              <div>discussions of phonology in classifying ortho-affixes
                as weak. This made sense for my 2015 ALT talk since I
                was examining whether there is a suffixing preference</div>
              <div>and restricting attention to weak affixes so defined
                applies equally to prefixes and suffixes. For a
                different type of typological study, this would have
                been</div>
              <div>inappropriate. This illustrates how comparative
                concepts are specific to particular typological studies.</div>
              <div> </div>
              <div>Furthermore, there are other factors that I did not
                examine that are relevant to whether a given ortho-affix
                is attached phonologically. There may be clear</div>
              <div>evidence from allophonic rules, but it is often very
                unclear from grammatical descriptions whether particular
                allophonic rules apply to particular ortho-affixes</div>
              <div>or stems to which ortho-affixes are attached. And
                even if the information is there in the grammatical
                description, it may take a lot of work to see whether
                they</div>
              <div>apply to a particular affix. For example, careful
                examination of Macdonald’s description of Tauya implies
                that the benefactive ortho-affix -pe that Martin</div>
              <div>mentions is attached phonologically, since she gives
                examples of phonetic representations of forms containing
                this morpheme where it takes the form [-be] after</div>
              <div>/m/ ([tembe] on page 54).</div>
              <div> </div>
              <div>There might also be evidence from stress, but still
                be unclear how stress is assigned to forms including
                ortho-affixes. For example, Tauya has word-final stress,</div>
              <div>but it is not clear from Macdonald’s description
                whether this means that nouns bearing the ortho-affixes
                that Martin mentions take stress on the ortho-affix.</div>
              <div> </div>
              <div>Some of you may have noticed that what I say here
                contradicts what I said in my earlier email about
                comparative concepts needing to be exhaustive. The
                comparative</div>
              <div>concept I used in my 2015 ALT talk was not exhaustive
                and was in fact disjunctive. Since that seemed
                appropriate for that study, this suggests that one
                cannot</div>
              <div>rule out disjunctively defined comparative concepts.
                I sympathize with Martin’s objecting to disjunctive
                comparative concepts as a way to continue to use</div>
              <div>confusing and ambiguous terms and I agree that there
                is something odd about arbitrary disjunctive comparative
                concepts, but it is a mistake to simply rule out</div>
              <div>disjunctive comparative concepts.</div>
              <div> </div>
              <div>I should note finally that while it is clear that the
                ortho-affixes that Martin mentions are attached
                phonologically, they are actually not affixes by either
                his</div>
              <div>criteria or mine since they are clitics that attach
                to postnominal modifiers. [Martin has written about
                problems with the use of the term “clitic”. I am in</div>
              <div>complete agreement with him about this. But I use the
                term here and elsewhere in my research (including my
                upcoming ALT talk on the encliticization preference) as</div>
              <div>a label for a comparative concept for grammatical
                morphemes that are phonologically attached but attach to
                stems of more than one stem class.]</div>
              <div> </div>
              <div>Matthew</div>
              <div>From: Lingtyp <<a
                  href="mailto:lingtyp-bounces@listserv.linguistlist.org"
                  moz-do-not-send="true">lingtyp-bounces@listserv.linguistlist.org</a>>
                on behalf of Martin Haspelmath <<a
                  href="mailto:haspelmath@shh.mpg.de"
                  moz-do-not-send="true">haspelmath@shh.mpg.de</a>></div>
              <div>Date: Thursday, November 16, 2017 at 7:14 PM</div>
              <div>To: "<a
                  href="mailto:lingtyp@listserv.linguistlist.org"
                  moz-do-not-send="true">lingtyp@listserv.linguistlist.org</a>"
                <<a href="mailto:lingtyp@listserv.linguistlist.org"
                  moz-do-not-send="true">lingtyp@listserv.linguistlist.org</a>></div>
              <div>Subject: Re: [Lingtyp] wordhood: bonded vs. bound</div>
              <div>Matthew Dryer thinks that wordhood is generally
                understood by grammar authors in terms of bondedness (=
                phonological weakness, as shown by nonsyllabicity and</div>
              <div>phono-conditioned allomorphy), not in terms of
                boundness (= inability to occur in isolation).  </div>
              <div>I don’t know if this is true, but Matthew actually
                recognizes that grammars often describe grammatical
                markers as “affixes” even when they do not show the two</div>
              <div>“phonological weakness” (or bondedness) features.  </div>
              <div>For example, Tauya (a language of New Guinea) is said
                to have (syllabic) case suffixes, but these never show
                any allomorphy, e.g.  </div>
              <div>fena’a-ni [woman-ERG]</div>
              <div>na-pe [you-BEN]</div>
              <div>wate-’usa [house-INESS]</div>
              <div>Aresa-nani [Aresa-ALL]</div>
              <div>Tauya-sami [Tauya-ABL] (MacDonald 1990: 119-126)  </div>
              <div>It is my impression that such ortho-affixes (= forms
                written as affixes) are perhaps even more common than
                “phonologically weak” ortho-affixes, but this is an</div>
              <div>empirical question (in his 2015 ALT abstract, Matthew
                mentions 248 languages with weak affixes, but 308
                languages with only affixes of the Tauya type,
                apparently</div>
              <div>confirming my impression).  </div>
              <div>For this reason, I have suggested that the
                stereotypical “affix” notion should perhaps be captured
                in terms of boundness together with single-root-class</div>
              <div>adjacency. Since the Tauya case-markers attach only
                to nouns, they count as affixes; by contrast, if a bound
                role marker attaches to both nouns (English “for</div>
              <div>children”) and adjectives (“for older children”) as
                well as to other elements (“for many children”), we do
                not regard it as an affix (but as a preposition), even</div>
              <div>if it is bound (= does not occur in isolation;
                English "for" does not).  </div>
              <div>Matthew quite rightly points out that this notion of
                boundness (which goes back at least to Bloomfield 1933:
                §10.1) implies that most function words in English</div>
              <div>are bound, and in fact most function words in most
                languages are bound – but this is exactly what we want,
                I feel, because the best way to define a “function</div>
              <div>word” is as a bound element that is not an affix.
                Linguists often think of function words (or “functional
                categories”) as defined semantically, but it is actually</div>
              <div>very hard to say what is the semantic(-pragmatic)
                difference between a plural marker and a word like
                “several”, between a dual marker and the word “two”,
                between</div>
              <div>a past-tense marker and the expression “in the past”,
                or between a comitative marker and the word “accompany”.
                It seems to me that these distinctions are best</div>
              <div>characterized in terms of boundness, i.e. inability
                to occur in isolation.  </div>
              <div>It may be true that occurrence in isolation is a
                feature of an element that is not easy to elicit from
                speakers, but in actual language use, there are a very</div>
              <div>large number of very short utterances, so at least
                positive evidence for free status (=non-bound status) is
                not difficult to obtain.  </div>
              <div>In any event, it seems clear to me that some key
                concepts of grammatical typology such as “flag” (= bound
                role marker on a nominal) and “person index” (= bound</div>
              <div>person marker, generally on a verb) require the
                Bloomfieldian boundness notion, and that these concepts
                are much easier to work with in typology than the</div>
              <div>traditional stereotypical notions of “case”,
                “adposition”, “agreement marker”, and “pronominal
                clitic”. (For bound person forms, this was a major
                lesson of Anna</div>
              <div>Siewierska’s 2004 book “Person”.)  </div>
              <div>Best,</div>
              <div>Martin</div>
              <div>On 14.11.17 07:02, Dryer, Matthew wrote:</div>
              <div><br>
              </div>
              <div>       I have a number of problems with Martin’s
                proposal:</div>
              <div><br>
              </div>
              <div>        </div>
              <div>"Here’s a proposal for defining a notion of “affix”,
                in such a way that the results do not go too much
                against our intuitions or stereotypes:</div>
              <div> </div>
              <div>An affix is a bound form that always occurs together
                with a root of the same root-class and is never
                separated from the root by a free form or a non-affixal</div>
              <div>bound form."</div>
              <div> </div>
              <div>If one examines the notion of “bound” from his 2013
                paper, I believe it implies a comparative concept of
                affix that differs greatly from what most linguists</div>
              <div>(at last most non-generative linguists) understand by
                the term. That’s not a problem for it as a comparative
                concept, but it is a comparative concept that</div>
              <div>differs considerably from the stereotype.</div>
              <div> </div>
              <div>Martin’s definition of “free and “bound” from his
                2013 paper is as follows:</div>
              <div> </div>
              <div>"But distinguishing in a general way between bound
                elements and free elements is quite straightforward,
                because there is a single criterion: Free forms are</div>
              <div>forms that can occur on their own, i.e. in a complete
                (possibly elliptical) utterance (Bloomfield 1933: 160).
                This criterion correlates very highly with the</div>
              <div>criterion of contrastive use: Only free forms can be
                used contrastively."</div>
              <div> </div>
              <div>First, I find the notion of complete utterance
                ambiguous. Does it mean utterances in normal speech or
                does it include metalinguistic uses (like “What is the</div>
              <div>last word in the sentence “Who are you going with”?
                Answer “with”). I would assume that it does not include
                such metalinguistic uses. But then many if not</div>
              <div>most so-called function words in English would count
                as bound since they cannot be used as complete
                utterances. Perhaps other speakers of English would have</div>
              <div>different intuitions, but if so that only indicates
                the lack of clarity in the notion. Furthermore, for many
                function words in English, I am not sure how to</div>
              <div>judge whether they can occur alone as utterances.
                Many such so-called function words would appear to count
                as bound by Martin’s definition, though they</div>
              <div>would not count as affixes since they lack other
                properties in his definition of “affix”.</div>
              <div> </div>
              <div>Second, many languages have grammatical morphemes
                that must occur adjacent to an open class word but which
                behave as separate words phonologically. These</div>
              <div>would all apparently count as affixes by Martin’s
                definition. Again, I have no problem with this as a
                comparative concept, only that it means his notion of</div>
              <div>affix deviates considerably from the stereotype.</div>
              <div> </div>
              <div>Third, Martin says that his criterion “correlates
                very highly with the criterion of contrastive use”. But
                by my intuitions, the ability to occur as complete</div>
              <div>utterances does not correlate closely with the
                criterion of contrastive use, since most so-called
                function words CAN occur with contrastive use (such as
                can</div>
              <div>in this sentence!), as can some morphemes that are
                conventionally treated as affixes, like un- in “I’m not
                happy, I’m UNhappy”. Of course, Martin might</div>
              <div>argue that un- is more like so-called function words
                and less like morphemes conventionally treated as
                affixes. But the fact remains that un- is easily the</div>
              <div>locus of contrast but cannot be used as a complete
                utterance. I thus see no evidence of a close correlation
                between the ability to occur as a complete</div>
              <div>utterance and the ability to be the locus of
                contrast.</div>
              <div> </div>
              <div>Finally, it is my experience that languages differ in
                their conventions regarding what can be a complete
                utterance. Imagine two closely related languages</div>
              <div>that differ in their grammatical rules governing what
                is a complete utterance. By Martin’s definition, there
                might be a large number of morphemes that count</div>
              <div>as separate words in one language but as affixes in
                the other language. This strikes me as odd. It seems odd
                to have a criterion for what is a word and what</div>
              <div>is an affix so dependent on the grammatical rules in
                the language for what constitutes a complete utterance.</div>
              <div> </div>
              <div>Matthew</div>
              <div>From: Lingtyp <<a
                  href="mailto:lingtyp-bounces@listserv.linguistlist.org"
                  moz-do-not-send="true">lingtyp-bounces@listserv.linguistlist.org</a>>
                on behalf of Martin Haspelmath <<a
                  href="mailto:haspelmath@shh.mpg.de"
                  moz-do-not-send="true">haspelmath@shh.mpg.de</a>></div>
              <div>Date: Sunday, November 12, 2017 at 10:47 PM</div>
              <div>To: "<a
                  href="mailto:lingtyp@listserv.linguistlist.org"
                  moz-do-not-send="true">lingtyp@listserv.linguistlist.org</a>"
                <<a href="mailto:lingtyp@listserv.linguistlist.org"
                  moz-do-not-send="true">lingtyp@listserv.linguistlist.org</a>></div>
              <div>Subject: Re: [Lingtyp] wordhood</div>
              <div>Mattis List and Balthasar Bickel rightly emphasize
                that “word” is not a Platonic entity (a natural kind)
                that exists in advance of language learning or</div>
              <div>linguistic analysis – few linguists would disagree
                here, not even generativists (who otherwise liberally
                assume natural-kind catgeories).</div>
              <div> </div>
              <div>But I think many linguists still ACT AS IF there were
                such a natural kind, because the “word” notion is a
                crucial ingredient to a number of other notions</div>
              <div>that linguists use routinely – e.g. “gender”, which
                is typically defined in terms of “agreement” (which is
                defined in terms of inflectional marking on</div>
              <div>targets; and inflection is defined in terms of
                “word”).</div>
              <div> </div>
              <div>So is it possible to define a comparative concept
                ‘word’ that applies to all languages equally, and that
                accords reasonably with our stereotypes? Note that</div>
              <div>I didn’t deny this in my 2011 paper, I just said that
                nobody had come up with a satisfactory definition (that
                could be used, for instance, in defining</div>
              <div>“gender” or “polysynthesis”). So I’ll be happy to
                contribute to a discussion on how to make progress on
                defining “word”.</div>
              <div> </div>
              <div>Larry Hyman notes that other notions like “syllable”
                and “sentence” are also problematic in that they also
                “leak”. However, I think it is important to</div>
              <div>distinguish two situations of “slipperiness”:</div>
              <div> </div>
              <div>(1) “Leakage” of definitions due to vague defining
                notions</div>
              <div> </div>
              <div>(2) Incoherence of definitions due to the use of
                different criteria in different languages</div>
              <div> </div>
              <div>The first can be addressed by tightening the defining
                notions, but the second is fatal.</div>
              <div> </div>
              <div>To take up Östen Dahl’s example of the “family”
                notion: In one culture, a family might be said to be a
                set of minimally three living people consisting of</div>
              <div>two adults (regardless of gender) living in a
                romantic relationship plus all their descendants. In
                another culture, a family might be defined as a married</div>
              <div>couple consisting of a man and a woman plus all their
                living direct ancestors, all their (great) uncles and
                (great) aunts, and all the descendants of all of</div>
              <div>these.</div>
              <div> </div>
              <div>With two family concepts as different as these, it is
                obviously not very interesting to ask general
                cross-cultural questions about “families” (e.g. “How</div>
              <div>often do all family members have meals together?”).
                So the use of different criteria for different cultures
                is fatal here.</div>
              <div> </div>
              <div>What I find worrying is that linguists often seem to
                accept incoherent definitions of comparative concepts
                (this was emphasized especially in my 2015 paper</div>
              <div>on defining vs. diagnosing categories). Different
                diagnostics in different languages would not be fatal if
                “word” were a Platonic (natural-kind) concept,</div>
              <div>but if we are not born with a “word” category,
                typologists need to use the SAME criteria for all
                languages.</div>
              <div> </div>
              <div>So here’s a proposal for defining a notion of “simple
                morphosyntactic word”:</div>
              <div> </div>
              <div>A simple morphosyntactic word is a form that consists
                of (minimally) a root, plus any affixes.</div>
              <div> </div>
              <div>Here’s a proposal for defining a notion of “affix”,
                in such a way that the results do not go too much
                against our intuitions or stereotypes:</div>
              <div> </div>
              <div>An affix is a bound form that always occurs together
                with a root of the same root-class and is never
                separated from the root by a free form or a non-affixal</div>
              <div>bound form.</div>
              <div> </div>
              <div>These definitions make use of the notions of “root”
                and “root-class” (defined in Haspelmath 2012) and 
                “bound (form)” vs. “free (form)” (defined in</div>
              <div>Haspelmath 2013). All these show leakage as in (1)
                above, but they are equally applicable to all languages,
                so they are not incoherent. (I thank Harald</div>
              <div>Hammarström for a helpful discussion that helped me
                to come up with the above definitions, which I had not
                envisaged in 2011.)</div>
              <div> </div>
              <div>(What I don’t know at the moment is how to relate
                “simple morphosyntactic word” to “morphosyntactic word”
                in general, because I cannot distinguish compounds</div>
              <div>from phrases comparatively; and I don’t know what to
                do with “phonological word”.)</div>
              <div> </div>
              <div>Crucially, the definitions above make use of a number
                of basic concepts that apply to ALL languages in the
                SAME way. David Gil’s proposal, to measure “bond</div>
              <div>strength” by means of a range of language-particular
                phenomena, falls short of this requirement (as already
                hinted by Eitan Grossman). Note that the problem</div>
              <div>I have with David’s proposal is not that it provides
                no categorical contrasts (recall my acceptance of
                vagueness in (1) above), but that there is no way of</div>
              <div>telling which phenomena should count as measuring
                bond strength.</div>
              <div> </div>
              <div>David’s approach resembles Keenan’s (1976) attempt at
                defining “subject” (perhaps not by accident, because Ed
                Keenan was David’s PhD supervisor), but I have</div>
              <div>a similar objection to Keenan: If different criteria
                are used for different languages, how do we know that we
                are measuring the same phenomenon across</div>
              <div>languages? Measuring X by means of Y makes sense only
                if we know independently that X and Y are very highly
                correlated. But do we know this, for subjects,</div>
              <div>or for bond strength?</div>
              <div> </div>
              <div>Best,</div>
              <div>Martin</div>
              <div> </div>
              <div>-- </div>
              <div>Martin Haspelmath (<a
                  href="mailto:haspelmath@shh.mpg.de"
                  moz-do-not-send="true">haspelmath@shh.mpg.de</a>)</div>
              <div>Max Planck Institute for the Science of Human History</div>
              <div>Kahlaische Strasse 10 </div>
              <div>D-07745 Jena </div>
              <div>&</div>
              <div>Leipzig University </div>
              <div>IPF 141199</div>
              <div>Nikolaistrasse 6-10</div>
              <div>D-04109 Leipzig </div>
              <div>-- </div>
              <div>Martin Haspelmath (<a
                  href="mailto:haspelmath@shh.mpg.de"
                  moz-do-not-send="true">haspelmath@shh.mpg.de</a>)</div>
              <div>Max Planck Institute for the Science of Human History</div>
              <div>Kahlaische Strasse 10 </div>
              <div>D-07745 Jena </div>
              <div>&</div>
              <div>Leipzig University </div>
              <div>IPF 141199</div>
              <div>Nikolaistrasse 6-10</div>
              <div>D-04109 Leipzig </div>
              <div>_______________________________________________</div>
              <div>Lingtyp mailing list</div>
              <div><a href="mailto:Lingtyp@listserv.linguistlist.org"
                  moz-do-not-send="true">Lingtyp@listserv.linguistlist.org</a></div>
              <div><a
                  href="http://listserv.linguistlist.org/mailman/listinfo/lingtyp"
                  moz-do-not-send="true">http://listserv.linguistlist.org/mailman/listinfo/lingtyp</a></div>
              <div>-- </div>
              <div>Prof. Volker Gast</div>
              <div>English and American Studies</div>
              <div>Ernst-Abbe-PLatz 8</div>
              <div>D-07743 Jena</div>
              <div>Fon: ++49 3641 9-44546</div>
              <div>Fax: ++49 3641 9-44542</div>
              <div>_______________________________________________</div>
              <div>Lingtyp mailing list</div>
              <div><a href="mailto:Lingtyp@listserv.linguistlist.org"
                  moz-do-not-send="true">Lingtyp@listserv.linguistlist.org</a></div>
              <div><a
                  href="http://listserv.linguistlist.org/mailman/listinfo/lingtyp"
                  moz-do-not-send="true">http://listserv.linguistlist.org/mailman/listinfo/lingtyp</a></div>
              <div>-- </div>
              <div>Prof. Volker Gast</div>
              <div>English and American Studies</div>
              <div>Ernst-Abbe-PLatz 8</div>
              <div>D-07743 Jena</div>
              <div>Fon: ++49 3641 9-44546</div>
              <div>Fax: ++49 3641 9-44542</div>
              <div>_______________________________________________</div>
              <div>Lingtyp mailing list</div>
              <div><a href="mailto:Lingtyp@listserv.linguistlist.org"
                  moz-do-not-send="true">Lingtyp@listserv.linguistlist.org</a></div>
              <div><a
                  href="http://listserv.linguistlist.org/mailman/listinfo/lingtyp"
                  moz-do-not-send="true">http://listserv.linguistlist.org/mailman/listinfo/lingtyp</a></div>
              <div><br>
              </div>
            </blockquote>
          </div>
        </div>
      </span>
      <br>
      <fieldset class="mimeAttachmentHeader"></fieldset>
      <br>
      <pre wrap="">_______________________________________________
Lingtyp mailing list
<a class="moz-txt-link-abbreviated" href="mailto:Lingtyp@listserv.linguistlist.org">Lingtyp@listserv.linguistlist.org</a>
<a class="moz-txt-link-freetext" href="http://listserv.linguistlist.org/mailman/listinfo/lingtyp">http://listserv.linguistlist.org/mailman/listinfo/lingtyp</a>
</pre>
    </blockquote>
    <br>
    <pre class="moz-signature" cols="72">-- 

++++++++++++++++++++++++++++++++++++
Prof. Dr. Geoffrey Haig
Lehrstuhl Allgemeine Sprachwissenschaft
Universität Bamberg
96045 Bamberg
Tel. ++49 (0)951 863 2490
Admin. ++49 (0)951 863 2491</pre>
  </body>
</html>