title: Chinese characters garbled when importing into MALLET
body: <p>I am trying to use MALLET for topic modeling of a Chinese text. As the first step I used Stanford Word Segmenter to get something looking like this:  </p>
  
  <pre><code>&gt; 关于 处理  五反运动 遗留 问题 的 指示   转发 华东局 批转  浙江 省委 批转 省委 办公厅 关于 粮食 统销 工作 与 处理
  &gt; 意见 的 报告  和 对 打击 富农 奸商 投机 破坏 的 指示   批转 中央 农村 工作部 关于 目前 各地 建立 农业 生产 合作社
  &gt; 情况 与 问题 向 中央 的 报告   指示 各地 高级 干部 应 学习 的 四 个 文件   批准 第一 次 全 国 人民 防空 工作
  &gt; 会议 文件   批转 中央 机要局 关于 加强 控制 密码 电报 拍发 问题 的 简报   批准  中央 商业部 一九五三年 工作 的 基本
  &gt; 总结 与 一九五四年 的 任务的 报告 给 各 级 党委 的 指示   同意 中 财委  资  复 天津 市委 关于 改造 资本主义 工商业
  &gt; 中 若干 政策 问题 的 意见   关于 向 中央 的 综合 报告 改为 每季 一 次 的 通知   西南局 对 云南 省委 关于 省委
  &gt; 委员 郑伯克 同志 的 错误 的 报告   关于 加强 市场 管理 和 改造 私营 商业 的 指示   狄超白 同志 关于 赴 苏 访问
  &gt; 经济 专业 工作 报告
  </code></pre>
  
  <p>To import the text file (UTF-8) into MALLET, I ran the following command: </p>
  
  <pre><code>bin/mallet import-file --input /test/test.txt --output test.mallet \ --keep-sequence --encoding UTF-8 
  </code></pre>
  
  <p>But in the output file the text appears garbled:</p>
  
  <pre><code>¨Ìsrcc.mallet.types.InstanceListLdataAlphabettLcc/mallet/types/Alphabet;L    dataClasstLjava/lang/Class;LfeatureSelectiont"Lcc/mallet/types/FeatureSelection;LinstWeightstLjava/util/HashMap;[perLabelFeatureSelectiont#[Lcc/mallet/types/FeatureSelection;LpipetLcc/mallet/pipe/Pipe;LtargetAlphabetq~LtargetClassq~xrjava.util.ArrayListxÅ“ô«aùIsizexpAwAsrcc.mallet.types.InstanceZlockedLdatatLjava/lang/Object;Lnameq~
  L
  propertiestLcc/mallet/util/PropertyList;Lsourceq~
  Ltargetq~
  xpwsrcc.mallet.types.FeatureSequenceIlengthL
  dictionaryq~[featurest[Ixpwsrcc.mallet.types.AlphabetZ
  growthStoppedLentriestLjava/util/ArrayList;L
  entryClassq~L
  instanceIdtLjava/rmi/dgc/VMID;LmaptLgnu/trove/TObjectIntHashMap;xpwtxxtptgtowvrjava.lang.String†§8z;≥Bxpsrjava.rmi.dgc.VMID¯Ü[Ø§•m∂[addrt[BLuidtLjava/rmi/server/UID;xpur[B¨Û¯T‡xpW»¬àÇy`'srjava.rmi.server.UIDp
  ø6OScountJtimeIuniquexpÄ]ukö    hÛxwxsrcc.mallet.types.LabelIindexL
  dictionarytLcc/mallet/types/LabelAlphabet;Lentryq~
  xpwsrcc.mallet.types.LabelAlphabet]ÎÍÄ{¢ˆ«Llabelsq~xq~wîtÂÖ≥‰∫étËΩ¨ÂèëtÊâπËΩ¨tÊåáÁ§∫tÊâπÂáÜtÂêåÊÑèt  Ë•øÂçóÂ±Ät ÁãÑË∂ÖÁôΩt‰∏≠Â§ÆtÊâπÂèëtÂØπt‰∏≠ÂÖ±tÊûûÈò≥tÂèëÈÄÅtÊàët    Èôà‰ºØËææt‰∫∫Ê∞ët‰∏≠ÂõΩtÈáçË¶Åt1956tÁîòËÇÉt‰∫ßÈí¢tÊØõt‰∏ãÂèëtËΩªÂ∑•‰∏öÈÉ®tÊ≠¶ÊòåtÁªü‰∏Ät‰ªãÁªçtÂÖöÂÜÖtÊµôÊ±ütÈ∫ªÂüét Â∑•‰∏öÁïåt‰∏≠Âäût    ÊØõÊ≥Ω‰∏út ÂΩ≠Âæ∑ÊÄÄtÂ•ΩÂ•Ωt    Â§èÊãìÂ§´tÊπñÂçótË¥µÂ∑ûtÊâπÂ§çtËµÑ‰∫ßÈò∂Á∫ßtÂç∞Âèët  È©¨ÂÖãÊÄùt ÊñáÂåñÈÉ®tÈûçÂ±±tÂ∫îÂΩìtÂ∫îËØ•tË¶ÅtÂêÑtÂÖ®ÂõΩt Ë∂ÖÂ£∞Ê≥¢tÈÄöÁü•tÂõΩÂÆ∂t   ËÅÇËç£Ëáªt ÂÖ¨ÂÆâÈÉ®t‰∏Ä‰πùÂÖ≠„ÄáÂπ¥t‰∏ÄÂÆötÊ≤≥ÂåótÂÖöÊîøt‰∏ÄÂàátÁ´ãÂç≥tÂΩ≠ÁúütÈááÂèñtË∞ÉÊü•tÂÜúÊùëtÂõΩÈò≤tÂØπ‰∫étÊ•ºtÂ¶•ÂñÑt ÂõΩÂä°Èô¢t ÈæôÊµ∑ÂéøtÁ¨¨ÂÖ´tÊõ¥Ê≠£t   ÈÇ±Ê†ëÈáétËãèËÅît‰∏ªÂ∏≠tÂ∞ët‰∏ÄtÂÜ≥ÂÆötÊúàtÂú®t  ÊπñÂçóÁúÅt ‰∏úÂåóÂ±Ät ÊïôËÇ≤ÈÉ®tÊπñÂåót    ‰∏≠ÂçóÂ±ÄtÊÄªÊîøÊ≤ªÈÉ®tË∞Ét    Âçé‰∏úÂ±Ät‰∏™tÂê¥t ‰∏≠ÂÆ£ÈÉ®t Ë•øÂåóÂ±ÄtÊûóÂΩ™tÁÇÆÊâìtÂÖ´Êúàt‰∏•Á¶ÅtÁªùÂØπtÊ≠£Á°ÆtÁªôtÂª∫ËÆÆt    ÂàòÂ∞ëÂ•átÊó†‰∫ßÈò∂Á∫ßt  ÊùéÈõ™Â≥∞t ÂìàÂ∞îÊª®tÁßëÁ†ît    ÂàòÊ†ºÂπ≥tÈÄöÂëätÁ∫™ÂøµtÊµéÂçót‰∏∫‰∫Üt Á±≥ËÑÇÂéøt Âåó‰∫¨Â∏ÇtÂ∑•‰∏öt    ‰∫§Êòì‰ºötÊ±üÈùít    ÂÆã‰ªªÁ©∑tÂëΩ‰ª§tÂ∏ÉÂëät‰πùt Ê≤≥ÂåóÁúÅtÂèÇÂä†t‰∏Ä‰πùÂÖ≠‰πùÂπ¥t  Âë®ÊÅ©Êù•tÂèçÂÖöt    ÈÉëÁª¥Â±±t ÊùéÂæ∑Áîüt ÂàòÂ≠êÂéöt ÈôàÈî°ËÅît ÊûóÂΩ™‰∫étÊí§ÈîÄtÂáÜÂèët   Â§ñ‰∫§ÈÉ®t ÁéãÊ¥™ÊñátÊâ©Â§ßtÊàêÁ´ãtÂçÅtÂ¢ûË°•t‰∏≠ÂèëtÈ¢ÅÂèëtËÄøÈ£ötÂÖöt   ÂÖö‰∏≠Â§ÆtÊÅ¢Â§çtÂ∞ñtËΩ¨ËÆ©tËΩ¨tÂä†Âº∫wq~sq~q~ sq~!Ä]ukö hÛxsq~îwîq~%sq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'w  xsq~#wq~'w
  xsq~#wq~'wxsq~#wq~'wxsq~#wq~'w
  xsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'wxsq~#wq~'w xsq~#wq~'w!xsq~#wq~'w"xsq~#wq~'w#xsq~#wq~'w$xsq~#wq~'w%xsq~#wq~'w&amp;xsq~#wq~'w'xsq~#wq~'w(xsq~#wq~'w)xsq~#wq~'w*xsq~#wq~'w+xsq~#wq~'w,xsq~#wq~'w-xsq~#wq~'w.xsq~#wq~'w/xsq~#wq~'w0xsq~#wq~'w1xsq~#wq~'w2xsq~#wq~'w3xsq~#wq~'w4xsq~#wq~'w5xsq~#wq~'w6xsq~#wq~'w7xsq~#wq~'w8xsq~#wq~'w9xsq~#wq~'w:xsq~#wq~'w;xsq~#wq~'w&lt;xsq~#wq~'w=xsq~#wq~'w&gt;xsq~#wq~'w?xsq~#wq~'w@xsq~#wq~'wAxsq~#wq~'wBxsq~#wq~'wCxsq~#wq~'wDxsq~#wq~'wExsq~#wq~'wFxsq~#wq~'wGxsq~#wq~'wHxsq~#wq~'wIxsq~#wq~'wJxsq~#wq~'wKxsq~#wq~'wLxsq~#wq~'wMxsq~#wq~'wNxsq~#wq~'wOxsq~#wq~'wPxsq~#wq~'wQxsq~#wq~'wRxsq~#wq~'wSxsq~#wq~'wTxsq~#wq~'wUxsq~#wq~'wVxsq~#wq~'wWxsq~#wq~'wXxsq~#wq~'wYxsq~#wq~'wZxsq~#wq~'w[xsq~#wq~'w\xsq~#wq~'w]xsq~#wq~'w^xsq~#wq~'w_xsq~#wq~'w`xsq~#wq~'waxsq~#wq~'wbxsq~#wq~'wcxsq~#wq~'wdxsq~#wq~'wexsq~#wq~'wfxsq~#wq~'wgxsq~#wq~'whxsq~#wq~'wixsq~#wq~'wjxsq~#wq~'wkxsq~#wq~'wlxsq~#wq~'wmxsq~#wq~'wnxsq~#wq~'woxsq~#wq~'wpxsq~#wq~'wqxsq~#wq~'wrxsq~#wq~'wsxsq~#wq~'wtxsq~#wq~'wuxsq~#wq~'wvxsq~#wq~'wwxsq~#wq~'wxxsq~#wq~'wyxsq~#wq~'wzxsq~#wq~'w{xsq~#wq~'w|xsq~#wq~'w}xsq~#wq~'w~xsq~#wq~'wxsq~#wq~'wÄxsq~#wq~'wÅxsq~#wq~'wÇxsq~#wq~'wÉxsq~#wq~'wÑxsq~#wq~'wÖxsq~#wq~'wÜxsq~#wq~'wáxsq~#wq~'wàxsq~#wq~'wâxsq~#wq~'wäxsq~#wq~'wãxsq~#wq~'wåxsq~#wq~'wçxsq~#wq~'wéxsq~#wq~'wèxsq~#wq~'wêxsq~#wq~'wëxsq~#wq~'wíxsq~#wq~'wìxxwxtppwxsq~  wsq~
  wq~wxq~øtppwxsq~   wsq~
  wq~wxq~¿tppwxsq~   wsq~
  wq~wxq~¡tppwxsq~   wsq~
  wq~wxq~¬tppwxsq~   wsq~
  wq~wxq~¿tppwxsq~   wsq~
  wq~wxq~¬tppwxsq~   wsq~
  wq~wxq~√tppwxsq~   wsq~
  wq~wxq~%tppwxsq~   wsq~
  wq~wxq~ƒtppwxsq~   wsq~
  wq~wxq~%tppwxsq~   wsq~
  </code></pre>
  
  <p>Would be grateful for any help in the right direction.</p>