title: Creating a corpus from data in a custom format
body: <p>I have hundreds of files containing text I want to use with NLTK. Here is one such file:</p>
  
  <pre>
  বে,বচা ইয়াণ্ঠা,র্চা ঢার্বিত তোখাটহ নতুন, অ প্রবঃাশিত।
  তবে ' এ বং মুশায়েরা ' পত্রিব্যায় প্রকাশিত তিনটি লেখাই বইযে
  সংব্যজান ব্যরার জনা বিশেষভাবে পরিবর্ধিত। পাচ দাপনিকেব
  ড:বন নিয়ে এই বই তৈরি বাবার পরিব্যল্পনাও ম্ভ্রাসুনতন
  সামন্তেরই। তার আর তার সহকারীদেব নিষ্ঠা ছাডা অল্প সময়ে
  এই বই প্রব্যাশিত হতে পারত না।,তাঁদের সকলকে আমাধ
  নমস্কার জানাই।
  বতাব্যাতা শ্রাবন্তা জ্জাণ্ণিক
  জানুয়ারি ২ ণ্ট ণ্ট ৮ 
  Total characters: 378
  </pre>
  
  <p>Note that each line does <b>not</b> contain a new sentence. Rather, the sentence terminator - the equivalent of the period in English - is the '।' symbol.</p>
  
  <p>Could someone please help me create my corpus? If imported into a variable MyData, I would need to access MyData.words() and MyData.sents(). Also, the last line should not appear in the corpus (it merely contains a character count).</p>
  
  <p>Please note that I will need to run operations on data from <b>all</b> the files at once.</p>
  
  <p>Thanks in advance!</p>