文章を形態素(意味をもつ表現要素の最小単位)に分割してくれるjanomeを紹介します。janomeは日本語を解析することができます。 自然言語処理(人の言語を機械学習)において単語に意味を持たせるため、形態素解析は前処理として使用されたりします。