段階評価法で人間による評価を行う。人間による評価とピアソン相関で比較する。段階評価法には強い相関があり、ほとんど同じと言ってよい。参照コーパスとして学習コーパスと同じドメインを用いると良い。次に、トピックレベルでの相関を見てみたが、非常に低い。これは本質的な難しさがあり、人間同士を比較してもばらばらになる。グループに分けてそれらの相関をとり、その値に近い相関が出れば、人間と同じレベルの評価ができる手法とみなす。つの手法が人間と同じレベルの評価ができることが分かった。コメントを書くスパム対策のためのダミーです。機械学習SparkStan。