定番の評価指標がないときにどうするのか?

  • 答え:自分が良いと思う評価指標とその解釈法を読者や聴衆が納得するように説明すれば良い

卒論生を苦しめる「評価」

卒業研究に取り組む学生が困ってしまうことの一つに、自分の行ったことをどのように評価すれば良いのかがわからないというものがある。工学系の卒業研究は「ある解決すべき問題があり、それの解決 or 緩和法を提案する」という構造になっていることが多いので、評価は、自分が行ったことにより問題がどの程度解決できたのかを示せば良い。

とはいえ、そもそも物事の評価の仕方はたくさんあるし、理想的な評価を行うためにはお金と時間と人脈が必要で大学の研究室あるいは個人では実行不可能であったりもする。そして、多くの場合、能力や時間の問題から、まともな評価ができるレベルまで研究がすすんでいないということも良くある。

真に新しい=どう評価すべきか誰も知らない

卒論生が良くとる方法としては、既に誰か偉い人が提案した評価法を探すというものがある。もちろん、この方法はもっとも基本的で、必ず試さなければならない方法である。分野ごとに定番の評価指標や評価用問題集などがあったりもする。

しかし、ニッチな分野や新しく行ってみたこと、あるいは、成果が中途半端で定番の評価方法が試せるレベルではないときには、評価指標や評価方法自体を自分で提案しなければならない。このような状況になったとき、多くの卒論生は悶絶する。自分で、評価指標を提案しなければならないとき一体どうすれば良いのか?

自由に評価方法を考案して構わない

多くの人が納得してくれるかぎり、評価方法は自由に考案して構わない。定番の評価方法が「定番」たる理由は、その評価方法の妥当性や正確性、利便性に関して、多くの人が納得しているためである。だから、定番がないならば、定番になり得る評価法法を自分で考案すれば良い。

たとえば以下のはTwitterにおいて良質ユーザーを探す方法は、自作評価指標としてとても学ところが多い。

明らかに、この評価指標は権威や歴史による裏付けを与えられていない。それは当たり前の話で、Twitterというのはここ数年で普及したものであるため。でも、このフォロワー数と被リスト数の関係から、有益なつぶやきをするユーザーかどうかを判定するという理屈は納得できる(10%で良質という根拠は経験的なものであり、議論の余地はあると思うけど)。有益なつぶやきをするユーザーかどうか見分けたいというそもそもの要求(問題)ときっちりと対応している。納得できると思う人が多くなればなるほど、この評価指標は定番となっていく。

このTwitterの例では、既に公開されているフォロワー数と被リスト数を用いて評価しているが、もちろん、新たな測定を行いその測定値を用いて評価指標としても良い。

おわりに

このエントリーを書こうと思ったのはちょうどよい例を見かけたため。