得点開示と比較。ふぞろい流分析の信ぴょう性を検証する（その1）

みなさん、こんにちは。
ふぞろいブログでは、はじめて登場する「こたん」です。

ふぞろい9では、分析統括として、事例1～4分析のふぞろい流キーワード採点ロジックや分析内容のチェックを主に担当してきました。そのチェックと並行して行ってきたのが「開示得点とふぞろい流採点の整合性検証」です。

採点方法や模範解答が公表されない診断士2次試験ですが、「中小企業診断士試験にかかる保有個人情報の開示請求」を行うことによって、受験者に通知される得点区分に加え、詳細な得点を知ることができるようになりました。
ふぞろいでは、受験生から提供いただいた再現答案と得点区分をもとに、解答キーワードを抽出し分析していますが、開示請求で得られた得点とふぞろい流キーワード採点での採点結果が異なる場合があります。

そこで、ふぞろい9では、ふぞろいメンバーや開示にご協力いただいた28人の得点開示結果と、ふぞろい流キーワード採点結果を比較し、その差が発生するのはなぜか、ふぞろい採点がそもそも信ぴょう性のあるものなのかを検証しました。今週末のふぞろい東京春セミナー、来月下旬のふぞろい9刊行を控え、特別企画として今回から3回にわたって、「開示得点とふぞろい流採点の整合性検証」結果を、ふぞろいブログで紹介していきたいと思います。

今回のテーマは、「①ふぞろい流キーワード採点と開示得点との比較」です。

比較にあたって、まず、総得点をチェックしてみました。結果、開示得点の平均が250点、ふぞろい採点の平均が253点。ただ、得点は各試験年度の難易度に応じて、事例ごとに一律上下させている可能性もあるので、平均が近似しているから整合性が担保されているとは言いきれません。

そこで、ふぞろい流キーワード採点と開示得点との間の相関係数を算出してみました。

相関係数は「２つのデータ群の関連性の度合い」を表す指標です。たとえば「身長」と「体重」には強い関連性があることは直感的にもわかります。つまり、「ふぞろい採点と開示得点の間の関連性の度合い」を算出することで、「ふぞろい採点が２次試験採点基準として信用できるものといえるのか」を検証することができるのです。

では、ふぞろい流キーワード採点と開示得点との間の相関係数を見てみましょう。（n=28）

全体　0.51
事例1　0.65
事例2　0.57
事例3　0.27
事例4　0.58

0.7以上で強い相関、0.5～0.7でやや強い相関があると言われています。

全体・事例1,2,4は、0.5～0.7なので、やや強い相関があると言えるでしょう。事例3は他に比べると芳しくない数値となっていますが、0.2～0.3でも弱い相関ありと言われているので、一定の信用はあるものと言えるでしょう。

母集団に限りある検証結果ですが、全体で0.5以上の正の相関係数ありますので、「ふぞろい採点が２次試験採点基準として信用できる」といえるのではないでしょうか。

ちなみに、ふぞろい採点は、原稿執筆の日程上の問題で、請求した開示得点が届く前に行っています。つまり、ふぞろい採点は開示得点を参考にしていません。（結果として）ふぞろい採点の信ぴょう性を担保できて、分析統括としてホッとしています…。

（参考）　相関係数とは

特別企画の次回は、「②開示得点に比べて、ふぞろい採点の方が高くなる場合って、どのような時？」を予定しています。

明日は２年目生合格ナビゲーター「まなみん」の登場です。
「まなみん」が、隙間時間の活用法について教えてくれるようですね。

それでは次回の特集記事でお会いしましょう。