平成２６年司法試験の結果について（４）の補足

１．前回の記事（「平成２６年司法試験の結果について（４）」）のうち、schulzeさんの疑問に関する部分の説明は、あまりに駆け足だったために、不十分な面がありました。そこで、若干の補足をしておきたいと思います。

２．まず、根本的な問題です。「司法試験の成績は相対評価だから、異なる年の得点は比較できない」という命題は、正しいでしょうか。これについては、「司法試験の成績は概ね相対評価とされているが、各考査委員の絶対評価的な視点が完全には排除されていないので、その部分を比較する事が可能である。従って、全く比較できないとするのは誤っている」と回答することになります。
　「司法試験の成績は概ね相対評価とされているが、各考査委員の絶対評価的な視点を完全には排除されていない」の意味は、以下をみれば明らかです（なお、旧試験、予備試験も同様です）。

（「司法試験における採点及び成績評価等の実施方法・基準について」より引用、太字強調は筆者、ただし、表については１００点配点の部分のみ抜粋した）

(3) 採点に当たってのおおまかな分布の目安を，各問の配点に応じ次のとおりとする。ただし，これは一応の目安であって，採点を拘束するものではない。
　選択科目において傾斜配点をするときは，これに準ずる。

（引用終わり）

　得点分布の目安が、一応決まっています（なお、上記各区分は、優秀、良好、一応の水準、不良の区分に対応しています）。これは、基本的に相対評価であることを意味します。上記の目安を文字通りに捉えれば、どんなに出来の悪い答案しかない年であっても、５％は１００点から７５点を付けなくてはならない。逆に、素晴らしい答案しかない年であっても、３０％は４１点以下を付けなくてはならない。仮に、これが厳格に守られていたとすれば、異なる年の成績を比較することに意味はありません。このように、基本的に相対評価であるという点からすれば、黒猫さんが「「シュルジー現象」は存在するのか？ 」の記事において、素点が絶対評価で付いていると述べている点は、誤りです。
　もっとも、上記には「これは一応の目安であって，採点を拘束するものではない」というただし書が付いています。すなわち、考査委員は、必ずしも上記の割合どおりに点を付ける必要はない。例えば、今年はあまりにも出来が悪いだろうと考査委員が考えた場合、４１点以下の得点を３０％以上の者に付けたとしても、問題はない。ここに、考査委員の絶対評価的な視点が入り得るのです。
　では、実際には、どの程度目安は守られているのか。上記の目安が厳格に守られていれば、以下のとおり、全科目平均点は概ね満点の４６．８％に収まるはずです。

　　（１００＋７５）÷２×０．０５＋（７４＋５８）÷２×０．２５＋（５７＋４２）÷２×０．４＋４１÷２×０．３
　＝８７．５×０．０５＋６６×０．２５＋４９．５×０．４＋２０．５×０．３
　＝４．３７５＋１６．５＋１９．８＋６．１５
　＝４６．８２５

　司法試験でいえば、８００点満点の４６．８％は、３７４点に相当します。実際のところは、以下のようになっています。かっこ内は、最低ライン未満者を含む数字です。

　確かに、ある程度３７４点に近い数字ではあります。その意味では、ある程度目安は守られているともいえるでしょう。一方で、一定の傾向をもって、変動していることもわかります。この、一定の傾向性は、前記の考査委員の絶対評価的な視点に影響されているとみることができるというわけです。
　このように、全科目平均点については、年ごとの比較が可能です。ですから、当サイトでは論文全体の出来を判断する一つの指標として、全科目平均点の推移を用いているのです（「平成２６年司法試験の結果について（３）」）。
　他方、各年の合格点については、合格者数に相当する順位の得点を意味するに過ぎませんから、必ずしも受験生全体の論文の出来を反映するとは限らないでしょう。反面で、その年に現に合格するにはどの程度のラインだったかを示していますから、合格ラインの比較には用いることができる。異なる年の得点は、全科目平均点こそ異なるものの、標準偏差は常に一定ですから、上位数パーセントの得点の安定性という点では、比較可能な部分が多いと思います（前回紹介した、「全科目平均点の下落による上位陣の得点押下げ効果」 は、例外的な現象です）。

３．次に、「母集団の実力が均衡し、かつ合格最低点は下がる」という現象があるので、合格点だけでは合格レベルは測れないのではないか、という問いについてです。前回の記事では、かなり駆け足で説明してしまったので、もう少し具体的な数字で考えてみたいと思います。母集団の均衡により、合格最低点が下がるというのは、次のような場合です。

　１０人の受験生が憲民刑の３科目を受験すると考えます。

　この場合、上位２名が合格するとすれば、２４０点が合格点となります。

　この場合、上位２名合格なら、１７０点が合格点です。表１の場合と比べて、合格点が７０点も下がりました。
　ところが、表１と表２の平均点は、全く同じです。ですから、「受験生全体のレベル」を問題にし、平均点によってこれを把握するのであれば、合格点から「受験生全体のレベル」を論ずることはできない、といえます。
　しかし、ここでは、「合格レベル」を問題にしています。これは、明らかに下がっているでしょう。表２では、３科目安定して上位の得点を取らなくても、合格できます。表１の場合と比べて、受かりやすいことは明らかです。
　schulzeさんは、実力が均衡すると、上位を取りにくいのだ、と主張しておられます。しかし、それは、上位層が薄くなったことを意味するわけですから、「合格レベルが下がった」と表現して差し支えないでしょう。schulzeさんは、合格レベルが下がらない状態で、実力が均衡する場合があると考えておられるようですが、それはどういう状態なのか、具体的に考えてみる必要があります。
　仮に、旧試験末期の合格レベルが、平成９年と同じと考えてみましょう。平成９年の合格者は、他の母集団から差を付けて全科目で上位を取ることができた。それに対し、旧試験末期は、合格者でもそれが難しいほど、母集団の実力があった、すなわち、平成９年合格者クラスが平均的な母集団のレベルであったという、ちょっと考えにくい状態であった、ということになってしまいます。
　schulzeさんは、ハイレベルで均衡しているという意味ではないと説明しています。

（「「司法試験の合格最低点を年度比較して、合格者のレベルを論じることができるか」問題がついに最終決着か」より引用）

　「末期の旧試験では全員がハイレベルなところで均衡している」というのは、実は私の真意ではありません。
　私の真意は、あくまでも「均衡している」という部分だけです。どのレベルで均衡しているかは、必ずしも明らかではありません。

（引用終わり）

　しかし、ハイレベルでもないところで均衡していたとすると、そのレベルで苦戦した末期の合格者は、やはり合格点どおりの低い実力だったということになる。ですから、ハイレベルで均衡していたのでなければ、筋が通らないのです。
　また、仮に本当に実力が均衡したとすると、合否には運の要素がかなり強くなります。そうなると、特定の属性に合格者が集中するというような傾向性は生じにくいはずです。ところが、末期の合格者は、圧倒的に若手であったという、確立された傾向があります。最後の論文試験の実施された平成２２年旧試験では、４割が大学生だったのです（「平成２２年度旧司法試験論文式試験の結果について」）。仮に、受験生全体が横一線で均衡していたとすれば、こんな結果にはならないでしょう。また、現在の司法試験でも、合格者の属性には確立した傾向があります。
　以上のように考えてくると、「母集団の実力の均衡によって合格最低点が下がるという現象は起こりうるが、だからといって、合格点が合格レベルを意味しないということにはならない」ということが、結論になります。

４．とはいえ、合格最低点のみが、合格レベルを判断する唯一絶対の指標であるとは、筆者も思いません。前回の記事で説明した「全科目平均点の下落による上位陣の得点押下げ効果」が生じる場合を除いて考えたとしても、毎年設問自体が異なるのですから、実際の再現答案や出題趣旨、採点実感等に関する意見を分析した上で、実際の合格答案のイメージに落とし込んでいくことが必要です。
　なお、当サイトは、飽くまでこれから合格を目指す方のための方法論に関心があるのであって、具体的にどうすれば合格できるかということと何ら関わりのない、「○○期より○○期が優秀だ」というような、抽象的な合格レベルを論じることには、そもそも意味を感じていません。たった１回の論文試験の結果から優秀さを測ることは、もともと無理な話ですね。今年、残念な結果だった人も、優秀でないからそうなったとは限らないのです。しかし、受験生は、そのような一面的な手法で自分達の人生を決められてしまう。それは馬鹿馬鹿しいので、受かりやすい手法でさっさと合格してしまった方がよい。そのための方法論を提示するのが、当サイトの役割だと思っています。

戻る