平成３０年予備試験論文式試験の結果について（２）

１　以下は、直近５年の予備試験における論文受験者ベースの論文合格率等の推移です。

　昨年は、直近５年で最も高い合格率になっています。短答の合格者数は従来どおり「２０００人基準」で決定された（「平成２９年予備試験短答式試験の結果について（１）」）のに、論文の合格者数については「４００人基準」が適用されなかった（「平成２９年予備試験論文式試験の結果について（１）」）ために、高い合格率になったのでした。
　今年は、昨年とは逆に、直近５年で最も低い合格率になっています。短答で「２０００人基準」ではなく、「２５００人基準」を用いた（「平成３０年予備試験短答式試験の結果について（１）」）のに、論文の合格者数については「４００人基準」が適用された（「平成３０年予備試験論文式試験の結果について（１）」）ために、低い合格率になったのです。このことから想像できるのは、短答段階では、論文で昨年同様に「４００人基準」が適用されない場合を想定して多めに合格させたのに、いざ論文段階になってみると、想定とは異なって「４００人基準」が適用されることになったのだろう、ということです。

２　では、なぜ、今年は「４００人基準」が適用されたのか。それは、以前の記事で説明したとおり、５点刻みで初めて４００人を超える点数が２４５点を超えない２４０点だったからです（「平成３０年予備試験論文式試験の結果について（１）」）。では、なぜ、５点刻みで初めて４００人を超える点数が２４５点を超えなかったのか。それは、全体の平均点が下がったからです。以下は、論文受験者数と論文平均点の推移です。

　全体の平均点が７点程度下がったので、５点刻みで初めて４００人を超える点数も２４０点まで下がっていたのでした（※）。
　※　厳密には、得点のバラ付きが昨年より小さかったことも、要因のうちの１つです。昨年は、論文の合計得点の標準偏差は５２．５でした（「平成２９年予備試験論文式試験の結果について（３）」）が、今年は４４．４まで低下しています。このことは、上位陣の層がやや薄くなったことを意味します。

 　では、なぜ、平均点が７点程度下がったのか。短答式試験の場合、平均点が上下する主要な要因は、問題の難易度です。正解した問題の数で得点が決まるため、難しい問題が多いと平均点が下がり、易しい問題が多いと平均点が上がります。これに対し、論文式試験の場合は、必ずしも試験問題自体の難易度によって、平均点が左右されるわけではない。論文試験の得点は、優秀、良好、一応の水準、不良という大まかに４つの水準によって相対的に決定され、その大まかな得点分布の目安についても、決まっているからです。

（「司法試験予備試験論文式試験の採点及び合否判定等の実施方法・基準について」より引用。太字強調は筆者。）

(1)　白紙答案は零点とする。

(2)　各答案の採点は，次の方針により行う。

ア　優秀と認められる答案については，その内容に応じ，下表の優秀欄の範囲。
　ただし，抜群に優れた答案については，下表の優秀欄（　）の点数以上。

イ　良好な水準に達していると認められる答案については，その内容に応じ，下表の良好欄の範囲。

ウ　良好とまでは認められないものの，一応の水準に達していると認められる答案については，その内容に応じ，下表の一応の水準欄の範囲。

エ　上記以外の答案については，その内容に応じ，下表の不良欄の範囲。
　ただし，特に不良であると認められる答案については，下表の不良欄［　］の点数以下。

(3)　採点に当たってのおおまかな分布の目安を，各問に応じ次のとおりとする。ただし，これは一応の目安であって，採点を拘束するものではない。

（引用終わり）

　どんなに問題が難しくて、全体の出来が悪くても、全体の概ね４割くらいには、一応の水準、すなわち、２８点から２１点までの点数を付ける。逆にどんなに問題が簡単で、全体の出来が良かったとしても、３割程度は不良、すなわち、２０点以下の点数を付ける。基本的には、そういった採点をするということです。このような採点方式を厳格に守って運用すれば、本来は、毎年平均点は同じくらいになるはずです。その意味では、論文は相対評価で得点が決まっているといえます。しかし、上記にも「これは一応の目安であって，採点を拘束するものではない。 」とあるように、実際には、上記の目安どおりの得点分布にはなっていない。考査委員の想定する受験生のレベルよりも、実際の受験生のレベルが低いと、目安より低い得点分布になりやすいのです。そこには、「考査委員の想定する一応の水準に達しているか。」というような、絶対評価的な要素も含まれている。毎年の平均点の変動には、そのような意味での受験生全体の実力の変化がある程度反映されている、ということができるのです。このような理由から、当サイトでは、各年の論文の平均点の推移を、受験生全体のレベルの変化を測る１つの指標として、用いてきたのでした。
　平成２６年までの平均点の推移は、論文受験者数との緩やかな負の相関性によって、説明ができました。いつの年も上位陣は一定数しかいないので、受験者数が増えると、全体のレベルは下がりやすいのです。他方、平成２７年及び平成２８年は、それでは説明の付かない平均点の上昇が生じました。このような受験者数との相関性では説明の付かない平均点の上昇は司法試験でも生じており、これは、得点分布の目安を守ろうとした、ということで、説明が付いたのでした（「平成３０年司法試験の結果について（３）」）。
　もっとも、予備試験については、従来の平均点が、得点分布の目安どおりにした場合の平均点と比べてかなり低い水準であったという点で、司法試験の場合とは異なります。予備試験では、目安に近い採点がされた場合の得点は、以下のとおり、１科目当たり２３．２５点となります。

　（５０＋３８）÷２×０．０５＋（３７＋２９）÷２×０．２５＋（２８＋２１）÷２×０．４＋２０÷２×０．３＝２３．２５点

　予備の論文は１０科目ですから、全体の得点にすると、２３２．５点。過去の平均点をみると、最も高い昨年でも２０８．２３点ですから、これよりかなり低い水準であることがわかるでしょう。

３　得点分布の目安に近づけようとするなら、今年も平均点は上昇するはずでした。そして、平均点がさらに上昇すれば、５点刻みで初めて４００人を超える点数も昨年同様に２４５点を上回るので、「４００人基準」の適用はなく、合格点は２４５点となり、合格者数ももっと増えたはずでした。おそらく、短答段階では、そのことを想定して、「２０００人基準」ではなく、「２５００人基準」を適用していたのでしょう。ところが、論文段階になって実際に採点してみると、当初の想定よりも答案の出来がよくなかったのでしょう。短答の合格者を増やしたことによる論文受験者の増加の影響があったのだろうと思います。前記２のとおり、論文受験者数と全体の出来との間には、負の相関性があるからです。「いくら目安を守れと言われてもさすがに今年は無理でしょう。」という考査委員の意見が強くて、今年はこのような採点結果になった。そのために、短答段階と論文段階の合格者数が噛み合わない結果になってしまったのだろうと思います。昨年は平均点が若干上昇しましたが、これは前年より短答合格者が減少したことによるものとみることもできるでしょう。その意味では、昨年と今年に関しては、論文受験者数との相関性の方が、より強い平均点の変動要因だったとみることができるのです。
　今年の結果をみると、今後、得点分布の目安に近づける方向で、平均点がどんどん上昇していくとはいいにくいとも感じられます。そうなると、５点刻みで初めて４００人を超える点数が２４５点を超えにくくなるので、「４００人基準」が維持されやすいことになる。とはいえ、平均点が受験者数と無関係に上昇傾向となった平成２７年以降、平均点が下落した年は今年が初めてです。今年がイレギュラーだったということになるのか、来年以降の推移を見ていく必要があるでしょう。 

戻る