平成30年予備試験論文式試験の結果について(2)

1 以下は、直近5年の予備試験における論文受験者ベースの論文合格率等の推移です。


(平成)
論文
受験者数
論文
合格者数
論文
合格率
26 1913 392 20.4%
27 2209 428 19.3%
28 2327 429 18.4%
29 2200 469 21.3%
30 2551 459 17.9%

 昨年は、直近5年で最も高い合格率になっています。短答の合格者数は従来どおり「2000人基準」で決定された(「平成29年予備試験短答式試験の結果について(1)」)のに、論文の合格者数については「400人基準」が適用されなかった(「平成29年予備試験論文式試験の結果について(1)」)ために、高い合格率になったのでした。
 今年は、昨年とは逆に、直近5年で最も低い合格率になっています。短答で「2000人基準」ではなく、「2500人基準」を用いた(「平成30年予備試験短答式試験の結果について(1)」)のに、論文の合格者数については「400人基準」が適用された(「平成30年予備試験論文式試験の結果について(1)」)ために、低い合格率になったのです。このことから想像できるのは、短答段階では、論文で昨年同様に「400人基準」が適用されない場合を想定して多めに合格させたのに、いざ論文段階になってみると、想定とは異なって「400人基準」が適用されることになったのだろう、ということです。

2 では、なぜ、今年は「400人基準」が適用されたのか。それは、以前の記事で説明したとおり、5点刻みで初めて400人を超える点数が245点を超えない240点だったからです(「平成30年予備試験論文式試験の結果について(1)」)。では、なぜ、5点刻みで初めて400人を超える点数が245点を超えなかったのか。それは、全体の平均点が下がったからです。以下は、論文受験者数と論文平均点の推移です。


(平成)
論文
受験者数
受験者数
前年比
論文
平均点
平均点
前年比
23 1301 --- 195.82 ---
24 1643 +342 190.20 -5.62
25 1932 +289 175.53 -14.67
26 1913 -19 177.80 +2.27
27 2209 +296 199.73 +21.93
28 2327 +118 205.62 +5.89
29 2200 -127 208.23 +2.61
30 2551 +351 200.76 -7.47

 全体の平均点が7点程度下がったので、5点刻みで初めて400人を超える点数も240点まで下がっていたのでした(※)。
 ※ 厳密には、得点のバラ付きが昨年より小さかったことも、要因のうちの1つです。昨年は、論文の合計得点の標準偏差は52.5でした(「平成29年予備試験論文式試験の結果について(3)」)が、今年は44.4まで低下しています。このことは、上位陣の層がやや薄くなったことを意味します。

  では、なぜ、平均点が7点程度下がったのか短答式試験の場合、平均点が上下する主要な要因は、問題の難易度です。正解した問題の数で得点が決まるため、難しい問題が多いと平均点が下がり、易しい問題が多いと平均点が上がります。これに対し、論文式試験の場合は、必ずしも試験問題自体の難易度によって、平均点が左右されるわけではない論文試験の得点は、優秀、良好、一応の水準、不良という大まかに4つの水準によって相対的に決定され、その大まかな得点分布の目安についても、決まっているからです。

 

(「司法試験予備試験論文式試験の採点及び合否判定等の実施方法・基準について」より引用。太字強調は筆者。)

(1) 白紙答案は零点とする。

(2) 各答案の採点は,次の方針により行う。

ア 優秀と認められる答案については,その内容に応じ,下表の優秀欄の範囲。
 ただし,抜群に優れた答案については,下表の優秀欄( )の点数以上。

イ 良好な水準に達していると認められる答案については,その内容に応じ,下表の良好欄の範囲。

ウ 良好とまでは認められないものの,一応の水準に達していると認められる答案については,その内容に応じ,下表の一応の水準欄の範囲。

エ 上記以外の答案については,その内容に応じ,下表の不良欄の範囲。
 ただし,特に不良であると認められる答案については,下表の不良欄[ ]の点数以下。

優秀 良好 一応の水準 不良
50点から38点
(48点)
37点から29点 28点から21点 20点から0点
[3点]

(3) 採点に当たってのおおまかな分布の目安を,各問に応じ次のとおりとする。ただし,これは一応の目安であって,採点を拘束するものではない

割合 5%程度 25%程度 40%程度 30%程度
得点 50点から38点 37点から29点 28点から21点 20点から 0点

(引用終わり)

 

 どんなに問題が難しくて、全体の出来が悪くても、全体の概ね4割くらいには、一応の水準、すなわち、28点から21点までの点数を付ける。逆にどんなに問題が簡単で、全体の出来が良かったとしても、3割程度は不良、すなわち、20点以下の点数を付ける。基本的には、そういった採点をするということです。このような採点方式を厳格に守って運用すれば、本来は、毎年平均点は同じくらいになるはずです。その意味では、論文は相対評価で得点が決まっているといえます。しかし、上記にも「これは一応の目安であって,採点を拘束するものではない。 」とあるように、実際には、上記の目安どおりの得点分布にはなっていない。考査委員の想定する受験生のレベルよりも、実際の受験生のレベルが低いと、目安より低い得点分布になりやすいのです。そこには、「考査委員の想定する一応の水準に達しているか。」というような、絶対評価的な要素も含まれている毎年の平均点の変動には、そのような意味での受験生全体の実力の変化がある程度反映されている、ということができるのです。このような理由から、当サイトでは、各年の論文の平均点の推移を、受験生全体のレベルの変化を測る1つの指標として、用いてきたのでした。
 平成26年までの平均点の推移は、論文受験者数との緩やかな負の相関性によって、説明ができました。いつの年も上位陣は一定数しかいないので、受験者数が増えると、全体のレベルは下がりやすいのです。他方、平成27年及び平成28年は、それでは説明の付かない平均点の上昇が生じました。このような受験者数との相関性では説明の付かない平均点の上昇は司法試験でも生じており、これは、得点分布の目安を守ろうとした、ということで、説明が付いたのでした(「平成30年司法試験の結果について(3)」)。
 もっとも、予備試験については、従来の平均点が、得点分布の目安どおりにした場合の平均点と比べてかなり低い水準であったという点で、司法試験の場合とは異なります。予備試験では、目安に近い採点がされた場合の得点は、以下のとおり、1科目当たり23.25点となります。

 (50+38)÷2×0.05+(37+29)÷2×0.25+(28+21)÷2×0.4+20÷2×0.3=23.25点

 予備の論文は10科目ですから、全体の得点にすると、232.5点。過去の平均点をみると、最も高い昨年でも208.23点ですから、これよりかなり低い水準であることがわかるでしょう。

3 得点分布の目安に近づけようとするなら、今年も平均点は上昇するはずでした。そして、平均点がさらに上昇すれば、5点刻みで初めて400人を超える点数も昨年同様に245点を上回るので、「400人基準」の適用はなく、合格点は245点となり、合格者数ももっと増えたはずでした。おそらく、短答段階では、そのことを想定して、「2000人基準」ではなく、「2500人基準」を適用していたのでしょう。ところが、論文段階になって実際に採点してみると、当初の想定よりも答案の出来がよくなかったのでしょう。短答の合格者を増やしたことによる論文受験者の増加の影響があったのだろうと思います。前記2のとおり、論文受験者数と全体の出来との間には、負の相関性があるからです。「いくら目安を守れと言われてもさすがに今年は無理でしょう。」という考査委員の意見が強くて、今年はこのような採点結果になったそのために、短答段階と論文段階の合格者数が噛み合わない結果になってしまったのだろうと思います。昨年は平均点が若干上昇しましたが、これは前年より短答合格者が減少したことによるものとみることもできるでしょう。その意味では、昨年と今年に関しては、論文受験者数との相関性の方が、より強い平均点の変動要因だったとみることができるのです。
 今年の結果をみると、今後、得点分布の目安に近づける方向で、平均点がどんどん上昇していくとはいいにくいとも感じられます。そうなると、5点刻みで初めて400人を超える点数が245点を超えにくくなるので、「400人基準」が維持されやすいことになる。とはいえ、平均点が受験者数と無関係に上昇傾向となった平成27年以降、平均点が下落した年は今年が初めてです。今年がイレギュラーだったということになるのか、来年以降の推移を見ていく必要があるでしょう。 

戻る