« デザイン変更 | Main | 「雑務」に思う。 »

21/02/2005

小論文を機械で採点

kamo_negitoro氏のセットでポテトより。これはasahi.comの小論文、コンピューターで自動採点 入試センターが試作の記事の紹介である。記事本文は以下の通り。

入試で出題される小論文をコンピューターで自動採点する試みが大学入試センターの研究者のもとで進んでいる。第1号のシステムは試作済み。文法、表現が複雑な日本語を精密に読み解くにはまだ課題がある。しかし、実用化されると、採点に時間がかかり、採点者によるばらつきが出やすい小論文の判定に威力を発揮しそうだ。

 同センター研究開発部の石岡恒憲助教授が中心になって開発してきた。米国のビジネススクールの小論文試験で使われている自動採点システム「e-rater」を参考に取り組んでいる。

 試作システムは「Jess」(ジェス=Japanese essay scoring system)といわれる。パソコン入力された800~1600字程度の小論文を、(1)文章の形式(2)論理構成(3)問題文に対応している内容か――の三つの観点から評価し、標準的には、(1)を5点、(2)を2点、(3)を3点の計10点満点で判定する。「語彙(ごい)の多様性が不足」「議論の接続が不十分」「問題文との関係が希薄」などの短いコメントと点数で1、2秒後に判定を打ち返す。

 Jessは、あらかじめ、理想の小論文として全国紙の2年分の社説、コラム計約2000本を記憶し、「学習」している。文の長さ、漢字・かなの比、言葉の多様さ、受動態の割合、接続詞の使い方などの統計分布から割り出し、模範に近いほど高い点数を与える仕組みだ。

 石岡助教授らは、Jessの力を測るため、実際に入社試験などで書かれた小論文、作文を自動採点し、国語教師ら専門家の採点との違いを比べている。テーマが客観的で、やや長めの文章ならば両者には大きな開きが見られなかったという。

 日本語の文章は、接続詞を省くなど特有の言い回しがあり、起承転結をつかみにくい。Jessの実用化には、こうした難解な表現を読みこなす能力が欠かせず、長い文章をコンピューターで短くまとめる文書自動要約の技術を応用するなどの研究が続いている。

 最新の科学技術用語などにも対応できるようにJessの「学習」の幅を広げることも課題になっている。

 大学入試センターはセンター試験を実施するだけでなく、将来に向けて海外の試験や採点の動向も視野に幅広い研究をしている。自動採点システムの開発もその一環だ。

 小論文は、従来のペーパーテストではとらえにくい思考力、表現力などを測る目的で導入する大学が急速に増え、文部科学省の調べでは今年春の入試で、86%の国公立大が個別試験に取り入れることにしている。私立大でも実施校が相当数にのぼる。

 しかし、小論文は評価が難しく、複数の採点で判定するなど時間、労力の両面で大学側の負担が重いため、受験生の多い学部は導入を見送っているのが実情だ。 (02/15 15:06)

kamo_negitoroさんが書いていらっしゃるように、機械採点は、確かに労力・時間の削減には効果的だと思う。ただ、小論文試験を機械で採点するという計画が存在する時点で、小論文試験そのものについて考え直すことも重要ではないかと思うのだ。私の経歴をご存知の方ならお分かりだと思うが、私は大学入試段階では小論文試験を経験していないし、実際に論文試験の対策に取り組んだと断言できるほどには取り組んでいない。しかも、国立大学一校しか受験していない。したがって、経験談として小論文試験を語ることはできず、今回の話題に対しても一部の大学に視点が偏った机上の空論だと言われるかも知れない。それを承知の上で、少し語ってみたい。

大学受験期のこと。母校では「試験が小論文のみという国公立大学は、現実にはセンター試験で決着がついている」とよく聞かされた。現行の教育課程(※1)を考えると、高校生の大多数は論文を書くための訓練を受けていないので、たいていの場合、試験直前(小論文はどちらかというと、後期日程で採用している大学が多いので、前期日程の試験が終了後)になって練習を始めるパターンが多い。そのため、余り書き慣れていない似たり寄ったりな文章が出来上がる。そうなると、採点する側としても点差をつけるのが困難で、最終的にモノを言うのは一緒に評価されるセンター試験での点数になってしまうというのだ。もっとも、後期日程の試験ではセンター試験は足切りにしか利用しない某大学を志願していた私にとっては、あくまでも「一般的事例」に過ぎなかったのだが(苦笑)

つまり、小論文試験の本来の目的は、「従来のペーパーテストではとらえにくい思考力、表現力などを測る目的」であったはずなのに、結局は選択式ペーパーテスト(=センター試験)で評価せざるを得ないという矛盾が、大学入試の現場では発生しているのである。そうなると、機械採点でも専門家による採点と誤差が余り生じないのであれば、時間と労力を省ける機械採点の方が楽なのではという方向に考えが進んでしまうのは当然のことかもしれない。

ところで、小論文を後期日程の試験に課す大学が多いと思うのだが、これについても考える必要があると思う。母校の進路指導担当の先生から教えて頂いた話なのだが、前期日程と後期日程とでは、本来のスタンスとしては、受験生に要求する内容が違うらしいのだ。前期日程は「高校までの課程で習うべき内容をきちんと身に付けて高度な運用ができるか」を見る試験、後期日程は「高校までの課程の基礎を踏まえた上で、大学の課程で習うべき内容に対応できるか」を見る試験なのだという。もちろん、大学の課程で習うべき内容は高校までの課程を踏まえているので、両者には重複する部分も多いが、国公立大学の入試の多くを見れば、うなずけるかもしれない。センター試験は高校までの教育課程での基礎学力の確認。二次試験は、前期日程では英語・数学・国語などのいわゆる基礎科目を課す大学が多く、後期日程では各学部・学科の専門に近い科目の比重が高くなっている。文系学部の後期日程の場合、専門内容に近いテーマで小論文を課すことが多いのもこのため。だから実は、前述の先生は「後期日程用の勉強は、大学生になる準備だと思って、大学生になった自分を想像しながら進めるとイメージトレーニングとしても良い」と勧めて下さっていた。確かに論文のテーマは入学後に問われるような内容が多かったので、このアドバイスはかなり的確なものだったと思う。歴史系に進むと心に誓っていた私が、当時最も頻繁に読んだのが倫理の教科書だったのが、思想史方面に進んだ今となっては何よりの証拠(苦笑)

そうなると、小論文を受験科目として課す大学の中でも、前期日程と後期日程とで着眼すべき点が変わってくるのではないだろうか。原則だけを押し通せば、後期日程の方が独自の視点・内容力勝負の要素が強くなるのではないかと考えてしまう。もちろん、Jessの採点基準である文章形式・論理構成・問題文の意図との適合性は、論理的な文章を書く上では常に重要なポイントである。だが、Jessだけで小論文試験を採点するとなると、前期日程と後期日程での試験で求めているものが同じになってしまい、大学入試の原則が隠れてしまわないだろうか。否、もしかすると、大学側はそのような独自の視点や内容のある文章を書くことを試験に求めていないということなのだろうか。

最近、私自身、小論文試験の多くが制限字数として課している7~800字でどれだけのことが語れるのだろうかという疑問も持っている。実は、大学1年の夏学期に基礎演習を担当して下さったF曳先生が、レポートを課す際に「4000字は最低ないと、まとまった論を展開させられないでしょう」と仰っていた。このコメントは、レポート課題を課される度に思い出す問題である。短時間で小手先の対応というのも、重要な技術だとは思うが、長いレポートを書き慣れてしまった身としては、大車輪を回すくらいの大掛かりな対応をしないとならないような感覚にとらわれがちである。個人的には、2000字程度のレポートでさえ、内容力以上に、要約力が問われているのではと思ってしまう。もちろん、制限時間のある筆記試験では、その場で丁寧に考えた文章を書くのだとすれば、筆記速度や推敲時間も考慮して90分で1500~2000字程度がだいたいの目安ではないかと分かってはいるが。

もっとも、文章を書く訓練を積んでいない者(その多くが高校生)にとっては、800字でも書き上げるのが一苦労のはずで(※2)、実情としてはそこまで深く問う必要はないのかもしれない。個人の意見だとしても、「4000字は最低ないと……」という発言が大学の教員の中に存在するということは、800字程度の小論文に内容面で多くを期待していないのではと穿った見方を持ってしまう。

でも、大学入試での出題内容・方針は、各大学の教育方針が示されるものであり、突き詰めて考えれば、その大学の真価が問われるものである。したがって、大学側もいい加減な対応を取るわけにもいかず、小論文試験を扱いあぐねているというのが実情なのかもしれない。小論文試験を変えていくのであれば、この事実についてもきちんと受け止めて熟考した上で、変更していかなければならないのではないだろうか。

**********
※1:私の場合は現在でいうところの「旧課程」だが、「新課程」でも結局のところ、この傾向は余り変わっていないのではないかと思う。
※2:筆者は後期日程の試験対策で2400字を書き切るのに苦労した記憶がある。但し、採点して下さったH先生には1200字の文章よりも2400字の文章の方が好評で、普通は短い方が書きやすいから良い文章が出来上がるはずなのに……とコメントを頂いた。おそらく出題テーマの得手不得手の関係かと。

|

« デザイン変更 | Main | 「雑務」に思う。 »

Comments

トラックバックありがとうございます。

わたしとしては「レポートは2400字ないと云々」という話は大学生には求められて当然の、けれどもあまり達成されることのない(自戒)要求だと思います。

しかし、それと同時にわたしがJessのような機械的なシステムによる小論文試験を導入することにも「ポイント」があると書いたのは、
* 一つの論旨についてきちっと説得的な文章を書く、ということが求められている「思考力」であるはずだということ
* そのためには誰にでもわかる説得的な議論を組み立てなくてはならないこと
* 「誰にでもわかる」という観点から言えば機械による採点でも同じであろうこと
* それによって最低限のレベルでの文章を高校生が書くということの意味が大きいこと
を考えてのことです。

文章をきちんと展開しなかったのが申し訳なかったですが、そういう風にわたしは思います。

ちなみに、Jessは選択肢から選ぶのではなく、実際に文章を書いてテストします。デモサイトもありますよ。

Posted by: kamo_negitoro | 21/02/2005 at 21:58

コメントありがとうございました。

まず選択肢云々の件ですが、センター試験が選択式ペーパーテストだということからご想像されたのでしょうか?もちろん、Jessが実際の文章で判定することは踏まえて書いたつもりでした。分かりにくい文章になってしまい、すみませんでした。

小論文を機械で採点することの長所について、仰っている内容は非常に納得できます。

私が先の記事で書きたかったことは、Jessによる採点を導入するということが、小論文試験というものが「誰にでも分かる文章を書く」ことだけを問うものだということが明らかになっているということです。
つまり、前期日程(高校までの課程の内容を高度に運用できるかを問う試験)と後期日程(大学の課程の内容に対応できるかを問う試験)との間で、試験の内容には本来違いがあるはずなのに、その大前提となる「文章の分かりやすさ」だけが問われているのではないかという疑問を発してみたかったのです。

小論文試験では「自分なりの意見を書くこと」を求められますが、たとえ一般論を並べただけでも、無難な形式にまとめた方が高評価を獲得するということになります。もちろん「分かりやすく伝える」という基本を忘れていてはいけませんが、多くの大学が後期日程に小論文試験を導入している中、そのような状態で大学の課程に対応できる受験生だけを選出することができるでしょうか?結局は、前期日程・後期日程それぞれに備わっている原則は無化されていて、大学側は受験生に内容ある文章を書くことを期待していないのかもしれない……と私が寂しく感じたことを文字化したという方がより正確かもしれません。

もちろん、「4000字以上なければ……」という弁が展開されているのと同じ時期に同じ大学で課される別のレポートに対して、「紙飛行機になって飛んでいくのだからレポートなんか真面目にやらなくても……」と仰った学生がいるということは、学部(特に教養課程)のレポートに関しては、教員の側も余り期待していないのかもしれませんが。

Posted by: 長月せつな | 22/02/2005 at 23:36

Hey There. I found your blog using msn. This is a really well written article. I'll make sure to bookmark it and come back to read more of your useful info. Thanks for the post. I will definitely comeback.

Posted by: stock market for dummies uk | 15/10/2014 at 03:09

Hi there! This is my first visit to your blog! We are a collection of volunteers and starting a new initiative in a community in the same niche. Your blog provided us valuable information to work on. You have done a marvellous job!

Posted by: garcinia cambogia veda recensioni | 04/03/2015 at 17:42

Very descriptive blog, I liked that bit. Will there be a part 2?

Posted by: frutto cambogia | 07/03/2015 at 16:19

First off I want to say fantastic blog! I had a quick question in which I'd like to ask if you don't mind. I was interested to find out how you center yourself and clear your head before writing. I have had a difficult time clearing my mind in getting my ideas out there. I truly do take pleasure in writing but it just seems like the first 10 to 15 minutes are generally wasted simply just trying to figure out how to begin. Any ideas or tips? Many thanks!

Posted by: garcinia della cambogia | 07/03/2015 at 17:33

Hi there, I check your new stuff on a regular basis. Your story-telling style is awesome, keep it up!

Posted by: http://breastactivesdigest.com | 01/06/2015 at 01:29

With havin so much content do you ever run into any problems of plagorism or copyright violation? My site has a lot of unique content I've either created myself or outsourced but it appears a lot of it is popping it up all over the web without my permission. Do you know any methods to help protect against content from being stolen? I'd certainly appreciate it.

Posted by: http://breastactivesdigest.com/vene-varicose-prevenzione-e-rimedi-naturali-2 | 08/06/2015 at 23:03

When I initially commented I clicked the "Notify me when new comments are added" checkbox and now each time a comment is added I get three emails with the same comment. Is there any way you can remove me from that service? Cheers!

Posted by: Mirta | 09/06/2015 at 19:30

I like it when individuals get together and share views. Great site, keep it up!

Posted by: จำนองบ้าน | 11/07/2015 at 15:11

What's up, after reading this remarkable post i am as well delighted to share my familiarity here with friends.

Posted by: centroenea.it | 21/08/2015 at 01:16

hey there and thank you for your info - I have definitely picked up something new from right here. I did however expertise a few technical issues using this site, since I experienced to reload the website lots of times previous to I could get it to load properly. I had been wondering if your web host is OK? Not that I'm complaining, but slow loading instances times will very frequently affect your placement in google and could damage your high quality score if advertising and marketing with Adwords. Well I am adding this RSS to my email and can look out for a lot more of your respective exciting content. Make sure you update this again soon.

Posted by: Laurence | 24/08/2015 at 07:56

I feel this is among the such a lot important information for me. And i am satisfied reading your article. But want to statement on some normal things, The site style is wonderful, the articles is in reality great : D. Good activity, cheers

Posted by: Sheldon | 26/08/2015 at 08:17

Great article.

Posted by: http://breastactivesdigest.com/ | 04/09/2015 at 20:27

Remarkable things here. I'm very glad to see your post. Thank you so much and I'm looking forward to contact you. Will you kindly drop me a mail?

Posted by: centroenea.it | 15/09/2015 at 19:28

Hi there friends, how is all, and what you desire to say on the topic of this article, in my view its actually awesome for me.

Posted by: centroenea.it | 16/09/2015 at 05:27

I was very pleased to uncover this web site. I need to to thank you for your time due to this fantastic read!! I definitely savored every bit of it and I have you bookmarked to check out new stuff on your web site.

Posted by: Bev | 19/09/2015 at 14:07

First off I want to say awesome blog! I had a quick question that I'd like to ask if you do not mind. I was curious to know how you center yourself and clear your mind prior to writing. I have had a hard time clearing my mind in getting my ideas out. I truly do enjoy writing but it just seems like the first 10 to 15 minutes are lost simply just trying to figure out how to begin. Any suggestions or hints? Kudos!

Posted by: Kasha | 23/09/2015 at 01:18

This is very interesting, You are a very skilled blogger. I've joined your feed and look forward to seeking more of your excellent post. Also, I have shared your website in my social networks!

Posted by: ให้เช่าโปรเจคเตอร์ | 13/10/2015 at 14:19

Hi to every body, it's my first go to see of this weblog; this webpage carries remarkable and actually excellent stuff designed for visitors.

Posted by: ให้เช่าโปรเจคเตอร์ | 15/10/2015 at 17:34

Thanks for another magnificent post. The place else may just anybody get that kind of information in such a perfect way of writing? I have a presentation next week, and I am on the search for such information.

Posted by: ให้เช่าโปรเจคเตอร์ | 17/10/2015 at 02:57

Fantastic goods from you, man. I've have in mind your stuff previous to and you are simply extremely magnificent. I actually like what you've received right here, really like what you are saying and the best way by which you assert it. You're making it enjoyable and you continue to take care of to stay it wise. I can not wait to learn far more from you. That is actually a great website.

Posted by: ให้เช่าโปรเจคเตอร์ | 18/10/2015 at 16:55

I've been exploring for a little bit for any high-quality articles or blog posts in this kind of house . Exploring in Yahoo I ultimately stumbled upon this site. Studying this info So i am happy to express that I have an incredibly just right uncanny feeling I discovered just what I needed. I so much undoubtedly will make sure to do not fail to remember this site and give it a look on a continuing basis.

Posted by: ให้เช่าโปรเจคเตอร์ | 20/10/2015 at 20:29

Post a comment



(Not displayed with comment.)




TrackBack

TrackBack URL for this entry:
http://app.cocolog-nifty.com/t/trackback/21327/3008144

Listed below are links to weblogs that reference 小論文を機械で採点:

« デザイン変更 | Main | 「雑務」に思う。 »