J.H.倶楽部

無断転載ならびに複製を禁じます。なお内容は取材・掲載当時の情報です。

月刊 人材教育 2009年08月号

My Opinion ② インストラクショナルデザインの視点から 適正な評価を行うためには 評価の文化の醸成が不可欠

教育効果といった時、研修の出席率、修了率、アンケート結果、テストの成績と数値データばかりに目を奪われていないだろうか。
しかし、評価の目的は数値を出すことではない。
悪いところを明らかにし、良くなるためのヒントをくれるものなのだ。
そのためには、数値をどう解釈するかが大事になってくる。
そして適正な数値を得るためには、目標の明確化と、“評価の文化”の醸成が欠かせない。

寺田 佳子(てらだ・よしこ)氏
ID コンサルティング代表取締役、ジェイ・キャスト常務取締役、日本イーラーニングコンソーシアム執行役員、eLP(eラーニングプロフェッショナル)研修委員会委員長、JICA情報通信技術分野課題支援委員、JICA-NET Instructional DesignSeminar講師、ASTD(米国人材開発機構)会員。著書に『IT時代の養育プロ養成戦略』(共著、東信堂)、『ラーニング活用ガイド』『OECD 教育研究開発センター 高等教育におけるeラーニング-国際事例の評価と戦略』(いずれも共著、東京電機大学出版局)などがある。本誌に連載中。

取材・文/吉崎透、写真/本誌編集部

目標が明確でなければ満足のいく評価はできない

インストラクショナルデザイン(以下、ID)の仕事は、教育・学習ニーズを分析し、それに基づいて研修などの教育手段やプロセスを設計すること。最終的な目的は、教育効果の最大化にある。そのためIDではつねに、教育の効果、評価を意識している。

昨今のような厳しい経済状況においては、教育の費用対効果の算出を求める声が高まっているが、後からそれだけを測るのは難しい。なぜなら多くの場合、評価の基準が明確になっていないからである。

教育を行ううえで何よりも重要なのは、最初に目標を決めることだ。理想的な職場や人材をイメージしてもらい、できるだけ具体的に設定していく。この目標さえしっかり設定できれば、これを基準として、どこまで目標に近づけたかを測ることができるわけだ。自ずと各ステップにおけるメジャーズ(Measures:効果を測定する指標)もでき、教えなければならない中身も決まってくる。

たとえば研修であれば、効果を測定する指標として、修了率や受講者の満足度、研修内容の理解度などがある。それを測るためにアンケートやテストを作成するのは大変な労力だ。

ただし、数値を出すことが評価の目的ではない。実際のIDの仕事は、各プロセスで出てきたデータを参考に研修全体の“評価のレポート”を書いて初めて終了する。これは、どうしたら次により良い研修ができるかを示す提言である。アンケートやテストを行うことは、レポートを書くための前提条件でしかないといっていい。

実はIDで最も難しいのは、出てきた数値をどう分析するかである。たとえば、100名が研修を受けて100名全員が100点を取って修了したとする。これは、教育現場レベルでは100%の出来である。しかし、企業として受講して欲しい人が200名いたとしたらどうだろう。この場合、IDの視点から見れば、50%の出来でしかなく、いかに全員を参加させるかが次の課題となる。数値を出すだけではなく、それを解釈してこそ評価の意味があるのだ。この際の評価基準になるのが、最初に決めた目標なのである。

もちろん、企業で教育を行う以上、その効果が求められるのは当然である。教育効果を証明するために効果測定は必要だが、それはまた、より良い研修をつくるための手段であることも忘れないで欲しい。

評価の文化なくして真の評価は成立せず

最近の人材教育の分野では、「評価」「効果測定」「アセスメント」など、いろいろな言葉が飛び交っている。だが、前述したように、教育効果の定義が共通認識のもとにあるかといえば、決してそうではないのが実情だ。

そのせいだろう。アンケートやテストを行っても、やりっぱなしの企業がほとんどだ。評価がうまくいかない理由として、企業内で「評価の文化」が育っていないことが挙げられる。私がIDの仕事をしていて一番危惧しているところでもある。

評価の文化とは、一言でいうと評価を肯定的にとらえる姿勢だ。評価とは本来、等身大の自分たちの姿を鏡に映して、「こんな姿をしているが、ここを工夫すればもっと良くなる」というように、次に何を努力すればいいのかを教えてくれるもの。悪い点が明らかになったら、喜ぶべきものなのだ。

しかし、評価の文化が育っていない企業では、何のために評価をするのかを、評価をするほうも、されるほうも理解していない。そのため、アンケートを実施しても一番選択しやすい「まあまあ」とか「どちらでもない」という回答ばかりが多くなったりする。加えて評価を実施する側も、悪い数値が出ると、よく見せようしたり、「時期が悪かったから」などと言い訳したりするケースも少なくない。

これでは現状の自分たちの姿を知ることなどまったく期待できないだろう。「私たちは、細心の注意を払ってアンケートを作成し、あなたたちの付けた○の1つひとつを真摯に受け止めて、少しでもいい研修にするためにやるんですよ」ということを人事部が全社的にきちっと伝え、評価をする側とされる側の双方の評価に対する認識と目的を共有することが欠かせない。私は時々、こんな話をする。評価の文化が育っていないとどんな事態が起こるか、評価のダークサイドを語るのにいい例だからだ。

ブッシュ政権時代の2002年頃のことだ。アメリカの小学校の全国一斉テストで、生徒の得点が高かった学校の先生には、“評価の対価”としてボーナスを出すという政策をとった。目的はもちろん落ちこぼれを出さないこと。その結果、先生は生徒の点数を上げるために、俄然、努力をするようになり、“スーパーナイス・ティーチャー”なる先生が現れた。ところが、ある時、その授業を受けた子供が母親に、「うちの先生は最高! だって、テスト中に黒板に答えを書いて教えてくれるの」と話をして、不正が発覚してしまった。

この例のように、評価の文化という土壌がないと、良い評価が欲しいばかりに、表面的ないい数字だけが独り歩きして本来の目的から外れる場合があることも知っておいて欲しい。

最終的な評価はワークプレイスで行う

評価の文化を醸成するためには評価の各ステップで仕掛けを用意することも有効だ。その方法を紹介する前に、IDで考えられている2つの評価を説明しよう。“教育現場での評価”と“ワークプレイスでの評価”だ。

教育現場での評価とは、研修への参加度、中身の理解度、満足度などで測られる。その研修の企画・担当者が、良い教材を作り、良い教育をしたといえるかどうかということだ。しかし、ワークプレイスでの評価は違う。研修で身につけたものが、実際の仕事で役立ち、効率や正確性が上がったり、新たな利益が生まれたりすることが評価対象となる。企業における最終的な評価は、あくまでワークプレイスで行われなければならないのだ。

ただしIDでは、このどちらの評価も測定していく。現在、その手法として最もポピュラーなのは、カークパトリックが1959年に発表した4段階評価をもとにしたもの。のちにこれにジャック・フィリップスが「ROI:Return onInvestment(費用対効果)」を加えて5段階評価とし、さらに最近では、「Intangible Benefits(無形の成果)」を加えた6段階評価を用いるのが主流になっている(図表)。

・レベル1「Reaction(反応)」は、参加者が研修内容にどういう反応を示し、満足度はどうか

・レベル2「Learning(学習)」は、知識やスキルをどれだけ習得できたか

・レベル3「Application(行動変容・応用)」とは、行動の変化を起こし実務に活かせるか

・レベル4「Business Impact(業績・ビジネスインパクト)」は、ビジネスへの売上増、利益増はどうか

・レベル5「ROI(費用対効果)」は、行った教育への投資効果という意味で、2、3年前から導入されるようになった。最近では、人材教育担当者や人事部が上層部を説得する伝家の宝刀となっている

こちらはJ.H.倶楽部会員限定記事です。
ご入会後、続きをお読みいただけます。

残り:2,830文字

/

全文:5,659文字

【入会・年会費無料】

J.H.倶楽部は人事の仕事に役立つ特典が満載です!

  1. 総数2000本以上の人事の実務に役立つ記事(※)が閲覧可能
    ※専門誌『Learning Design』(旧『人材教育』)の記事
  2. 新サービス・お役立ち情報(調査報告書・ホワイトペーパーなど)の先行案内
  3. 会員限定セミナーへのご招待/講演動画・配布資料の閲覧
  4. 興味関心に沿った必読記事を、メールマガジンでお知らせ!