コンテキストAIができるまで⑤ 効果測定編。「教えた」で終わらせないために

前回の記事では、コンテンツ生成についてご紹介しました。設計された学習シーケンスをもとに、スライド、音声ナレーション、確認クイズという、受講者が実際に触れる教材の形を作り上げるステップです。

今回のテーマは、コンテキスト化メソッドの最後のステップとなる「効果測定」です。配信された教材が実際にどこまで学ばれ、その結果をどう確認するのか、という部分になります。

コンテキストAIにおける効果測定とは、配信した教材の進捗や確認クイズの結果を確認し、受講状況や理解度を把握する工程です。得られた数字から、必要なフォローや教材改善のきっかけを見つけます。

「読まれたか」ではなく、「身についたか」を見る

以前の記事「コンテキストAIができるまで①」でも、この効果測定について少し触れました。

ナレッジ抽出のステップを通すことで、資料そのものの位置づけが変わり、学習コースという形になることで、受講の進み具合を他者が把握できるようになる、という話です。今回は、この部分をもう少し詳しくお話しします。

これまでの企業研修では、資料を配布したり、説明会を開いたりした後、それが実際にどこまで理解され、身についたのかを確認する手段が限られていました。資料を送付したことは確認できても、内容がどこまで理解されたかまでは、なかなか見えなかったのです。

コンテキストAIでは、生成した研修コースを配信した後、受講者の進捗やクイズのスコアをダッシュボードで可視化します。

誰が、どこまで進んでいるのか。確認クイズで、どの程度正答できているのか。どの内容でつまずいている可能性があるのか。これまで把握しにくかった受講の進み具合や確認クイズの結果を、数字として確認できるようになります。

ただし、ここで確認できるのは、受講の進み具合と確認クイズへの回答結果です。実際の業務で知識を使える状態になったかまで、数字だけで判断できるわけではありません。

それでも、「資料を配ったから終わり」「研修を実施したから完了」という状態から、受講後の状況を見て、次の対応を考えられるようになることには、大きな意味があります。

理解度テストは、受講者だけのためではない

理解度テストというと、受講者にとっては、多少のストレスを伴うものかもしれません。

しかし、研修を実施し、推進する側にとっては、受講履歴として研修への理解度を定量的に確認できる重要な仕組みです。

一方で、受講者にとってもストレスばかりではありません。受講後にテストがあると分かっていることで、受講そのものへの集中力が変わってきます。ただ資料を眺めるように学ぶのと、後で内容を確認されると分かったうえで学ぶのとでは、学び方そのものの姿勢が変わるのです。

確認クイズに答えることで、自分では理解したつもりだった内容を、実際に思い出せるかどうかも確認できます。間違えた問題があれば、どの部分を学び直せばよいのかを知るきっかけにもなります。

さらに、研修を実施する側にとって、理解度テストや進捗のデータは、個々の受講者を見るためだけのものではありません。教材や研修の進め方を振り返る材料にもなります。

たとえば、全体的に正答率が低いコースがあれば、教材の説明や学習順序、クイズの難易度や表現を見直すきっかけになります。進捗が滞りがちなコースがあれば、教材の分量や配信のタイミング、受講期限に無理がなかったかを確認できます。

同じコースを繰り返し実施している場合には、前回の結果と比較することで、教材を修正した後にどのような変化があったかを見ることもできます。対象者や難易度などの条件が近いコースであれば、ほかのコースとの比較も、改善を考える一つの材料になります。

効果測定は、個人の受講状況や理解度を確認する仕組みであると同時に、次の研修施策を考えるための材料でもあるのです。

数字が示すのは、結果であって原因ではない

一方で、正直にお伝えしておきたいことがあります。

ダッシュボードに表示される進捗やスコアは、あくまで結果を示すものであり、その背景にある原因までは教えてくれません。

正答率が低いという結果が出ていても、それが知識不足によるものなのか、問題文が分かりにくかったのか、業務経験が不足していたのかは、数字だけでは判断できません。コースを最後まで受講していない人がいたとしても、教材が難しかったのか、業務が忙しかったのか、受講の案内に気づかなかったのかは、進捗だけを見ても分かりません。

以前の記事「『伝わった』のに『できるようにならない』のはなぜか」でも書きましたが、理解度テストで正答できていても、話全体の文脈の中で微妙に異なる解釈をしたまま、「分かった」つもりになっていることも起こり得ます。

問題の答えを覚えていることと、なぜその答えになるのかを理解していることは、必ずしも同じではありません。研修で学んだ内容を、実際の業務場面で判断し、行動へ移せるかどうかも、クイズの点数だけでは測れません。

つまり、効果測定によって見えるのは、あくまで「気づくためのきっかけ」です。

正答率が低い知識ポイントがあれば、説明が不足していなかったかを確認する。進捗が止まっている人がいれば、何か困っていることがないか声をかける。高い点数を取っていても、実務で迷っている様子があれば、研修内容とのつながりを確認する。

そこから先、なぜつまずいているのかを読み取り、学ぶ人に声をかけ、必要なフォローを行うのは、引き続き人の役割だと考えています。

数字を、人を評価するためだけに使わない

効果測定のデータを見ると、どうしても「誰の点数が高いか」「誰が受講していないか」という個人の評価に意識が向きやすくなります。

もちろん、研修の受講状況を管理するうえで、個人ごとの進捗を確認することは必要です。しかし、数字の使い方が、受講者を責めたり、順位をつけたりすることだけに偏ると、理解度テストは学習を支えるものではなく、単なる監視の仕組みになってしまいます。

点数が低かった人を見つけることが目的ではありません。その人が、どの内容で困っている可能性があるのかを知り、必要な学び直しや支援につなげることが目的です。

また、複数の受講者が同じ問題で間違えているなら、受講者側だけでなく、教材側に原因がある可能性も考える必要があります。説明が足りなかったのか、言葉が難しかったのか、クイズの問い方が適切でなかったのか。数字は、教材を作った側にも問いを返してきます。

効果測定は、受講者を評価するためだけの仕組みではなく、研修を実施する側が、自分たちの教材や教え方を振り返るための仕組みでもあると考えています。

現在、開発を進めている機能

効果測定の仕組みは、当社にとっても、まだ発展途上の領域です。

現在、正答率が低い知識ポイントを自動的に検出し、その結果に応じて復習コースを提案する機能の開発を進めています。これは、現時点では提供前の機能です。

今の仕組みでも、進捗やクイズのスコアを見ることで、フォローが必要な可能性のある受講者や、理解されにくかった内容に気づくことはできます。しかし、その後に何を復習すればよいのかを考え、教材を用意するところまでは、担当者が行う必要があります。

この機能が実現すれば、「正答率が低い」という結果を示すだけでなく、その知識ポイントに対応する内容をもとに、何を学び直すべきかという案まで提示できるようになります。

「気づくためのきっかけ」から一歩進み、「気づいた後、何を、どう学び直せばよいか」までを、ある程度自動的に示せるようにしたいと考えています。

もちろん、復習コースが提示されれば、それだけで理解できるとは限りません。なぜ間違えたのかを確認し、人による説明や実務での練習が必要な場合もあります。

それでも、研修担当者が一人ひとりの結果を確認し、毎回ゼロから復習内容を考える負担を減らすことができれば、より細かなフォローにつなげられるのではないかと考えています。

この構想については、次回の番外編で、もう少し詳しくお話しします。

コンテキスト化メソッドは、効果測定で一巡する

コンテキスト化メソッドでは、最初に社内資料からナレッジを抽出し、学習目標を整理します。その目標へ向かう学習シーケンスを設計し、スライド、音声ナレーション、確認クイズを生成します。

そして、配信後の進捗やクイズの結果を確認するのが、今回の効果測定です。

ここまで進むことで、社内資料は、単に保管されたり、メールに添付して配布されたりするものから、学習の進み具合を確認し、改善を続けられる教材へと変わります。

ただし、効果測定は最後の工程であると同時に、次の改善を始めるための工程でもあります。

クイズの結果を見て、教材の説明を修正する。進捗を見て、分量や配信方法を見直す。つまずきやすい内容が分かれば、その前提となる知識を追加する。こうして得られた気づきを、再び教材の設計へ戻していきます。

作って、配信して、測って、見直す。この循環があることで、教材は一度作って終わるものではなく、使いながら育てていくものになります。

まとめ

コンテキストAIにおける効果測定は、「資料を配布した」「研修を実施した」という事実だけで終わらず、実際の受講状況や確認クイズの結果を確認するためのステップです。

進捗やスコアを見ることで、理解が十分でない可能性のある内容や、フォローが必要な受講者に気づくきっかけを得られます。受講後に確認クイズがあることで、学ぶときの姿勢が変わることもあります。また、複数の結果を確認することで、教材の説明や分量、配信方法を見直す材料にもなります。

ただし、数字が示すのは結果であり、その原因までは分かりません。

正答率が低い理由を読み取り、学ぶ人に声をかけ、必要なフォローを行うのは人の役割です。数字を受講者の評価だけに使うのではなく、教材を作った側も、自分たちの設計や伝え方を見直す必要があります。

コンテキスト化メソッドの5つのステップは、ここで一区切りとなります。しかし、「教育設計のない会社をなくす」という当社の目標に向けて、まだ発展させたい部分は残っています。

次回は番外編として、正答率の低い知識ポイントの検出から、復習コースの提案まで、今後の展開についてご紹介します。

社内資料から教材を作る具体的な流れや活用イメージについては、コンテキストAI実践ガイドでご紹介しています。

機能やプランについては、コンテキストAIのサービスページをご覧ください。