AI研修の報告書を作る段になって、困る担当の方は少なくありません。手元にあるのは、受講直後の満足度アンケートだけ。経営からは「で、どれだけ効果があったのか」と聞かれる。
私たちも、最初のころは同じでした。研修の満足度は高いのに、それが会社にとって何を生んだのかを説明できない。そこで、AI研修の効果測定の手順を組み直しました。
研修の効果は4段階に分けて考える
研修の効果を測るときによく使われるのが、カークパトリックモデルと呼ばれる考え方です。研修の効果を4つの段階に分けます。
1段階目は反応。受講者が研修をどう受け止めたか。満足度アンケートが測っているのはここです。2段階目は学習。研修の中で、何ができるようになったか。3段階目は行動。職場に戻ってから、実際に使っているか。4段階目は成果。その結果、業務にどんな変化が出たか。
満足度アンケートだけでは、4段階のうち最初の1つしか測れていないことになります。
反応と学習は、研修当日に測る
1段階目と2段階目は、研修の当日に測れます。
反応は、いつものアンケートで十分です。ただし「満足でしたか」だけでなく、「明日、どの作業で使うつもりですか」を自由記述で書いてもらいます。この答えが空欄の人は、3段階目で使わなくなる可能性が高いと感じています。
学習は、研修の最後に、受講者が自分で作ったものが動くかで確かめます。Claude Codeの研修なら、自分の業務の題材でツールを1つ作り、講師の前で動かせたかどうか。テストの点数より、ずっと実態に近い指標になります。
行動は、1か月後に数える
3段階目の行動は、研修から時間を置いて測ります。私たちは1か月後に確認しています。
数えるのは、次の3つです。研修後もClaude Code(AIに業務の道具を作らせるソフト)を週1回以上起動しているか。研修で作ったツールを業務で使ったか。研修の後に、新しいものを1つ以上作ったか。
Claudeの法人向けプラン(TeamやEnterprise)を契約していれば、管理画面で組織全体の利用人数や利用回数が見られます。1人ずつの利用状況まで見るには、情シスによる追加の設定が必要です。難しければ、本人へのアンケートで十分です。
成果は、作業時間で数える
4段階目の成果が、経営に一番聞かれるところで、一番測りにくいところです。
私たちがすすめているのは、研修で自動化した作業について、研修の前後で作業時間を比べる方法です。研修の前に、題材にする作業に毎月何時間かかっているかを、受講者自身に記録してもらいます。研修の1か月後と3か月後に、同じ作業の時間をもう一度記録します。
時間の差に、人件費の単価をかければ、金額にも直せます。研修費用と比べれば、元が取れたかどうかの説明になります。
ただし、すべての効果が時間に出るわけではありません。外注していた社内システムの小さな改修(帳票の項目を1つ増やす、など)を社内で直せるようになった、という効果は、外注費の減り方で見るほうが合っています。
数字にしにくい部分の扱い方
正直に書くと、私たちが一番説明に苦労したのは、数字にならない変化です。
たとえば、作業時間の削減は月に数時間でも、受講者の一人が「これ、AIで作れませんか」と他部署に声をかけるようになり、その部署にも取り組みが広がる、ということがあります。この広がりは、作業時間の数字には出てきません。
こういう変化は、無理に数字にせず、具体的な出来事として報告書に書くようにしています。「誰が、何を作り、それが誰に使われたか」を3行で書く。経営の方には、数字より伝わることもあります。
AI研修の効果測定の予定を、研修の前に決める
まとめると、AI研修の効果測定は次の予定で組むと、報告書に困りません。
- 研修の前に、題材の作業にかかる時間を記録してもらう
- 研修当日に、満足度と「動くものができたか」を記録する
- 1か月後に、利用状況と、研修後に作ったものを数える
- 3か月後に、作業時間をもう一度記録して前後で比べる
大事なのは、研修の前に記録を始めておくことです。研修が終わってから測ろうとしても、比べる「前」の数字がありません。AI研修の効果測定は、研修を申し込んだ日から始まっています。
研修が定着しない原因と、その手前で打てる手は、別の記事にまとめました。
当メディアの運営会社の研修では、効果測定の進め方も事前の打ち合わせでご相談いただけます。
