Dan

 Ariely,  best-­‐selling  author  of  Predictably  Irrational  (link),  tells  a  story  about  his  time  teaching  behavioral  
economics:  
   
"When  I  was  at  MIT,  I  was  measured  on  my  ability  to  handle  my  yearly  teaching  load,  using  a  complex  equation  
of  teaching  points.  The  rating,  devised  to  track  performance  on  a  variety  of  dimensions,  quickly  became  an  end  
in  itself.  Even  though  I  enjoyed  teaching,  I  found  myself  spending  less  time  with  students  because  I  could  earn  
more  points  doing  other  things.  I  began  to  scrutinize  opportunities  according  to  how  many  points  were  at  
stake.  In  optimizing  this  measure,  I  was  not  striving  to  gain  more  wealth  or  happiness.  Nor  did  I  believe  that  
earning  the  most  points  would  result  in  more  effective  learning.  It  was  merely  the  standard  of  measurement  
given  to  me,  so  I  tried  to  do  well  against  it  (and  I  admit  that  I  was  rather  good  at  it)."  
   
Ariely  came  to  regret  this  arrangement.  Though  he  wasn't  exactly  bad  at  his  job,  the  point  system  incentivized  him  to  
behave  in  ways  that  were  not  in  the  best  interests  of  his  students  or  even  himself.  Instead,  he  was  driven  to  optimize  
his  score.    
   
The  rest  of  us  are  in  the  same  boat.    As  human  beings,  we  are  compelled  to  match  our  behavior  to  the  metrics  we  are  
held  against.  You  may  have  heard  the  maxim  "what  you  measure  is  what  you  get."  Management  guru  H.  Thomas  
Johnson  spelled  it  out  even  further:    “Perhaps  what  you  measure  is  what  you  get.  More  likely,  what  you  measure  is  
all  you’ll  get.  What  you  don’t  (or  can’t)  measure  is  lost."  
   
And  so  when  in  our  organizations,  we  measure  learning  by  counting  up  attendance  numbers,  course  completions,  
and  hours  of  training  delivered,  what  we  get  is  attendance,  completions,  and  training  time.  What  we  don't  get  is  
effective  learning,  behavior  change,  or  business  impact.  
   
For  those  readers  who  have  been  struggling  to  make  their  way  up  the  Kirkpatrick  scale  or  calculate  ROI,  let  me  
reiterate  Johnson's  point.  If  we  don't  measure  effective  learning,  behavior  change,  and  business  impact,  it's  not  just  
that  we  fail  to  report  on  those  things.  They  are  likely  not  happening  at  all.  
   
QUESTION  OR  BREAK  
   
Your  measurement  strategy  is  an  incentive  strategy.  If  you  give  people  points  to  learn,  they  will  care  more  about  the  
points  than  the  learning.  (This  is  incidentally  a  central  danger  of  gamification.)  If  instead  you  challenge  them  and  give  
them  the  chance  to  be  recognized  for  their  real  achievements,  you  have  the  basis  of  a  successful  measurement  
strategy.  
   
Here  are  four  measurement  approaches  that  create  the  right  incentives  and  trigger  intrinsic  motivation  for  learning:  
   
BEHAVIORAL  SURVEYS  
   
What  are  they?  
Behavioral  surveys  get  right  down  to  asking  about  what  people  actually  do.  
   
Respondents  are  asked  to  self-­‐report  how  frequently  they  perform  a  set  of  behaviors.  
   
[sidebar]  
At  Grovo  we  like  to  break  a  behavior  down  into  microbehaviors  -­‐  the  component  actions  -­‐  and  ask  about  those  to  get  
a  full  picture  of  what  someone  is  doing,  or  at  least  believes  they  are  doing.    
   
With  a  frequency  rating  scale,  you  can  avoid  a  lot  of  the  fuzzy  data  that  that  comes  from  asking  about  learners'  
subjective  feelings  (e.g.  "how  much  do  you  agree  or  disagree?"  or  "how  satisfied  are  you?").  And  you  can  make  the  
frequencies  more  specific  (e.g.  "once  per  day"  instead  of  "sometimes")  so  that  the  distinctions  between  answer  
choices  are  clear  for  the  respondents.  
   
Free  or  freemium  apps  like  Typeform,  SurveyMonkey,  or  Google  Forms  make  it  easy  to  build,  deliver,  and  track  
behavioral  surveys.  
   
How  behavioral  surveys  help  you  measure  
By  surveying  your  learners  about  the  frequency  of  their  behaviors,  you  can  set  a  behavioral  baseline  prior  to  a  
learning  experience.    
   
Then  after  the  experience,  administer  the  same  survey  to  show  the  behavioral  impact  of  what  people  learned.  
   
To  show  the  durability  of  behavior  change,  survey  learners  weeks  or  months  after  the  initial  learning  experience.  
   
They  key  to  effective  behavioral  surveys  
Behavioral  surveys  are  subject  to  various  response  biases  that  would  lead  a  learner  to  either  underreport  or  
overreport  the  frequency  of  a  particular  behavior.  
   
A  way  to  un-­‐bias  results  is  to  confirm  them  by  surveying    the  learners'  peers,  managers,  or  other  colleagues  as  well.  
The  knowledge  that  someone  else  is  rating  you  makes  you  more  likely  to  be  honest,  and  any  gaps  in  perception  you  
uncover  will  be  interesting  to  explore  further.  
   
You  can  also  anonymize  the  data  to  reduce  response  bias.  You’ll  lose  data  at  the  individual  level,  but  still  collect  it  at  
the  department  or  organization  level  to  show  change  happening  in  your  workforce.  
   
For  example,  we  ran  an  internal  one-­‐week  program  at  Grovo  to  help  our  managers  run  better  one-­‐on-­‐one  meetings.  
We  surveyed  them  before  the  training,  and  then  a  few  weeks  after.  Here’s  what  we  found:    
   
  
   
See  the  positive  uptick  in  behaviors  in  the  right-­‐hand  column?  We  were  able  to  share  this  progress  with  the  
participants  as  well  as  the  rest  of  our  company.  It  gave  us  a  way  of  demonstrating  how  our  learning  efforts  were  
showing  up  in  tangible  ways  across  the  organization  that  everyone  could  see.    
   
For  a  more  sophisticated,  even  less-­‐biased  survey  alternative,  see  Will  Thalheimer's  excellent  Performance-­‐Focused  
Smile  Sheets  (link).  
   
   
MILESTONES  
   
What  are  they?  
SMART  goals,  OKRs,  KPIs,  MBOs  -­‐  these  are  a  few  of  the  acronyms  we  use  today  to  set  and  measure  business  goals.  
When  we're  trying  to  motivate  learners,  however,  this  goal-­‐setting  jargon  often  falls  flat.    
   
Enter  milestones.  A  milestone  is  a  significant  event  in  someone's  development.  Unlike  traditional  learning  objectives,  
milestones  describe  achievements  that  by  definition  would  be  meaningful  to  the  learner.  
   
For  example:  make  this  a  chart  
   
• A  milestone  for  someone  learning  to  be  efficient  with  email  might  be  getting  to  inbox  zero  
• A  milestone  for  a  salesperson  learning  spin  selling  might  be  to  close  a  $50K  deal  using  the  new  method  
• A  milestone  for  an  engineer  learning  a  new  coding  language  might  be  to  deploy  10  lines  of  that  code  in  one  day  
• A  milestone  for  a  manager  learning  to  motivate  employees  may  be  to  assign  one  new  business  challenge  to  
each  direct  report  
   
How  milestones  help  you  measure  
Milestones  are  a  way  to  track  meaningful  progress  toward  a  business  outcome.  When  a  milestone  is  achieved,  you  
know  that  change  is  happening  and  that  learning  is  being  transferred  to  the  real  world.  
   
A  good  way  to  measure  the  progress  of  individual  learners  is  to  count  up  the  number  of  milestones  they  are  able  to  
achieve  in  a  quarter  or  in  a  year.  
   
Or  measuring  the    %  of  individuals  who  have  achieved  a  specific  milestone  can  tell  you  how  prevalent  a  behavior  is  
across  your  organization.  
   
The  key  to  effective  milestones  
   
Select  actions  that  are  easily  observable  to  you  and  the  learner.  Whether  a  milestone  has  been  achieved  should  be  a  
clear  yes/no.  For  example  "delivering  a  powerful  presentation"  may  be  an  admirable  goal,  but  it  is  too  subjective  to  
be  a  good  milestone.  A  better  milestone  would  be  "presenting  to  an  audience  of  over  200  people"  or  "presenting  
from  memory  without  looking  down  at  notes."    
   
ROLE  MODELS  
   
What  are  they?  
   
Role  models  are  people  whose  behavior  learners  can  emulate.  It  needn't  be  any  more  formal  than  that.  Whereas  
mentorship  programs  tie  a  single  individual  to  another  and  require  significant  investment  from  both  parties,  role  
modeling  is  a  lot  easier  to  implement  and  can  have  a  much  wider  impact.  
   
[Example  role  modeling  image  -­‐  e.g.  designing  thinking  image  from  lingo]  
   
For  any  learning  initiative  you  want  to  measure,  identify  individuals  who  excel  at  the  behaviors  you  want  people  to  
learn.  These  role  models  can  tell  you  what  gaps  learners  are  exhibiting  and  how  they  are  improving,  or  they  can  
observe  learners  practicing  and  performing  and  give  them  feedback  directly.  
   
How  role  models  help  you  measure  
   
Think  of  role  models  as  human  measuring  sticks.  Not  only  can  role  models  provide  feedback  to  learners,  learners  can  
measure  their  progress  by  continually  comparing  their  performance  to  that  of  the  role  model.  
   
The  measurement  here  is  more  informal  and  less  quantitative,  but  it  is  deeply  meaningful.  When  offering  critical  
feedback,  role  models  are  more  likely  to  point  out  the  correct  flaw  or  offer  the  right  corrective;  and  when  things  go  
well,  their  praise  feels  that  much  better  to  receive,  and  is  a  powerful  incentive  to  continue  learning.  
   
The  key  to  effective  role  models  
   
Abandon  the  idea  that  a  role  model  should  be  [  ].  If  they  excel  at  a  target  behavior,  they  are  useful  to  help  measure.  
And  even  more  so  you  make  them  feel  good  by  asking.  Incentivize  them  to  help.    
   
-­‐-­‐  It’s  easy  to  hold  up  your  best  and  brightest  employees  on  pedestals,  but  better  to  acknowledge  the  ingredients  of  
their  success,  behaviors  and  habits  over  the  unrepeatable  intangibles  of  who  they  are.  When  you  focus  on  efforts  and  
contributions  over  intelligence  or  talent,  you  encourage  your  employees  to  model  those  behaviors  in  a  way  that  
benefits  all.  
   
When  honoring  an  individual’s  achievements  at  your  organization,  codify  their  success  by  asking  them  what  they  did  
and  how  they  did  it.  Have  them  share  best  practices  and  counterexamples  with  the  team,  and  when  they  deliver  
these  insights,  make  sure  they  provide  all  the  specific,  nitty  gritty  details  that  got  them  there.  
   
   
PERFORMANCE  RUBRICS  
   
Performance  rubrics  make  behaviors  more  specific  and  visible  by  spelling  out  the  component  parts  of  a  successful  
performance.  
   

 
A  rubric  of  productivity  behaviors  from  Francis  Wade  
   
Putting  rubrics  into  the  hands  of  managers,  or  even  learners  themselves,  makes  it  much  easier  to  observe  a  behavior,  
identify  gaps,  and  give  consistent  feedback.  
   
How  performance  rubrics  help  you  measure  
   
When  giving  learners  regular  feedback  is  impractical,  performance  rubrics  allow  learners  measure  their  progress  
against  concrete  criteria.  In  Design  for  How  People  Learn  (my  all-­‐time  favorite  learning  book),  Julie  Dirksen  offers  this  
example  of  a  self-­‐evaluation  flow  that  allows  learners  to  practice,  then  evaluate  their  own  performance  with  a  
checklist,  and  finally  hear  from  experts.  
   
  
   
The  key  to  effective  performance  rubrics  
   
Whether  you  go  with  a  simple  checklist  or  a  more  sophisticated  rubric  that  spells  out  multiple  levels  of  quality  for  
each  component  action,  make  sure  that  all  criteria  are  clear  to  the  people  using  it.  Before  widely  distributing  a  rubric,  
observe  a  manager  using  it  to  give  feedback  to  a  learner,  or  observe  a  learner  using  the  rubric  to  evaluate  their  own  
performance  after  the  fact.  A  good  rubric  takes  the  guesswork  out  of  measurement,  so  look  for  any  signs  of  
confusion,  and  tweak  the  rubric  accordingly.  
   
Each  use  of  the  rubric  also  serves  as  another  reinforcement  of  the  learning  material,  so  the  benefits  of  a  good  rubric  
go  beyond  measurement.  
   
   
NEED  NAME  FOR  THIS  WRAP  UP  SECTION  
   
So  put  a  pause  on  the  point  systems.  Put  your  smile  sheets  away.  Put  that  ROI  calculator  down  for  just  a  moment.  
Behavioral  surveys,  milestones,  role  models,  and  performance  rubrics  allow  you  to  both  measure  change  and  create  
the  right  internal  incentives  for  learning.  And  beyond  measurement,  these  approaches  reinforce  learning  points  and  
give  learners  the  kind  of  feedback  they  need  to  course  correct,  or  celebrate  progress.  These  are  all  good  results.  So  
treat  your  measurement  strategy  as  part  of  your  learning  strategy,  not  just  as  a  way  to  evaluate  your  strategy.  
   
CALLOUT  
One  of  the  advantages  of  designing  microlearning  experiences  (i.e.  short,  focused  bursts  of  learning)  is  that  you  can  
measure  faster  and  more  often.  Learn  how  in  blah  blah  link  to  book