L O N G - R A N G E F O R E C A S T I N G

F r o m C r y s t a l B a l l t o C o m p u t e r
P a r t I I I
E V A L U A T I O N
C h a p t e r T i t l e
1 1 E v a l u a t i o n S c h e m e s
1 2 T e s t i n g I n p u t s
1 3 T e s t i n g O u t p u t s
U












L O N G - R A N G E F O R E C A S T I N G
F r o m C r y s t a l B a l l t o C o m p u t e r
E l e v e n
E V A L U A T I O N
S C H E M E S
C o n t e n t s
M u l t i p l e M o d e l s
2 9 8
W h e n a n d W h a t t o E v a l u a t e 3 0 0
A P r i o r i F r a m e w o r k 3 0 1
A P o s t e r i o r i F r a m e w o r k 3 0 1
I n p u t s a n d O u t p u t s 3 0 2
E v a l u a t i n g A c c e p t a b i l i t y 3 0 3
E v a l u a t i n g Q u a l i t y 3 0 6
F r o m t h e R e a l W o r l d t o t h e
A s s u m p t i o n s 3 0 7
F r o m t h e A s s u m p t i o n s t o t h e
M o d e l 3 1 0
F r o m t h e M o d e l t o t h e O u t p u t s 3 1 1
F r o m t h e O u t p u t s t o t h e R e a l
W o r l d 3 1 2
S c o r e s h e e t f o r E v a l u a t i n g
M o d e l s 3 1 5
E v a l u a t i n g t h e F o r e c a s t i n g
S y s t e m 3 1 7
S u m m a r y 3 1 9
2 9 7
2 9 8 E v a l u a t i o n S c h e m e s























M U L T I P L E M O D E L S













M u l t i p l e M o d e l s
2 9 9








E x h i b i t 1 1 - 1 T H E B E A U T Y O F A M O D E L : T h e F i r s t M i s s A m e r i c a ( 1 9 2 1 ) .

S o u r c e . M i s s

a

W h e n a n d W h a t t o E v a l u a t e
3 0 1
A P r i o r i F r a m e w o r k

















A P o s t e r i o r i F r a m e w o r k


















3 0 2
E v a l u a t i o n S c h e m e s





































E x h i b i t 1 1 - 3 F I N D I N G T H E R I G H T F O R E C A S T
T H E W I Z A R D O F I D b y B r a n t p r r r r r a n d J o h n n y
5 E - 4 7 F O R
T H E K , Y A ,

A - M N P E R
W E w t . .

f . 1 , C E N T R A N


f




' f o n t - L - 4 2 5
o u R N E A P
Y O u ' R V
1 4 , 1 2 c ,

, E O S E ,

t r i












E V A L U A T I N G A C C E P T A B I L I T Y












E v a l u a t i n g A c c e p t a b i l i t y 3 0 3
3 0 4
E v a l u a t i o n S c h e m e s
E x h i b i t 1 1 - 4
E V A L U A T I N G A C C E P T A B I L I T Y O F A
M O D E L
o f







o f

























E v a l u a t i n g A c c e p t a b i l i t y
3 0 5

E v a l u a t i n g Q u a l i t y
3 0 7











F r o m t h e R e a l W o r l d t o t h e A s s u m p t i o n s



E x h i b i t 1 1 - 5 S T A G E S I N A N A L Y Z I N G T H E Q U A L I T Y O F A M O D E L
O u t p u t s

S t a g e 4 '
D o t h e b e n e f i t s
o f t h e m o d e l
e x c e e d
c o s t s
O u t p u t s
f r o m
t h e m o d e l
S t a g e 3 :
C a n t h e
o u t p u t s b e
r e p l i c a t e d
R e a l
w o r l d
T h e
m o d e l
S t a g e 1
A r e t h e a s s u m p -
t i o n s r e a s o n a b l e
a n d c o m p r e h e n s i v e
S t a g e 2
D o e s t h e
m o d e l f o l l o w
l o g i c a l l y
f r o m t h e
a s s u m p -
t i o n s
A s s u m p t i o n s
o f t h e
m o d e l

E v a l u a t i n g Q u a l i t y
3 0 9





































3 1 0 E v a l u a t i o n S c h e m e s



























F r o m t h e A s s u m p t i o n s t o t h e M o d e l









E v a l u a t i n g Q u a l i t y
3 1 1
































F r o m t h e M o d e l t o t h e O u t p u t s






































E v a l u a t i n g Q u a l i t y
3 1 3






























E x h i b i t 1 1 - 7
C O S T - B E N E F I T A N A L Y S I S O F F O R E C A S T I N G M O D E L S









3 1 4
E v a l u a t i o n S c h e m e s





















































S C O R E S H E E T F O R E V A L U A T I N G M O D E L S

















3 1 6
E v a l u a t i o n S c h e m e s











E x h i b i t 1 1 - 8
T H E S C O R E S H E E T : E X A M P L E B A S E D O N F A I T H





v s .
P o o r












1 :








E v a l u a t i n g t h e F o r e c a s t i n g S y s t e m
3 1 7




































E x h i b i t 1 1 - 9
F O R E C A S T I N G A U D I T C H E C K L I S T








































































3 2 0
E v a l u a t i o n S c h e m e s