I E E E TRANSACTI ONS ON SYSTE MS,

MAN,
AND CYB E RNE TI CS, \ O SMc ( - 3 , NO. 6 , NOVE MB E R 1973
ACKNOWLE DGME NT
Th e a u t h o r s w i s h t o a c k n o w l e d g e t h e i n v a l u a b l e h e l p a n d
a d v i c e o f Dr . E . S. Sa v a s , F i r s t De p u t y Ci t y Ad m i n i s t r a t o r
o f Ne w Yo r k Ci t y , t h e c o o p e r a t i o n o f t h e De p a r t m e n t o f
Sa n i t a t i o n a n d o f t h e s t a f f o f t h e Ne i g h b o r h o o d Ac t i o n
P r o g r a m , a n d t h e h e l p o f t h e r e s i d e n t s o f t h e Wa s h i n g t o n
H e i g h t s - I n w o o d - Ma r b l e H i l l d i s t r i c t .
RE F E RE NCE S
[ 1] L. T. De St e f a n o a n d A. H . Le v i s , "A m o d e l f o r t h e e f f e c t o f i l l e g a l l y
p a r k e d c a r s o n s t r e e t c l e a n i n g ," J . E n v i r o n . Sy s t ., v o l . 2 , p p . 10 9-
13 0 , J u n e 1972 ,
[ 2 ] H . No e l a n d J . Ka i s e r , "A c i t i z e n ' s a n a l y s i s o f i l l e g a l p a r k i n g ,
e n f o r c e m e n t a n d c l e a n s t r e e t s i n a n e i g h b o r h o o d ," Of f i c e o f
Ad m i n i s t r a t i o n , Of f i c e o f t h e Ma y o r , Ci t y o f Ne w Yo r k , Ma y 1971l
[ 3 ] R. B e l l m a n , I n t r o d u i c t i o n t o Ma t r i x Al g e b r a . Ne w Yo r k : Mc Gr a \ -
H i l l , 196 0 .
[ 4 ] S. Ta r t a r o n e , "On t h e e n f o r c e m e n t o f p a r k i n g r e g u l a t i o n s f b r
s t r e e t c l e a n i n g ," M.S. t h e s i s , De p . E l e c . E n g ., P o l y t e c h n i c I n s t .
B r o o k l y n , B r o o k l y n , N.Y., J u n e 1972 .
[ 5 ] A. H . Le v i s , E d ., "U r b a n s t r e e t c l e a n i n g - i n t e r i m r e p o r t n o . 1,' "
De p . E l e c . E n g ., P o l y t e c h n i c I n s t . B r o o k l y n , B r o o k l y n , N.Y.,
Re p . P I B E E 71- 0 10 , J u n e 1, 1971.
[ 6 ] S. Ta r t a r o n e , P . B l o o m , L. T. De St e f a n o , a n d A. H . Le v i s , "U r b a n
s t r e e t c l e a n i n g - i n t e r i m r e p o r t n o . 2 ," De p . E l e c . E n g ., P o l y t e c h n i c
I n s t . B r o o k l y n , B r o o k l y n , N.Y., Re p . P I B E E 71- 0 14 , Oc t . 1, 1971.
[ 7] J . B e r e n y i , "Sy s t e m a n a l y s i s o f p a r k i n g r e g u l a t i o n s , v i o l a t i o n s , a n d
e n f o r c e m e n t a c t i v i t i e s ," Of f i c e o f Ad m i n i s t r a t i o n , Of f i c e o f t h e
Ma y o r , Ci t y o f Ne w Yo r k , J a n . 1971.
Te x t u r a l F e a t u r e s f o r I m a g e Cl a s s i f i c a t i o n
ROB E RT M. H ARALI CK, K. SH ANMU GAM, AND I TS' H AK DI NSTE I N
Ab s t r a c t - Te x t u r e i s o n e o f t h e i m p o r t a n t c h a r a c t e r i s t i c s u s e d i n
i d e n t i f y i n g o b j e c t s o r r e g i o n s o f i n t e r e s t i n a n i m a g e , w h e t h e r t h e i m a g e
b e a p h o t o m i c r o g r a p h , a n a e r i a l p h o t o g r a p h , o r a s a t e l l i t e i m a g e . Th i s
p a p e r d e s c r i b e s s o m e e a s i l y c o m p u t a b l e t e x t u r a l f e a t u r e s b a s e d o n g r a y -
t o n e s p a t i a l d e p e n d a n c i e s , a n d i l l u s t r a t e s t h e i r a p p l i c a t i o n i n c a t e g o r y -
i d e n t i f i c a t i o n t a s k s o f t h r e e d i f f e r e n t k i n d s o f i m a g e d a t a : p h o t o -
m i c r o g r a p h s o f f i v e k i n d s o f s a n d s t o n e s , 1: 2 0 0 0 0 p a n c h r o m a t i c a e r i a l
p h o t o g r a p h s o f e i g h t l a n d - u s e c a t e g o r i e s , a n d E a r t h Re s o u r c e s Te c h -
n o l o g y Sa t e l l i t e ( E RTS) m u l t i s p e c i a l i m a g e r y c o n t a i n i n g s e v e n l a n d - u s e
c a t e g o r i e s . We u s e t w o k i n d s o f d e c i s i o n r u l e s : o n e f o r w h i c h t h e d e c i s i o n
r e g i o n s a r e c o n v e x p o l y h e d r a ( a p i e c e w i s e l i n e a r d e c i s i o n r u l e ) , a n d o n e
f o r w h i c h t h e d e c i s i o n r e g i o n s a r e r e c t a n g u l a r p a r a l l e l p i p e d s ( a m i n - m a x
d e c i s i o n r u l e ) . I n e a c h e x p e r i m e n t t h e d a t a s e t w a s d i v i d e d i n t o t w o
p a r t s , a t r a i n i n g s e t a n d a t e s t s e t . Te s t s e t i d e n t i f i c a t i o n a c c u r a c y i s
8 9 p e r c e n t f o r t h e p h o t o m i c r o g r a p h s , 8 2 p e r c e n t f o r t h e a e r i a l p h o t o -
g r a p h i c i m a g e r y , a n d 8 3 p e r c e n t f o r t h e s a t e l l i t e i m a g e r y . Th e s e r e s u l t s
i n d i c a t e t h a t t h e e a s i l y c o m p u t a b l e t e x t u r a l f e a t u r e s p r o b a b l y h a v e a
g e n e r a l a p p l i c a b i l i t y f o r a w i d e v a r i e t y o f i m a g e - c l a s s i f i c a t i o n a p p l i c a -
t i o n s .
I . I NTRODU CTI ON
W
.[ I TH TH E ADVE NT o f h i g h - s p e e d g e n e r a l - p u r p o s e
d i g i t a l c o m p u t e r s i t i s
b e c o m i n g p o s s i b l e t o
p e r f o r m
m a t h e m a t i c a l o r a l g o r i t h m i c p r o c e s s e s o n p i c t o r i a l d a t a
f r o m i m a g e s o f p h o t o g r a p h i c q u a l i t y . I n m o s t o f t h e s e
p r o c e s s e s , t h e p i c t o r i a l i n f o r m a t i o n i s r e p r e s e n t e d a s a
f u n c t i o n o f t w o v a r i a b l e s ( x ,y ) . Th e i m a g e i n i t s d i g i t a l
f o r m i s u s u a l l y s t o r e d i n t h e c o m p u t e r a s a t w o - d i m e n s i o n a l
Ma n u s c r i p t r e c e i v e d Ap r i l 2 5 , 1973 ; r e v i s e d J u n e 12 , 1973 . Th i s
w o r k w a s s u p p o r t e d b y t h e NASA Go d d a r d Sp a c e F l i g h t Ce n t e r u n d e r
Co n t r a c t NAS5 - 2 18 2 2 , a n d t h e Ge o g r a p h i c Sc i e n c e s I La b o r a t o r y o f
t h e U .S. Ar m y E n g i n e e r To p o g r a p h i c La b o r a t o r i e s u n d e r Co n t r a c t
DAAK0 2 - 70 - C- 0 3 8 8 .
R. M. H a r a l i c k a n d 1. Di n s t e i n a r e w i t h t h e Sc h o o l o f E l e c t r i c a l
E n g i n e e r i n g a n d t h e Ce n t e r f o r Re s e a r c h , I n c ., U n i v e r s i t y o f Ka n s a s ,
La w r e n c e , Ka n s . 6 6 0 4 4 .
K. Sh a n m u g a m w a s w i t h t h e Ce n t e r f o r Re s e a r c h , I n c ., U n i v e r s i t y o f
Ka n s a s , La w r e n c e , Ka n s . H e i s n o w w i t h t h e De p a r t m e n t o f E l e c t r i c a l
E n g i n e e r i n g , Wi c h i t a St a t e U n i v e r s i t y , Wi c h i t a , Ka n s . 6 72 18 .
a r r a y . I f Lx =
{ 1,2 , ,N,}
a n d
Ly
= { 1,2 , *
,NY}
a r e t h e
X a n d Y s p a t i a l d o m a i n s , t h e n LX x
Ly
i s t h e s e t o f r e s o l u -
t i o n c e l l s a n d t h e d i g i t a l i m a g e I i s a f u n c t i o n w h i c h a s s i g n s
s o m e g r a y - t o n e v a l u e G E { 1,2 , ,NJ t o e a c h a n d e v e r y
r e s o l u t i o n c e l l ; I :
Lx
x
Ly -
G. Va r i o u s t w o - d i m e n s i o n a l
a n a l y s e s a r e p e r f o r m e d o n I t o a c h i e v e s p e c i f i c i m a g e -
p r o c e s s i n g t a s k s s u c h a s c o d i n g , r e s t o r a t i o n , e n h a n c e m e n t ,
a n d c l a s s i f i c a t i o n . I n r e c e n t y e a r s a t r e m e n d o u s a m o u n t o f
c o m p u t e r p r o c e s s i n g o f p h o t o g r a p h s h a s o c c u r r e d , w i t h
f a c i l i t i e s h a v i n g b e e n d e v e l o p e d t o p r o c e s s a n y t h i n g f r o m
a e r i a l p h o t o g r a p h s t o p h o t o m i c r o g r a p h s [ 1] , [ 2 ] .
I n t h i s p a p e r w e a r e c o n c e r n e d w i t h t h e t a s k o f d e v e l o p i n g
a s e t o f f e a t u r e s f o r c l a s s i f y i n g o r c a t e g o r i z i n g p i c t o r i a l
d a t a . Th e c l a s s i f i c a t i o n o f p i c t o r i a l d a t a c a n b e d o n e o n a
r e s o l u t i o n c e l l b a s i s ( s u c h a s i n i d e n t i f y i n g t h e c r o p c a t e g o r y
o f a r e s o l u t i o n c e l l o n s a t e l l i t e i m a g e r y ) o r o n a b l o c k o f
c o n t i g u o u s r e s o l u t i o n c e l l s ( s u c h a s i n i d e n t i f y i n g t h e c r o p
c a t e g o r y o f a n e n t i r e a g r i c u l t u r a l f i e l d e x t e n d i n g o v e r a
l a r g e n u m b e r o f r e s o l u t i o n c e l l s ) . Th e m o s t d i f f i c u l t s t e p i n
c a t e g o r i z i n g p i c t o r i a l i n f o r m a t i o n f r o m a l a r g e b l o c k o f
r e s o l u t i o n c e l l s i s t h a t o f d e f i n i n g a s e t o f m e a n i n g f u l
f e a t u r e s t o d e s c r i b e t h e p i c t o r i a l i n f o r m a t i o n f r o m t h e b l o c k
o f r e s o l u t i o n c e l l s . On c e t h e s e f e a t u r e s a r e d e f i n e d , i m a g e
b l o c k s c a n b e c a t e g o r i z e d u s i n g a n y o n e o f a m u l t i t u d e o f
p a t t e r n - r e c o g n i t i o n t e c h n i q u e s .
I n a s e a r c h f o r m e a n i n g f u l f e a t u r e s f o r d e s c r i b i n g p i c -
t o r i a l i n f o r m a t i o n , i t i s o n l y n a t u r a l t o l o o k t o w a r d t h e
t y p e s o f f e a t u r e s w h i c h h u m a n b e i n g s u s e i n i n t e r p r e t i n g
p i c t o r i a l i n f o r m a t i o n . Sp e c t r a l , t e x t u r a l , a n d c o n t e x t u a l
f e a t u r e s a r e t h r e e f u n d a m e n t a l p a t t e r n e l e m e n t s u s e d i n
h u m a n i n t e r p r e t a t i o n o f c o l o r p h o t o g r a p h s . Sp e c t r a l f e a -
t u r e s d e s c r i b e t h e a v e r a g e t o n a l v a r i a t i o n s i n v a r i o u s b a n d s
o f t h e v i s i b l e a n d / o r i n f r a r e d p o r t i o n o f a n e l e c t r o m a g n e t i c
s p e c t r u m , w h e r e a s t e x t u r a l f e a t u r e s c o n t a i n i n f o r m a t i o n
6 10
H ARALI CK e t a l .: TE XTU RAL F E ATU RE S F OR I MAGE CLASSI F I CATI ON
a b o u t t h e s p a t i a l d i s t r i b u t i o n o f t o n a l v a r i a t i o n s w i t h i n a
b a n d . Co n t e x t u a l f e a t u r e s c o n t a i n i n f o r m a t i o n d e r i v e d f r o m
b l o c k s o f p i c t o r i a l d a t a s u r r o u n d i n g t h e a r e a b e i n g a n a l y z e d .
Wh e n s m a l l i m a g e a r e a s f r o m b l a c k a n d w h i t e p h o t o g r a p h s
a r e i n d e p e n d e n t l y p r o c e s s e d b y a m a c h i n e , t h e n t e x t u r e a n d
t o n e a r e m o s t i m p o r t a n t .
Th e c o n c e p t o f t o n e i s b a s e d o n t h e v a r y i n g s h a d e s o f
g r a y o f r e s o l u t i o n c e l l s i n a p h o t o g r a p h i c i m a g e , w h i l e
t e x t u r e i s c o n c e r n e d w i t h t h e s p a t i a l ( s t a t i s t i c a l ) d i s t r i b u t i o n
o f g r a y t o n e s . Te x t u r e a n d t o n e a r e n o t i n d e p e n d e n t c o n -
c e p t s ; r a t h e r , t h e y b e a r a n i n e x t r i c a b l e r e l a t i o n s h i p t o o n e
a n o t h e r v e r y m u c h l i k e t h e r e l a t i o n s h i p b e t w e e n a p a r t i c l e
a n d a w a v e . Co n t e x t , t e x t u r e , a n d t o n e a r e a l w a y s p r e s e n t i n
t h e i m a g e , a l t h o u g h a t t i m e s o n e p r o p e r t y c a n d o m i n a t e t h e
o t h e r .
Te x t u r e c a n b e e v a l u a t e d a s b e i n g f i n e , c o a r s e , o r s m o o t h ;
r i p p l e d , m o l l e d , i r r e g u l a r , o r l i n e a t e d . F o r e x a m p l e , i n t h e
h u m i d t r o p i c s , f i n e t e x t u r e o n r a d a r i m a g e r y c a n b e i n -
d i c a t i v e o f n o n r e s i s t a n t f i n e - g r a i n s e d i m e n t a r y r o c k s a n d
u n c o n s o l i d a t e d s e d i m e n t s , w h i l e a c o a r s e t e x t u r e c a n b e
i n d i c a t i v e o f c o a r s e r g r a i n e d s e d i m e n t a r y r o c k s . A m a s s i v e
t e x t u r e w i t h h i g h - c o n t r a s t c o m p o n e n t s m a y b e i n d i c a t i v e o f
i g n e o u s r o c k s . A h u m m o c k y t e x t u r e c a n b e i n d i c a t i v e o f
e r o d e d i g n e o u s r o c k s .
Te x t u r e i s a n i n n a t e p r o p e r t y o f v i r t u a l l y a l l s u r f a c e s -
t h e g r a i n o f w o o d , t h e w e a v e o f a f a b r i c , t h e p a t t e r n o f
c r o p s i n a f i e l d , e t c . I t c o n t a i n s i m p o r t a n t i n f o r m a t i o n
a b o u t t h e s t r u c t u r a l a r r a n g e m e n t o f s u r f a c e s a n d t h e i r
r e l a t i o n s h i p t o t h e s u r r o u n d i n g e n v i r o n m e n t . Al t h o u g h i t
i s q u i t e e a s y f o r h u m a n o b s e r v e r s t o r e c o g n i z e a n d d e s c r i b e
i n e m p i r i c a l t e r m s , t e x t u r e h a s b e e n e x t r e m e l y r e f r a c t o r y t o
p r e c i s e d e f i n i t i o n a n d t o a n a l y s i s b y d i g i t a l c o m p u t e r s .
Si n c e t h e t e x t u r a l p r o p e r t i e s o f i m a g e s a p p e a r t o c a r r y
u s e f u l i n f o r m a t i o n f o r d i s c r i m i n a t i o n p u r p o s e s , i t i s i m -
p o r t a n t t o d e v e l o p f e a t u r e s f o r t e x t u r e . We p r e s e n t i n t h i s
p a p e r a c o m p u t a t i o n a l l y q u i c k p r o c e d u r e f o r e x t r a c t i n g
t e x t u r a l f e a t u r e s o f i m a g e s a n d d i s c u s s t h e u s e f u l n e s s o f
t h e s e f e a t u r e s f o r d i s c r i m i n a t i n g b e t w e e n d i f f e r e n t k i n d s o f
i m a g e d a t a .
E a r l y i m a g e t e x t u r e s t u d i e s h a v e e m p l o y e d a u t o c o r r e l a -
t i o n f u n c t i o n s [ 3 ] , p o w e r s p e c t r a [ 4 ] , r e s t r i c t e d f i r s t - a n d
s e c o n d - o r d e r Ma r k o v m e s h e s [ 5 ] , a n d r e l a t i v e f r e q u e n c i e s
o f v a r i o u s g r a y l e v e l s o n t h e u n n o r m a l i z e d i m a g e [ 6 ] .
Th e s e h a d s o m e d e g r e e o f s u c c e s s , b u t w e k n o w l i t t l e m o r e
a b o u t t e x t u r e a f t e r f i n d i n g t h e r e s u l t s o f t h e s e e x p e r i m e n t s
t h a n b e f o r e b e c a u s e t h e y d i d n o t t r y t o s p e c i f i c a l l y d e f i n e ,
c h a r a c t e r i z e , o r m o d e l t e x t u r e . Th e y o n l y u s e d s o m e g e n e r a l
m a t h e m a t i c a l t r a n s f o r m a t i o n w h i c h a s s i g n s n u m b e r s t o t h e
t r a n s f o r m e d i m a g e i n a n o n s p e c i f i c w a y .
Re c e n t a t t e m p t s t o e x t r a c t t e x t u r a l f e a t u r e s h a v e b e e n
l i m i t e d t o d e v e l o p i n g a l g o r i t h m s f o r e x t r a c t i n g s p e c i f i c
i m a g e p r o p e r t i e s s u c h a s c o a r s e n e s s a n d p r e s e n c e o f e d g e s .
Ma n y s u c h a l g o r i t h m s h a v e b e e n d e v e l o p e d a n d t r i e d o n
s p e c i a l i m a g e r y . Th e s u b j e c t i v e p a r a m e t e r s ( s u c h a s t h e
s e l e c t i o n o f t h r e s h o l d s ) a s s o c i a t e d w i t h t h e t e c h n i q u e s d o
n o t e n a b l e t h e m t o b e g e n e r a l i z e d t o i m a g e r y o t h e r t h a n
t h a t p r o c e s s e d b y t h e a u t h o r s . Re c e n t l y , Ro s e n f e l d a n d h i s
c o i n v e s t i g a t o r s p r e s e n t e d a s e t o f p r o c e d u r e s f o r e x t r a c t i n g
s o m e t e x t u r a l p r o p e r t i e s o f p i c t o r i a l d a t a [ 7] - [ 9] . I n [ 7]
Ro s e n f e l d a n d Tr o y d e s c r i b e d a p r o c e d u r e f o r o b t a i n i n g a
m e a s u r e o f t h e t e x t u r e "c o a r s e n e s s " o f i m a g e s . Th e i r p r o -
c e d u r e s w e r e b a s e d o n t h e d i f f e r e n c e s b e t w e e n t h e g r a y - t o n e
v a l u e s o f a d j a c e n t i m a g e e l e m e n t s a n d o n t h e a u t o c o r r e l a -
t i o n o f t h e i m a g e g r a y - t o n e v a l u e s . I n [ 8 ] Ro s e n f e l d a n d
Th u r s t o n g a v e a p r o c e d u r e f o r d e t e c t i n g b o u n d a r i e s s e p a r a t -
i n g r e g i o n s w h i c h d i f f e r i n t e x t u r e c o a r s e n e s s . I n [ 9] Tr o y
e t a l . d e s c r i b e d g r a y - l e v e l m a n i p u l a t i o n p r o c e d u r e s w h i c h
c a n b e u s e d f o r p r e p r o c e s s i n g o f p i c t u r e s b e f o r e a p p l y i n g
t h e a l g o r i t h m s g i v e n i n [ 7] a n d [ 8 ] . P r o c e d u r e s f o r d e t e c t i n g
t e x t u r a l p r o p e r t i e s s u c h a s l i n e s a n d d o t s h a v e a l s o b e e n
s u g g e s t e d b y o t h e r i n v e s t i g a t o r s ( s e e , f o r e x a m p l e , [ 10 ] -
[ 12 ] ) . B e f o r e a p p l y i n g t h e s e p r o c e d u r e s t o p i c t u r e s o t h e r
t h a n t h e o n e s p r o c e s s e d b y t h e a u t h o r s o f t h e r e s p e c t i v e
p a p e r s , t h e i n v e s t i g a t o r h a s t o m a k e a c h o i c e a s t o t h e
m e t h o d a p p r o p r i a t e t o t h e p i c t u r e i n q u e s t i o n a s w e l l a s t h e
s e l e c t i o n o f p a r a m e t e r s f o r t h e p a r t i c u l a r m e t h o d .
We a r e p r e s e n t i n g i n t h i s p a p e r a g e n e r a l p r o c e d u r e f o r
e x t r a c t i n g t e x t u r a l p r o p e r t i e s o f b l o c k s o f i m a g e d a t a . Th e s e
f e a t u r e s a r e c a l c u l a t e d i n t h e s p a t i a l d o m a i n , a n d t h e
s t a t i s t i c a l n a t u r e o f t e x t u r e i s t a k e n i n t o a c c o u n t i n o u r
p r o c e d u r e , w h i c h i s b a s e d o n t h e a s s u m p t i o n t h a t t h e t e x -
t u r e i n f o r m a t i o n i n a n i m a g e I i s c o n t a i n e d i n t h e o v e r a l l
o r "a v e r a g e " s p a t i a l r e l a t i o n s h i p w h i c h t h e g r a y t o n e s i n
t h e i m a g e h a v e t o o n e a n o t h e r . We c o m p u t e a s e t o f g r a y -
t o n e s p a t i a l - d e p e n d e n c e p r o b a b i l i t y - d i s t r i b u t i o n m a t r i c e s
f o r a g i v e n i m a g e b l o c k a n d s u g g e s t a s e t o f 14 t e x t u r a l
f e a t u r e s w h i c h c a n b e e x t r a c t e d f r o m e a c h o f t h e s e m a t r i c e s .
Th e s e f e a t u r e s c o n t a i n i n f o r m a t i o n a b o u t s u c h i m a g e t e x -
t u r a l c h a r a c t e r i s t i c s a s h o m o g e n e i t y , g r a y - t o n e l i n e a r d e -
p e n d e n c i e s ( l i n e a r s t r u c t u r e ) , c o n t r a s t , n u m b e r a n d n a t u r e
o f b o u n d a r i e s p r e s e n t , a n d t h e c o m p l e x i t y o f t h e i m a g e . I t
i s i m p o r t a n t t o n o t e t h a t t h e n u m b e r o f o p e r a t i o n s r e q u i r e d
t o c o m p u t e a n y o n e o f t h e s e f e a t u r e s i s p r o p o r t i o n a l t o t h e
n u m b e r o f r e s o l u t i o n c e l l s i n t h e i m a g e b l o c k . I t i s f o r t h i s
r e a s o n t h a t w e c a l l t h e s e f e a t u r e s q u i c k l y c o m p u t a b l e .
We a l s o i n v e s t i g a t e t h e u s e f u l n e s s o f t e x t u r a l f e a t u r e s f o r
c a t e g o r i z i n g o r c l a s s i f y i n g i m a g e b l o c k s f r o m t h r e e d i f f e r e n t
d a t a s e t s r a n g i n g f r o m h i g h - r e s o l u t i o n p h o t o m i c r o g r a p h s
t o l o w - r e s o l u t i o n s a t e l l i t e i m a g e r y . Th e a c c u r a c y o f c l a s -
s i f i c a t i o n o n m u l t i c l a s s c a t e g o r i z a t i o n u s i n g t e x t u r a l f e a t u r e s
o f t h e s e d a t a s e t s w a s i n t h e r a n g e o f 8 0 - 90 p e r c e n t .
I I . TE XTU RAL F E ATU RE S
Ou r i n i t i a l p e r s p e c t i v e o f t e x t u r e a n d t o n e i s b a s e d o n
t h e c o n c e p t t h a t t e x t u r e a n d t o n e b e a r a n i n e x t r i c a b l e
r e l a t i o n s h i p t o o n e a n o t h e r . To n e a n d t e x t u r e a r e a l w a y s
p r e s e n t i n a n i m a g e , a l t h o u g h o n e p r o p e r t y c a n d o m i n a t e
t h e o t h e r a t t i m e s . Th e b a s i c i n t u i t i v e l y p e r c e i v e d r e l a t i o n -
s h i p s b e t w e e n t o n e a n d t e x t u r e a r e t h e f o l l o w i n g . Wh e n a
s m a l l - a r e a p a t c h o f a n i m a g e h a s l i t t l e v a r i a t i o n - i .e ., l i t t l e
v a r i a t i o n o f f e a t u r e s o f d i s c r e t e g r a y t o n e - t h e d o m i n a n t
p r o p e r t y o f t h a t a r e a i s t o n e . Wh e n a s m a l l - a r e a p a t c h h a s
a w i d e v a r i a t i o n o f f e a t u r e s o f d i s c r e t e g r a y t o n e , t h e
d o m i n a n t p r o p e r t y o f t h a t a r e a i s t e x t u r e . Cr u c i a l t o t h i s
d i s t i n c t i o n a r e t h e s i z e o f t h e s m a l l - a r e a p a t c h , t h e r e l a t i v e
s i z e s o f t h e d i s c r e t e f e a t u r e s , a n d t h e n u m b e r o f d i s t i n -
g u i s h a b l e d i s c r e t e f e a t u r e s . As t h e n u m b e r o f d i s t i n g u i s h a b l e
t o n a l d i s c r e t e f e a t u r e s d e c r e a s e s , t h e t o n a l p r o p e r t i e s w i l l
6 11
I E E E TRANSACTI ONS ON SYSTE MS, MAN, AND CYB E RNE TI CS, NOVE MB E R 1973
p r e d o m i n a t e . I n f a c t , w h e n t h e s m a l l - a r e a p a t c h i s o n l y t h e
s i z e o f o n e r e s o l u t i o n c e l l , s o t h a t t h e r e i s o n l y o n e d i s c r e t e
f e a t u r e , t h e o n l y p r o p e r t y p r e s e n t i s t o n e . As t h e n u m b e r o f
d i s t i n g u i s h a b l e f e a t u r e s o f d i s c r e t e g r a y t o n e i n c r e a s e s
w i t h i n t h e s m a l l - a r e a p a t c h , t h e t e x t u r e p r o p e r t y w i l l
d o m i n a t e .
On e i m p o r t a n t p r o p e r t y o f t o n e - t e x t u r e i s t h e s p a t i a l
p a t t e r n o f t h e r e s o l u t i o n c e l l s c o m p o s i n g e a c h d i s c r e t e
t o n a l f e a t u r e . Wh e n t h e r e i s n o s p a t i a l p a t t e r n a n d t h e
g r a y - t o n e v a r i a t i o n b e t w e e n f e a t u r e s i s w i d e , a f i n e t e x t u r e
r e s u l t s . As t h e s p a t i a l p a t t e r n b e c o m e s m o r e d e f i n i t e a n d
i n v o l v e s m o r e a n d m o r e r e s o l u t i o n c e l l s , a c o a r s e r t e x t u r e
r e s u l t s . An e x c e l l e n t s e t o f p h o t o g r a p h s o f d i f f e r e n t t y p e s
o f t e x t u r e m a y b e f o u n d i n [ 13 ] .
Th e p r e c e d i n g d e s c r i p t i o n o f t e x t u r e i s , o f c o u r s e , a g r o s s
s i m p l i f i c a t i o n a n d i d e a l i z a t i o n o f w h a t a c t u a l l y o c c u r s .
Di s c r e t e t o n a l f e a t u r e s a r e r e a l l y q u i t e f u z z y i n t h a t t h e y d o
n o t n e c e s s a r i l y s t a n d o u t a s e n t i t i e s b y t h e m s e l v e s . Th e r e -
f o r e t h e t e x t u r e a n a l y s i s w e s u g g e s t i s c o n c e r n e d w i t h m o r e
g e n e r a l o r m a c r o s c o p i c c o n c e p t s t h a n d i s c r e t e t o n a l f e a t u r e s .
Th e p r o c e d u r e w e s u g g e s t f o r o b t a i n i n g t h e t e x t u r a l
f e a t u r e s o f a n i m a g e i s b a s e d o n t h e a s s u m p t i o n t h a t t h e
t e x t u r e i n f o r m a t i o n o n a n i m a g e I i s c o n t a i n e d i n t h e o v e r a l l
o r "a v e r a g e " s p a t i a l r e l a t i o n s h i p w h i c h t h e g r a y t o n e s i n
t h e i m a g e I h a v e t o o n e a n o t h e r . Mo r e s p e c i f i c a l l y , w e s h a l l
a s s u m e t h a t t h i s t e x t u r e i n f o r m a t i o n i s a d e q u a t e l y s p e c i f i e d
b y a s e t o f g r a y - t o n e s p a t i a l - d e p e n d e n c e m a t r i c e s w h i c h a r e
c o m p u t e d f o r v a r i o u s a n g u l a r r e l a t i o n s h i p s a n d d i s t a n c e s
b e t w e e n n e i g h b o r i n g r e s o l u t i o n c e l l p a i r s o n t h e i m a g e . Al l
o f o u r t e x t u r a l f e a t u r e s a r e d e r i v e d f r o m t h e s e a n g u l a r
n e a r e s t - n e i g h b o r g r a y - t o n e s p a t i a l - d e p e n d e n c e m a t r i c e s .
Gr a y - To n e Sp a t i a l - De p e n d e n c e Ma t r i c e s
Su p p o s e a n i m a g e t o b e a n a l y z e d i s r e c t a n g u l a r a n d h a s
N.
r e s o l u t i o n c e l l s i n t h e h o r i z o n t a l d i r e c t i o n a n d
N,
r e s o l u t i o n c e l l s i n t h e v e r t i c a l d i r e c t i o n . Su p p o s e t h a t t h e
g r a y t o n e a p p e a r i n g i n e a c h r e s o l u t i o n c e l l i s q u a n t i z e d ' t o
Ng l e v e l s . Le t
Lx
=
{ 1,2 , ,Nx }
b e t h e h o r i z o n t a l s p a t i a l
d o m a i n ,
Ly
=
{ 1,2 ,.
,NY}
b e t h e v e r t i c a l s p a t i a l d o m a i n ,
a n d G =
{ 1,2 , .
* ,Ng J
b e t h e s e t o f Ng q u a n t i z e d g r a y
t o n e s . Th e s e t
Ly
x
Lx
i s t h e s e t o f r e s o l u t i o n c e l l s o f t h e
i m a g e o r d e r e d b y t h e i r r o w - c o l u m n d e s i g n a t i o n s . Th e i m a g e
I c a n b e r e p r e s e n t e d a s a f u n c t i o n w h i c h a s s i g n s s o m e g r a y
t o n e i n G t o e a c h r e s o l u t i o n c e l l o r p a i r o f c o o r d i n a t e s i n
Ly
x
Lx ;
I :
Ly
x
Lx
- + G.
An e s s e n t i a l c o m p o n e n t o f o u r c o n c e p t u a l f r a m e w o r k o f
t e x t u r e i s a m e a s u r e , o r m o r e p r e c i s e l y , f o u r c l o s e l y r e l a t e d
m e a s u r e s f r o m w h i c h a l l o f o u r t e x t u r e f e a t u r e s a r e d e r i v e d .
Th e s e m e a s u r e s a r e a r r a y s t e r m e d a n g u l a r n e a r e s t - n e i g h b o r
g r a y - t o n e s p a t i a l - d e p e n d e n c e m a t r i c e s , a n d t o d e s c r i b e
t h e s e a r r a y s w e m u s t e m p h a s i z e o u r n o t i o n o f a d j a c e n t o r
1 Va r i a t i o n s i n l i g h t i n g , l e n s , f i l m , d e v e l o p e r , a n d d i g i t i z e r u s u a l l y
i n t r o d u c e m o n o t o n i c t r a n s f o r m a t i o n s o f t h e "t r u e " i m a g e g r a y - t o n e
v a l u e s . U n d e r t h e s e c o n d i t i o n s , w e w o u l d w a n t t w o i m a g e s o f t h e s a m e
s c e n e , o n e b e i n g a g r a y - t o n e m o n o t o n i c t r a n s f o r m a t i o n o f t h e o t h e r
t o p r o d u c e t h e s a m e f e a t u r e s . I m a g e n o r m a l i z a t i o n b y e q u a l - p r o b -
a b i l i t y q u a n t i z i n g g u a r a n t e e s t h a t i m a g e s w h i c h a r e m o n o t o n i c t r a n s -
f o r m a t i o n s o f o n e a n o t h e r p r o d u c e t h e s a m e r e s u l t s [ 14 ] , [ 15 ] . An
e q u a l - p r o b a b i l i t y q u a n t i z i n g a l g o r i t h m i s g i v e n i n Ap p e n d i x I I I .
90 d e g r e e s
13 5 d e g r e e s 4 5 d e g r e e s
6 7 8
5 Od e g r e e s
4 3 1 2
F i g . 1. Re s o l u t i o n c e l l s 1 a n d 5 a r e O ( h o r i z o n t a l ) n e a r e s t n e i g h b o r s
t o r e s o l u t i o n c e l l * ; r e s o l u t i o n c e l l s 2 a n d 6 a r e 13 5 0 n e a r e s t n e i g h -
b o r s ; r e s o l u t i o n c e l l s 3 a n d 7 a r e 90 n e a r e s t n e i g h b o r s ; a n d r e s o l u -
t i o n c e l l s 4 a n d 8 a r e 4 5 0 n e a r e s t n e i g h b o r s t o * . ( No t e t h i s i n f o r m a -
t i o n i s p u r e l y s p a t i a l , a n d h a s n o t h i n g t o d o w i t h g r a y - t o n e v a l u e s .)
n e a r e s t - n e i g h b o r r e s o l u t i o n c e l l s t h e m s e l v e s . We c o n s i d e r a
r e s o l u t i o n c e l l - e x c l u d i n g t h o s e o n t h e p e r i p h e r y o f a n
i m a g e , e t c .- t o h a v e e i g h t n e a r e s t - n e i g h b o r r e s o l u t i o n c e l l s
a s i n F i g . 1.
We a s s u m e t h a t t h e t e x t u r e - c o n t e x t i n f o r m a t i o n i n a n
i m a g e I i s c o n t a i n e d i n t h e o v e r a l l o r "a v e r a g e " s p a t i a l
r e l a t i o n s h i p w h i c h t h e g r a y t o n e s i n i m a g e I h a v e t o o n e
a n o t h e r . Mo r e s p e c i f i c a l l y , w e s h a l l a s s u m e t h a t t h i s t e x -
t u r e - c o n t e x t i n f o r m a t i o n i s a d e q u a t e l y s p e c i f i e d b y t h e
m a t r i x o f r e l a t i v e f r e q u e n c i e s
P i j
w i t h w h i c h t w o n e i g h b o r -
i n g r e s o l u t i o n c e l l s s e p a r a t e d b y d i s t a n c e d o c c u r o n t h e
i m a g e , o n e w i t h g r a y t o n e i a n d t h e o t h e r w i t h g r a y t o n e
j .
Su c h m a t r i c e s o f g r a y - t o n e s p a t i a l - d e p e n d e n c e f r e q u e n c i e s
a r e a f u n c t i o n o f t h e a n g u l a r r e l a t i o n s h i p b e t w e e n t h e
n e i g h b o r i n g r e s o l u t i o n c e l l s a s w e l l a s a f u n c t i o n o f t h e
d i s t a n c e b e t w e e n t h e m . F i g . 2 i l l u s t r a t e s t h e s e t o f a l l
h o r i z o n t a l n e i g h b o r i n g r e s o l u t i o n c e l l s s e p a r a t e d b y d i s t a n c e
1. Th i s s e t , a l o n g w i t h t h e i m a g e g r a y t o n e s , w o u l d b e u s e d
t o c a l c u l a t e a d i s t a n c e 1 h o r i z o n t a l g r a y - t o n e s p a t i a l - d e -
p e n d e n c e m a t r i x . F o r m a l l y , f o r a n g l e s q u a n t i z e d t o 4 5 0
i n t e r v a l s t h e u n n o r m a l i z e d f r e q u e n c i e s a r e d e f i n e d b y
P ( i ,j ,d ,0 0 )
=
# { ( ( k ,l ) ,( m ,n ) ) e
( Ly
x
Lx )
x
( Ly
x
Lx )
k - m =
0 ,11 - n
=d ,
I ( k ,l ) = i , I ( m ,n ) =
i l
P ( i ,j ,d ,4 5 0 )
=
# { ( ( k ,l ) ,( m ,n ) )
e
( Ly
x
Lx )
x
( Ly x Lx ) I ( k - m
= d ,l - n =- d )
o r ( k - m = - d ,l - n
=d ) ,
I ( k ,l ) = i , I ( m ,n ) = j }
P ( i ,j ,d ,90 0 ) = # { ( ( k ,l ) ,( m ,n ) )
e
( Ly
x
Lx )
x
( Ly x Lx ) I k -
m I
=
d ,
I - n = 0 ,I ( k ,l ) =i ,I ( m ,n ) =j }
P ( i ,j ,d ,13 5 0 ) = # { ( ( k ,l ) ,( m ,n ) ) e
( Ly
x
Lx )
x
( Ly
x
Lx ) ( k - m = d , l - n = d )
o r ( k - m = - d , l - n = - d ) ,
I ( k ,l )
=
i , I ( m ,n )
=
j } ( 1)
w h e r e # d e n o t e s t h e n u m b e r o f e l e m e n t s i n t h e s e t .
No t e t h a t t h e s e m a t r i c e s a r e s y m m e t r i c ; P ( i ,j ; d , a )
=
P ( j , i ; d , a ) . Th e d i s t a n c e m e t r i c p i m p l i c i t
i n t h e
p r e c e d i n g
6 t 2
H ARALI CK e t a l .: TE XTU RAL F E ATU RE S F OR I MAGE CLASSI F I CATI ON
( 1, 1) ( 1,2 ) ( 1,3 ) ( 1,4 )
( 2 ,1) ( 2 ,2 ) ( 2 ,3 ) ( 2 ,4 )
( 3 ,1) ( 3 ,2 ) ( 3 ,3 ) ( 3 ,4 )
( 4 ,1) ( 4 ,2 ) ( 4 ,3 ) ( 4 ,4
L = 1,2 ,3 ,4 6
Lx
=
11,2 ,3 ,4 )
RH = { k ,l ) ,( m ,n ) ) E ( L
x Lx
x
( L x L) k - m r 0 , j 1- n l = 1)
~ ~ { l ( 1,1) ,( 1,2
( ( I , ( 12 ) , ( I ,
I ,
( ( I
,2 ) , ( 1,
3 ) ) ,
( ( I , 3 ) , ( 1, 2 ) ) ,
( ( 1,3 ) ,( 1,4 ) ) ,
1
t 4 ) , ( 1, 3 ) ) , ( ( 2 ,1) ,( 2 ,2 ) ) , ( ( 2 ,2 ) ,( 2 ,1) } ,
( ( 2 ,2 ) ,( 2 ,3 ( ) , ( ( 2 ,3 ) ,( 2 ,2 ) ) ( ( 2 ,3 ) ,( 2 ,4 ) ) , ( ( 2 ,4 ) , ( 2 ,3 ) )
[ ( 3 ,1) , ( 3 ,2 ) ) , ( ( 3 , 2 ) ,' ( 3 , 1) ( ( 3 , 2 ) ' ( 3 , 3 ) ) , ( ( 3 ,3 ) , ( 3 ,2 ) ) ,
( ( 3 ,3 ) ,( 3 ,4 1
, f ( 3 ,4 ) ,( 3 ,3 J , ( ( 4 ,1) ,( 4 ,2 1 , ( ( 4 ,2 ) ,( 4 ,1) | r
1( 4 ,2 ) ,( 4 ,3 ) 1, t 4 , 3 ) , ( 4 , 2
1, ( ( 4 ,3 ) , ( 4 ,4 ) ) , ( ( 4 ,4 ) ,
( 4 ,3 ) ) )
F i g . 2 . Se t o f a l l d i s t a n c e 1 h o r i z o n t a l n e i g h b o r i n g r e s o l u t i o n c e l l s
o n 4 x 4 i m a g e .
e q u a t i o n s c a n b e e x p l i c i t l y d e f i n e d b y
p ( ( k ,l ) ,( m ,n ) ) = m a x
{ l k
-
m l , 11
- n l } .
Co n s i d e r F i g . 3 ( a ) , w h i c h r e p r e s e n t s a 4 x 4 i m a g e w i t h
f o u r g r a y t o n e s , r a n g i n g f r o m 0 t o 3 . F i g . 3 ( b ) s h o w s t h e
g e n e r a l f o r m o f a n y g r a y - t o n e s p a t i a l - d e p e n d e n c e m a t r i x .
F o r e x a m p l e , t h e e l e m e n t i n t h e ( 2 ,1) p o s i t i o n o f t h e
d i s t a n c e 1 h o r i z o n t a l P H m a t r i x i s t h e t o t a l n u m b e r o f t i m e s
t w o g r a y t o n e s o f v a l u e 2 a n d 1 o c c u r r e d h o r i z o n t a l l y
a d j a c e n t t o e a c h o t h e r . To d e t e r m i n e t h i s n u m b e r , w e c o u n t
t h e n u m b e r o f p a i r s o f r e s o l u t i o n c e l l s i n RH s u c h t h a t t h e
f i r s t r e s o l u t i o n c e l l o f t h e p a i r h a s g r a y t o n e 2 a n d t h e
s e c o n d r e s o l u t i o n c e l l o f t h e p a i r h a s g r a y t o n e 1. I n F i g .
3 ( c ) - 3 ( f ) w e c a l c u l a t e a l l f o u r d i s t a n c e 1 g r a y - t o n e s p a t i a l -
d e p e n d e n c e m a t r i c e s .
I f n e e d e d , t h e a p p r o p r i a t e f r e q u e n c y n o r m a l i z a t i o n s f o r
t h e m a t r i c e s a r e e a s i l y c o m p u t e d . Wh e n t h e r e l a t i o n s h i p i s
n e a r e s t h o r i z o n t a l n e i g h b o r ( d
=
1, a = 0 ) , t h e r e w i l l b e
2 ( N - 1) n e i g h b o r i n g r e s o l u t i o n c e l l p a i r s o n e a c h r o w
a n d t h e r e a r e
N,
r o w s , p r o v i d i n g a t o t a l o f
2 NY( N
- 1)
n e a r e s t h o r i z o n t a l n e i g h b o r p a i r s ( s e e F i g . 3 ) . Wh e n t h e
r e l a t i o n s h i p i s n e a r e s t r i g h t - d i a g o n a l n e i g h b o r ( d
=
1,
a = 4 5 0 ) t h e r e w i l l b e 2 ( NX - 1) 4 5 0 n e i g h b o r i n g r e s o l u t i o n
c e l l p a i r s f o r e a c h r o w e x c e p t t h e f i r s t , f o r w h i c h t h e r e a r e
n o n e , a n d t h e r e a r e
Ny
r o w s . Th i s p r o v i d e s a t o t a l o f
2 ( NY
- l ) ( NX - 1) n e a r e s t r i g h t - d i a g o n a l n e i g h b o r p a i r s .
B y s y m m e t r y t h e r e w i l l b e 2 N - ( N- 1) n e a r e s t v e r t i c a l
n e i g h b o r p a i r s a n d 2 ( NX
-
I ) ( Ny
- 1) n e a r e s t l e f t - d i a g o n a l
n e i g h b o r p a i r s . Af t e r t h e n u m b e r o f n e i g h b o r i n g r e s o l u t i o n
c e l l p a i r s R u s e d i n c o m p u t i n g a p a r t i c u l a r g r a y - t o n e
s p a t i a l - d e p e n d e n c e m a t r i x i s o b t a i n e d , t h e m a t r i x i s
n o r m a l i z e d b y d i v i d i n g e a c h e n t r y i n t h e m a t r i x b y R.
I t i s a p p r o p r i a t e a t t h i s p o i n t t o c o m m e n t o n t h e c o m -
p u t a t i o n a l a s p e c t s o f o b t a i n i n g t h e g r a y - t o n e s p a t i a l - d e -
p e n d e n c e m a t r i c e s . Th e n u m b e r o f o p e r a t i o n s r e q u i r e d t o
p r o c e s s a n i m a g e u s i n g o u r p r o c e d u r e i s d i r e c t l y p r o p o r -
t i o n a l t o t h e n u m b e r o f r e s o l u t i o n c e l l s n p r e s e n t i n t h e
i m a g e . I n c o m p a r i s o n , t h e n u m b e r o f o p e r a t i o n s a r e o f t h e
o r d e r o f n l o g n i f o n e w i s h e s t o u s e F o u r i e r o r H a d a m a r d
t r a n s f o r m t o e x t r a c t t e x t u r e i n f o r m a t i o n . Al s o , t o c o m p u t e
t h e e n t r i e s i n t h e g r a y - t o n e s p a t i a l - d e p e n d e n c e m a t r i c e s ,
o n e n e e d s t o k e e p o n l y t w o l i n e s o f i m a g e d a t a i n c o r e a t a
t i m e . Th u s n o s e v e r e s t o r a g e c o n s t r a i n t s a r e i m p o s e d . F o r
I o I
I
f I
( a )
Oo0 2
2 4
p H =I 0
O O
1
0
6
1
o \
0 1
2 1
( c )
1 3 0
13 1 2 1 0
P LD 3 l 0 2
0 0 2 0
Gr e y
To n e
O 1 2 3
0 # ( 0 ,0 ) # ( 0 ,l ) # ( 0 ,2 ) # ( 0 ,3 )
Gr e y 2 # ( 2 ,0 ) # ( 2 ,1) # ( 2 ,2 ) # ( 2 ,3 )
To n e
3 # ( 3 ,0 ) # ( 3 ,l ) ( 3 ,2 ) # ( 3 ,3 )
( b )
90
6 0 2
0
0 4 2 0
I V 2 2 2 2
0 2 0 /
( d )

4 1
o o 0 4 5
1 2 2 0 1
RD 0 2 4 1
O 0 1 0
( e ) ( f )
F i g . 3 . ( a ) 4 x 4 i m a g e w i t h f o u r g r a y - t o n e v a l u e s 0 - 3 . ( b ) Ge n e r a l
f o r m o f a n y g r a y - t o n e s p a t i a l - d e p e n d e n c e m a t r i x f o r i m a g e w i t h
g r a y - t o n e v a l u e s 0 - 3 . # ( i ,j ,) s t a n d s f o r n u m b e r o f t i m e s g r a y t o n e s
i a n d j h a v e b e e n n e i g h b o r s . ( c ) - ( f ) Ca l c u l a t i o n o f a l l f o u r d i s t a n c e
1 g r a y - t o n e s p a t i a l - d e p e n d e n c e m a t r i c e s .
m o s t o f t h e i m a g e s w e h a v e p r o c e s s e d , t h e c o m p u t a t i o n s
h a v e b e e n c a r r i e d o u t o n a s m a l l d i g i t a l c o m p u t e r ( P DP
15 / 2 0 w i t h 12 k w o r d s o f c o r e a n d t w o DE C t a p e d r i v e s ) .
Te x t u r a l F e a t u r e s E x t r a c t e d f r o m Gr a y - To n e Sp a t i a l -
De p e n d e n c e Ma t r i c e s
Ou r i n i t i a l a s s u m p t i o n i n c h a r a c t e r i z i n g i m a g e t e x t u r e i s
t h a t a l l t h e t e x t u r e i n f o r m a t i o n i s c o n t a i n e d i n t h e g r a y - t o n e
s p a t i a l - d e p e n d e n c e m a t r i c e s . H e n c e a l l t h e t e x t u r a l f e a t u r e s
w e s u g g e s t a r e e x t r a c t e d f r o m t h e s e g r a y - t o n e s p a t i a l - d e -
p e n d e n c e m a t r i c e s . Th e e q u a t i o n s w h i c h d e f i n e a s e t o f 14
m e a s u r e s o f t e x t u r a l f e a t u r e s a r e g i v e n i n Ap p e n d i x I .
So m e o f t h e s e m e a s u r e s r e l a t e t o s p e c i f i c t e x t u r a l c h a r a c -
t e r i s t i c s o f t h e i m a g e s u c h a s h o m o g e n e i t y , c o n t r a s t , a n d
t h e p r e s e n c e o f o r g a n i z e d s t r u c t u r e w i t h i n t h e i m a g e . Ot h e r
m e a s u r e s c h a r a c t e r i z e t h e c o m p l e x i t y a n d n a t u r e o f g r a y -
t o n e t r a n s i t i o n s w h i c h o c c u r i n t h e i m a g e . E v e n t h o u g h
t h e s e f e a t u r e s c o n t a i n i n f o r m a t i o n a b o u t t h e t e x t u r a l
c h a r a c t e r i s t i c s o f t h e i m a g e , i t i s h a r d t o i d e n t i f y w h i c h
s p e c i f i c t e x t u r a l c h a r a c t e r i s t i c i s r e p r e s e n t e d b y e a c h o f
t h e s e f e a t u r e s .
F o r i l l u s t r a t i v e p u r p o s e s , w e w i l l d e f i n e 3 o f t h e 14
t e x t u r a l f e a t u r e s i n t h i s s e c t i o n a n d e x p l a i n t h e s i g n i f i c a n c e
o f t h e s e f e a t u r e s i n t e r m s o f t h e k i n d o f v a l u e s t h e y t a k e o n
f o r t w o i m a g e s o f d i s t i n c t l y d i f f e r e n t t e x t u r a l c h a r a c t e r i s t i c s
Th e f e a t u r e s w e c o n s i d e r a r e
Ng Ng / p ( i j f l \ 2
i =1 j =1 \ R
f 2 = E n 2
yE
n =O i i - j l =n R
Ng Ng
a , [ i j P ( i ,j ) I R] - u x l i y
f
i =1 j =l
a x 3 y
( 2 )
( 3 )
( 4 )
6 13
I E E E TRANSACTI ONS ON SYSTE MS, MAN, AND CYB E RNE TI CS, NOVE MB E R 1973
* - : , ' * : ' * ~ ~ ~ ~ ~ ~ . . .. - ,, ... ' i .
.
+ i .t o $ a 5 * *
....
..... . .................... ....
. .
. * ,, , , , - t - t - ' ' S- S......
.
...,5 5
2 . ; i , : . .. ........... . .
,., . ..: .0 l . ,l . ...
1 ; + S .. P * ? t r * ! t o S * ) s ........................ .l
r , , ,., ,q , ,., ; . Z * s . .......
..
,: i :S 5 ..: . .. ...... ......_ . . ... .t
J .5 - .: . ,* : , : : : i . . ...... .. .I
... .5 : 1
- ... ... .,...
4 .
_
I _,I f l t l I m .............,_
Co r r e l a t i o n
.8 0 75
.6 3 6 6
.5 98 7
.4 6 10
.6 2 5 9
ASM
.10 16
.0 771
.0 76 2
.0 74 1
.0 8 2 2
Wa t e r B o d y
Co n t r a s t
2 .15 3
3 .0 5 7
3 .113
3 .12 9
2 .8 6 3
( b )
Co r r e l a t i o n
.72 5 4
.4 76 8
.4 6 4 6
.4 6 5 0
.5 3 2 7
F i g . 4 . Te x t u r a l f e a t u r e s f o r t w o d i f f e r e n t l a n d - u s e c a t e g o r y i m a g e s .
w h e r e
p ., p ,
a .,
a n d
a ,
a r e t h e m e a n s a n d s t a n d a r d d e v i -
a t i o n s o f t h e m a r g i n a l d i s t r i b u t i o n s a s s o c i a t e d w i t h P ( i ,j ) / R,
a n d R i s a n o r m a l i z i n g c o n s t a n t .
F i g . 4 s h o w s t h e d i g i t a l p r i n t o u t o f t w o 6 4 x 6 4 i m a g e
b l o c k s t a k e n f r o m a s a t e l l i t e p i c t u r e o v e r t h e Ca l i f o r n i a
c o a s t l i n e ( NASA E RTS I m a g e n o . 10 0 2 - 18 13 4 ) . Th e i m a g e
s h o w n i n F i g . 4 ( a ) i s a r e p r e s e n t a t i v e s a m p l e o f g r a s s l a n d s
a n d F i g . 4 ( b ) i s a r e p r e s e n t a t i v e s a m p l e o f w a t e r b o d i e s i n
t h e a r e a . Th e v a l u e s o f t h e f e a t u r e s
f l ,
f 2 , a n d f 3 o b t a i n e d
f r o m g r a y - t o n e s p a t i a l - d e p e n d e n c e m a t r i c e s f o r d i s t a n c e
d
=
1, a r e s h o w n b e l o w t h e i m a g e s i n F i g . 4 .
Th e a n g u l a r s e c o n d - m o m e n t f e a t u r e ( ASM)
f ,
i s a
m e a s u r e o f h o m o g e n e i t y o f t h e i m a g e . I n a h o m o g e n e o u s
i m a g e , s u c h a s s h o w n i n F i g . 4 ( b ) , t h e r e a r e v e r y f e w d o m -
i n a n t g r a y - t o n e t r a n s i t i o n s . H e n c e t h e P m a t r i x f o r t h i s
i m a g e w i l l h a v e f e w e r e n t r i e s o f l a r g e m a g n i t u d e . F o r a n
i m a g e l i k e t h e o n e s h o w n i n F i g . 2 ( a ) , t h e P m a t r i x w i l l h a v e
a l a r g e n u m b e r o f s m a l l e n t r i e s , a n d h e n c e t h e ASM f e a t u r e
( w h i c h i s t h e s u m o f s q u a r e s o f t h e e n t r i e s ) i n t h e P m a t r i x
w i l l b e s m a l l e r . A c o m p a r i s o n o f t h e ASM v a l u e s g i v e n
b e l o w t h e i m a g e s i n F i g . 4 s h o w s t h e u s e f u l n e s s o f t h e ASM
f e a t u r e a s a m e a s u r e o f t h e h o m o g e n e i t y o f t h e i m a g e .
Th e c o n t r a s t f e a t u r e f 2 i s a d i f f e r e n c e m o m e n t o f t h e P
m a t r i x a n d i s a m e a s u r e o f t h e c o n t r a s t o r t h e a m o u n t o f
l o c a l v a r i a t i o n s p r e s e n t i n a n i m a g e . Si n c e t h e r e i s a l a r g e
a m o u n t o f l o c a l v a r i a t i o n p r e s e n t i n t h e i m a g e o f F i g . 4 ( a )
c o m p a r e d t o t h e i m a g e s h o w n i n F i g . 4 ( b ) , t h e c o n t r a s t
f e a t u r e f o r t h e g r a s s l a n d i m a g e h a s c o n s i s t e n t l y h i g h e r
v a l u e s c o m p a r e d t o t h e w a t e r - b o d y i m a g e .
Th e c o r r e l a t i o n f e a t u r e f 3 i s a m e a s u r e o f g r a y - t o n e
l i n e a r - d e p e n d e n c i e s i n t h e i m a g e . F o r b o t h t h e i m a g e s
s h o w n i n F i g . 4 , t h e c o r r e l a t i o n f e a t u r e i s s o m e w h a t h i g h e r
i n t h e h o r i z o n t a l ( 0 0 ) d i r e c t i o n , a l o n g t h e l i n e o f s c a n . Th e
w a t e r - b o d y i m a g e c o n s i s t s m o s t l y o f a c o n s t a n t g r a y - t o n e
v a l u e f o r t h e w a t e r p l u s s o m e a d d i t i v e n o i s e . Si n c e t h e n o i s e
s a m p l e s a r e m o s t l y u n c o r r e l a t e d , t h e c o r r e l a t i o n f e a t u r e s
f o r t h e w a t e r - b o d y i m a g e h a v e l o w e r v a l u e s c o m p a r e d t o
t h e g r a s s l a n d i m a g e . Al s o , t h e g r a s s l a n d i m a g e h a s a c o n -
s i d e r a b l e a m o u n t o f l i n e a r s t r u c t u r e a l o n g 4 5 0 l i n e s a c r o s s
t h e i m a g e , a n d h e n c e t h e v a l u e o f t h e c o r r e l a t i o n f e a t u r e i s
Gr a s s l a n d
An g l e
0
4 5 o
90 o
13 5 0
Av g .
ASM
.0 12 8
.0 0 8 0
.0 0 77
.0 0 6 4
.0 0 8 7
Co n t r a s t
3 .0 4 8
4 .0 11
4 .0 14
4 .70 9
3 .94 5
( a )
6 14
H ARAU CK e t a l .: TE XTU RAL F E ATU P RS F OR I MAGE CLASSF I CATI ON
h i g h e r a l o n g t h i s d i r e c t i o n c o m p a r e d t o t h e v a l u e s f o r 90 0
a n d 13 5 0 d i r e c t i o n s . Mo r e e x a m p l e s o f t h e s i g n i f i c a n c e o f
s o m e o f t h e t e x t u r a l f e a t u r e s a r e p r e s e n t e d i n Ap p e n d i x I I .
Th e v a r i o u s f e a t u r e s w h i c h w e s u g g e s t a r e a l l f u n c t i o n s
o f d i s t a n c e a n d a n g l e . Th e a n g u l a r d e p e n d e n c i e s p r e s e n t a
s p e c i a l p r o b l e m . Su p p o s e i m a g e A h a s f e a t u r e s a , b , c , a n d
d f o r a n g l e s 0 , 4 5 0 , 90 0 , a n d 13 5 0 , r e s p e c t i v e l y , a n d i m a g e
B i s i d e n t i c a l t o A e x c e p t t h a t B i s r o t a t e d 90 w i t h r e s p e c t
t o A. Th e n B w i l l h a v e f e a t u r e s c , d , a , a n d b f o r a n g l e s 0 0 ,
4 5 0 , 90 0 , a n d 13 5 0 , r e s p e c t i v e l y . Si n c e t h e t e x t u r e c o n t e x t o f
A i s t h e s a m e a s t h e t e x t u r e c o n t e x t o f B , a n y d e c i s i o n r u l e
u s i n g t h e a n g u l a r f e a t u r e s a ,b ,c ,d m u s t p r o d u c e t h e s a m e
r e s u l t s f o r c ,d ,a ,b . To g u a r a n t e e t h i s , w e s u g g e s t t h a t t h e
a n g u l a r l y d e p e n d e n t f e a t u r e s n o t b e u s e d d i r e c t l y . I n s t e a d
w e s u g g e s t t h a t t w o f u n c t i o n s o f a , b , c , a n d d , t h e i r a v e r a g e
a n d r a n g e ( w h i c h a r e i n v a r i a n t u n d e r r o t a t i o n ) , b e u s e d a s
i n p u t s t o t h e c l a s s i f i e r .
I I I . AP P LI CATI ONS OF TE XTU RAL F E ATU RE S F OR I MAGE
CLASSI F I CATI ON
I n t h i s s e c t i o n w e p r e s e n t t h e r e s u l t s o f o u r s t u d i e s o n
t h e u s e f u l n e s s o f t h e t e x t u r a l f e a t u r e s f o r c a t e g o r i z i n g
i m a g e s . Th r e e d a t a s e t s w e r e u s e d i n o u r s t u d y . Th e s e d a t a
s e t s w e r e e x t r a c t e d f r o m p h o t o m i c r o g r a p h s o f d i f f e r e n t
r o c k s , f r o m a e r i a l p h o t o g r a p h s o f m a n - m a d e a n d n a t u r a l
s c e n e s , a n d f r o m h i g h - a l t i t u d e s a t e l l i t e p i c t u r e s o f t h e e a r t h .
A b r i e f d e s c r i p t i o n o f t h e d a t a s e t s a n d c l a s s i f i c a t i o n a l -
g o r i t h m s u s e d a n d t h e r e s u l t s o f c l a s s i f i c a t i o n e x p e r i m e n t s
w i l l b e p r e s e n t e d . F o r f u r t h e r d e t a i l s t h e i n t e r e s t e d r e a d e r
i s r e f e r r e d t o [ 16 ] - [ 18 ] .
Da t a Se t De s c r i p t i o n
1) P h o t o m i c r o g r a p h s o f Sa n d s t o n e s : I d e n t i f i c a t i o n o f t h e
t y p e s o f r o c k s ( s a n d s t o n e s ) p r e s e n t i n a n u n d e r g r o u n d
r e s e r v o i r o f c r u d e o i l i s i m p o r t a n t i n p e t r o l e u m p r o d u c t i o n
s t u d i e s ; h e n c e w e u n d e r t o o k a s t u d y t o i d e n t i f y d i f f e r e n t
t y p e s o f r o c k s f r o m t h e t e x t u r a l c h a r a c t e r i s t i c s o f t h e i r
p h o t o m i c r o g r a p h s . Th e d a t a s e t c o n s i s t e d o f 2 4 3 i m a g e
b l o c k s o f s i z e 6 4 x 6 4 a n d t h e g r a y t o n e s o f t h e i m a g e s w e r e
e q u a l - p r o b a b i l i t y q u a n t i z e d i n t o 16 l e v e l s . De t a i l s o f t h e
a l g o r i t h m u s e d t o p e r f o r m t h i s q u a n t i z a t i o n a r e g i v e n i n
Ap p e n d i x I I I . Th e r e w e r e f i v e s a n d s t o n e c a t e g o r i e s i n t h e
d a t a s e t , a n d s a m p i e s o f t h e p h o t o m i c r o g r a p h s a r e s h o w n i n
F i g . 5 . Th e t e x t u r a l f e a t u r e s f o r t h e 2 4 3 s a m p l e s w e r e
c a l c u l a t e d f r o m d i s t a n c e 1 g r a y - t o n e s p a t i a l - d e p e n d e n c e
m a t r i c e s .
2 ) Ae r i a l P h o t o g r a p h i c Da t a Se t : Th i s d a t a s e t c o n s i s t e d
o f 170 i m a g e s b e l o n g i n g t o e i g h t c a t e g o r i e s . Th e s e 170
i m a g e s w e r e m a n u a l l y s a m p l e d f r o m 9 x 9- i n 1: 2 0 0 0 0
a e r i a l p h o t o g r a p h y n e g a t i v e s p r o v i d e d b y t h e Ar m y E n -
v i r o n m e n t a l To p o g r a p h i c La b o r a t o r i e s , F o r t B e l v o i r , Va .
[ 17] . Th e d i g i t i z a t i o n o f t h e s a m p l e d i m a g e s w a s d o n e o n
t h e I m a g e Di s c r i m i n a t i o n , E n h a n c e m e n t , a n d Co m b i n a t i o n
Sy s t e m ( I DE CS) / P DP . Th e I DE CS i s a n a n a l o g - d i g i t a l n e a r
r e a l - t i m e p r o c e s s i n g s y s t e m t h a t h a s b e e n d e v e l o p e d a t t h e
U n i v e r s i t y o f Ka n s a s Ce n t e r f o r Re s e a r c h , I n c . A P DP
( a ) ( b )
( c )
( d ) ( e )
F i g . 5 . Sa m p l e s o f p h o t o m i c r o g r a p h s o f s a n d s t o n e s . ( a ) De x t e r - L.
( b )
De x t e r - H .
( c ) St . P e t e r .
( d ) U p p e r Mu d d y . ( e )
Ga s k e l .
15 / 2 0 c o m p u t e r i s i n t e r f a c e d t o t h e I DE CS a n d t h e s y s t e m
i s c a p a b l e o f p e r f o r m i n g v a r i o u s f u n c t i o n s o f i m a g e p r o -
c e s s i n g [ 2 5 ] . Th e I DE CS i s c a p a b l e o f p r o c e s s i n g u p t o
f o u r i m a g e i n p u t s . Th r e e f l y i n g s p o t s c a n n e r s c a n i n p u t
t r a n s p a r e n c i e s u p t o a m a x i m u m s i z e o f 4 x 5 i n . A v i d i c o n
s c a n n e r a c c e p t s l a r g e r t r a n s p a r e n c i e s a s w e l l a s p r i n t e d
i m a g e s . Mu l t i - i m a g e i n p u t s a r e e l e c t r o n i c a l l y r e g i s t e r e d a n d
c o m b i n e d i n t o a f o r m a t m o r e s u i t a b l e f o r i n t e r p r e t a t i o n .
P r o c e s s e d i m a g e s a r e d i s p l a y e d o n a c o l o r d i s p l a y u n i t
a n d / o r a b l a c k a n d w h i t e m o n i t o r . A 2 4 - c h a n n e l d i s k i s
s y n c h r o n i z e d w i t h t h e s y s t e m a n d u s e d f o r s t o r a g e o f
p r o c e s s e d d i g i t a l i m a g e s . E i t h e r m a n u a l l y o r u n d e r c o m -
p u t e r c o n t r o l , t h e I DE CS/ P DP i s a b l e t o p e r f o r m i m a g e
e n h a n c e m e n t , v i d e o l e v e l s l i c i n g , a r e a i n t e g r a t i o n , c a t e g o r y
d i s c r i m i n a t i o n , d i s p l a y o f h i s t o g r a m s a n d s c a t o g r a m s ,
q u a n t i z i n g , a n d s i m i l a r i m a g e - p r o c e s s i n g o p e r a t i o n s . Th e
a l g o r i t h m u s e d f o r q u a n t i z i n g t h e a e r i a l p h o t o g r a p h i c d a t a
s e t d i g i t i z e d t h e i m a g e s i n t o e i g h t l e v e l s i n s u c h a w a y t h a t
t h e a r e a s o f t h e d i f f e r e n t l e v e l s ( i n e a c h i m a g e ) w e r e e q u a l .
E a c h i m a g e w a s d i g i t i z e d i n t o a 2 0 x 5 0 a r r a y . Th e e i g h t
c a t e g o r i e s w e r e r e s i d e n t i a l o l d ( RSOLD) , r e s i d e n t i a l n e w
( RE SNU ) , LAKE , SWAMP , MARSH , U RB AN, RAI L,
a n d SCRU B o r WOOD ( SCROD) . Th e f i r s t s i x c a t e g o r i e s
c o n t a i n e d 2 0 s a m p l e s e a c h , t h e RAI L a n d SCROD c a t e -
g o r i e s c o n t a i n e d 10 a n d 4 0 s a m p l e s , r e s p e c t i v e l y . Sa m p l e s
o f t h e i m a g e s a r e s h o w n i n F i g . 6 .
3 ) Da t a Se t De r i v e d f r o m Sa t e l l i t e I m a g e r y : A v a r i e t y
o f s a t e l l i t e i m a g e r y i s c u r r e n t l y u s e d f o r t h e r e m o t e s e n s i n g
o f E a r t h r e s o u r c e s . Th e m o s t c o m m o n l y u s e d s a t e l l i t e
6 15
I E E E TRANSACTI ONS ON SYSTE MS, MAN, AND CYB E RNE TI CS, NOVE MB E R 1973
( a ) ( b )
I
( d ) ( e )
( c )
( f )
( g ) ( h ) ( i )
F i g . 6 . Sa m p l e s o f a e r i a l p h o t o g r a p h i c d a t a s e t . ( a ) RSOLD. ( b )
RE SNU . ( c ) LAKE . ( d ) SWAMP . ( e ) MARSH . ( f ) U RB AN.
( g ) RAI L. ( h ) SCRU B . ( i ) WOOD. ( SCRU B a n d WOOD a r e
c l a s s i f i e d t o g e t h e r a s SCROD.)
i m a g e r y i s t h e m u l t i s p e c t r a l s c a n n e r ( MSS) i m a g e r y , w h i c h
c o n s i s t s o f a s e t o f i m a g e s o f a s c e n e , w h e r e e a c h i m a g e i n
t h e s e t i s c r e a t e d b y s c a n n i n g t h e r a d i a n c e o f t h e s c e n e
f r o m t h e s a t e l l i t e i n a n a r r o w b a n d o f w a v e l e n g t h s . Th e
MSS o p e r a t e s i n w a v e l e n g t h s r a n g i n g f r o m 0 .3 t o 16 ,u m ,
a n d u p t o 2 4 s c a n n e r s h a v e b e e n u s e d i n t h e p a s t .
Th e d a t a s e t u s e d i n o u r s t u d y w a s d e r i v e d f r o m a h i g h -
a l t i t u d e f o u r - c h a n n e l m u l t i s p e c t r a l s a t e l l i t e i m a g e t a k e n
o v e r t h e Ca l i f o r n i a c o a s t l i n e . Th e i m a g e i n o n e o f t h e f o u r
MSS b a n d s i s s h o w n i n F i g . 7. Th e g r o u n d a r e a c o v e r e d b y
t h e i m a g e i s a b o u t 14 4 0 0 m i 2 a n d t h e s i z e o f t h e d i g i t a l
i m a g e i s 2 3 4 0 x 3 2 0 0 . Ou t o f t h i s l a r g e i m a g e , a s u b s e t o f
6 2 4 c o n t i g u o u s i m a g e b l o c k s o f s i z e 6 4 x 6 4 w a s t a k e n
a n d u s e d i n o u r s t u d y . Th e r e w e r e s e v e n l a n d - u s e c a t e g o r i e s
i n t h e i m a g e ; t h e s e a r e c o a s t a l f o r e s t , w o o d l a n d s , a n n u a l
g r a s s l a n d s , u r b a n a r e a s , s m a l l a n d l a r g e i r r i g a t e d f i e l d s , a n d
w a t e r b o d i e s . Th e l a n d - u s e c a t e g o r y f o r e a c h 6 4 x 6 4
i m a g e b l o c k w a s o b t a i n e d b y i n t e r p r e t i n g t h e c o l o r c o m -
p o s i t e o f t h e m u l t i s p e c t r a l i m a g e s e t . Th e t e x t u r a l f e a t u r e s
w e r e c o m p u t e d f r o m t h e d i s t a n c e 1 g r a y - t o n e s p a t i a l -
d e p e n d e n c e m a t r i x o f t h e s e c o n d MSS b a n d i m a g e i n t h e
m u l t i s p e c t r a l i m a g e s e t .
Si n c e t h e g r o u n d t r u t h c a t e g o r y i n f o r m a t i o n w a s d e r i v e d
f r o m t h e c o l o r c o m p o s i t e i m a g e , w e u s e d a s e t o f s p e c t r a l
( c o l o r ) f e a t u r e s i n a d d i t i o n t o t h e t e x t u r a l f e a t u r e s f o r
c a t e g o r i z i n g t h e s e i m a g e s . Th e s p e c t r a l f e a t u r e s c o n s i s t e d
o f t h e m e a n a n d s t a n d a r d d e v i a t i o n o f t h e g r a y - t o n e v a l u e s
o f t h e 6 4 x 6 4 i m a g e b l o c k s i n e a c h o f t h e f o u r s p e c t r a l
b a n d s .
Cl a s s i f i c a t i o n Al g o r i t h m s
1) P i e c e w i s e Li n e a r Di s c r i m i n a n t F u n c t i o n Me t h o d : F o r
c a t e g o r i z i n g i m a g e b l o c k s i n d a t a s e t s 1 a n d 3 , w h i c h h a v e
F i g . 7. Sa t e l l i t e p i c t u r e o f Mo n t e r e y B a y , Ca l i f .
a r e a s o n a b l y l a r g e n u m b e r o f s a m p l e s , w e u s e d a p i e c e w i s e
l i n e a r - d i s c r i m i n a n t f u n c t i o n m e t h o d . Th e d a t a s e t s w e r e
p a r t i t i o n e d a r b i t r a r i l y i n t o t r a i n i n g a n d t e s t s e t s . Th e
c l a s s i f i c a t i o n a l g o r i t h m w a s d e v e l o p e d u s i n g t h e s a m p l e s i n
t h e t r a i n i n g s e t a n d i t w a s t e s t e d o n t h e s a m p l e s i n t h e t e s t
s e t .
A v a r i e t y o f a l g o r i t h m s h a v e b e e n d i s c u s s e d i n t h e p a t t e r n -
r e c o g n i t i o n l i t e r a t u r e f o r o b t a i n i n g p i e c e w i s e l i n e a r - d i s -
c r i m i n a n t f u n c t i o n s f o r p a t t e r n c l a s s i f i c a t i o n [ 19] - [ 2 2 ] . I n
a w i d e l y u s e d a l g o r i t h m , t h e p a t t e r n s p a c e i s p a r t i t i o n e d
i n t o a n u m b e r o f r e g i o n s u s i n g a s e t o f h y p e r p l a n e s ( d e c i s i o n
b o u n d a r i e s ) w h o s e l o c a t i o n s a r e d e t e r m i n e d b y t h e s a m p l e
p a t t e r n s . E a c h r e g i o n i s d o m i n a t e d b y s a m p l e p a t t e r n s o f a
p a r t i c u l a r c a t e g o r y . Wh e n a n e w p a t t e r n i s p r e s e n t e d f o r
i d e n t i f i c a t i o n , i t i s a s s i g n e d a c a t e g o r y d e p e n d i n g o n t h e
r e g i o n t o w h i c h i t b e l o n g s . I f t h e n e w p a t t e r n Xi s l o c a t e d i n
a r e g i o n d o m i n a t e d b y s a m p l e p a t t e r n s o f c a t e g o r y c j , t h e n
X i s c l a s s i f i e d a s c o m i n g f r o m c a t e g o r y c j .
F o r t h e m u l t i c a t e g o r y p r o b l e m i n v o l v i n g NR c a t e g o r i e s ,
a t o t a l o f NR( NR - 1) / 2 h y p e r p l a n e s a r e u s e d t o p a r t i t i o n
t h e p a t t e r n s p a c e . Th e s e h y p e r p l a n e s a r e d e f i n e d b y a s e t
o f w e i g h t v e c t o r s
Wj ,
i = 1,2 ,
-
* ,NR, j
= 1,2 , * * * ,NR,
j > i , w h i c h s e p a r a t e s t h e s a m p l e p a t t e r n s b e l o n g i n g t o t h e
i t h a n d
j t h c a t e g o r i e s . A r e g r e s s i o n t y p e a l g o r i t h m g i v e n i n
[ 19, c h . 4 ] w a s u s e d t o o b t a i n t h e w e i g h t v e c t o r s . Af t e r t h e
l o c a t i o n o f t h e h y p e r p l a n e s a r e d e t e r m i n e d , t h e c l a s s i f i c a -
t i o n o f n e w p a t t e r n s i s d o n e a s f o l l o w s . F o r e a c h c a t e g o r y
c i , t h e n u m b e r o f h y p e r p l a n e s Vi
w h i c h g i v e a p o s i t i v e
r e s p o n s e w h e n t h e n e w p a t t e r n X i s p r e s e n t e d a r e d e t e r -
m i n e d u s i n g
NR
v i
=
E
j - l
j * i
I Wi j Z
Z
+
i j TZ
i = 1,2 , .
- ,N.
( 5 )
6 16
H ARALI CK e t a l .: TE XTU RAL F E ATU RE S F OR I MAGE CLASSI F I CATI ON
w h e r e Z i s t h e a u g m e n t e d p a t t e r n v e c t o r o b t a i n e d b y a d d i n g
a c o m p o n e n t o f v a l u e 1 t o X, i .e .,
[ X]
( 6 )
X i s a s s i g n e d t o c a t e g o r y
c j
i f
Vj
= m a x { VJ i . I f t h e r e i s a
t i e b e t w e e n c a t e g o r i e s c m a n d c a , t h e n X i s a s s i g n e d t o c m i f
W_n TZ > 0 , o r t o c n i f Wm n TZ < 0 . Se v e r a l m o d i f i c a t i o n s
o f t h e l i n e a r - d i s c r i m i n a n t f u n c t i o n m e t h o d a n d a m u l t i t u d e
o f o t h e r c l a s s i f i c a t i o n p r o c e d u r e s m a y b e f o u n d i n t h e
r e f e r e n c e s c i t e d .
2 ) Mi n - Ma x De c i s i o n Ru l e : F o r t h e a e r i a l p h o t o g r a p h
d a t a s e t w h i c h h a d a s m a l l n u m b e r o f s a m p l e s p e r c a t e g o r y
w e u s e d a m i n - m a x d e c i s i o n r u l e f o r c a t e g o r i z i n g t h e i m a g e s
b a s e d o n t h e i r t e x t u r a l f e a t u r e s . Th e d e c i s i o n b o u n d a r i e s
w e r e o b t a i n e d b y u s i n g a l l b u t o n e o f t h e s a m p l e s i n t h e
d a t a s e t , a n d t h e s a m p l e w h i c h w a s l e f t o u t w a s t h e n c l a s -
s i f i e d . Th e p r o c e d u r e w a s r e p e a t e d f o r a l l t h e s a m p l e s i n
t h e d a t a s e t t o o b t a i n t h e o v e r a l l a c c u r a c y o f t h e c l a s s i f i c a -
t i o n s c h e m e . Th i s m e t h o d o f "l e a v i n g o n e s a m p l e o u t " i s
w i d e l y u s e d b y i n v e s t i g a t o r s i n t h e p a t t e r n - r e c o g n i t i o n f i e l d
w h e n t h e d a t a s e t h a s a s m a l l n u m b e r o f s a m p l e s . Th e
d e c i s i o n r u l e i s d e s c r i b e d a s f o l l o w s .
De c i s i o n r u l e : I f
b n k
a n d
a n k d e f i n e t h e m i n i m u m a n d
m a x i m u m v a l u e s o f t h e u n i f o r m d i s t r i b u t i o n , ( X1x 2 , * ,XN)
i s a s s i g n e d t o c a t e g o r y k i f a n d o n l y i f
b n k
<
x n
<
a n k '
n =
1,2 , ,N
N I N 1
n -
( a n k - b n k )
n
I ( a n j
b n j )
f o r a l l
j s u c h t h a t
b .j
<
x n <
a n j ,
n =
1,2 , * ,N. I f t h e r e
e x i s t s n o k s u c h t h a t b n k <
x n
<
a n k ,
n =
1,2 ,- ^ ,N, t h e n
( x 1,x 2 , ,x J ) i s a s s i g n e d t o c a t e g o r y k i f a n d o n l y i f
N~ 1m
- a f l I I x l - b n I
E m i n I n n k l l Xn - b n k l
n = I
( a ,
-
b n k
N
- n x n a a n j i ,x n
-
b n j l }
n = I
( a n j
-
b n j )
j =
1,2 , - - - ,K ( 8 )
w h e r e K i s t h e n u m b e r o f c a t e g o r i e s .
Re s u l t s o f I m a g e Cl a s s i f i c a t i o n St u d i e s
1) P h o t o m i c r o g r a p h Da t a Se t : A s e t o f 8 v a r i a b l e s , c o m -
p r i s i n g t h e m e a n a n d v a r i a n c e o f t h e t e x t u r a l
f e a t u r e s ] f 1,2 ,
f 3 , a n d f g ( f o r d e f i n i t i o n s o f t h e s e f e a t u r e s , s e e Ap p e n d i x I ) ,
c o m p u t e d f r o m d i s t a n c e I g r a y - t o n e s p a t i a l - d e p e n d e n c e
m a t r i c e s , w a s u s e d a s a n i n p u t t o t h e c l a s s i f i e r . Th e d a t a
s e t w a s a r b i t r a r i l y d i v i d e d i n t o a t r a i n i n g s e t o f 14 3 s a m p l e s
a n d a t e s t s e t o f 10 0 s a m p l e s . P i e c e w i s e l i n e a r - d i s c r i m i n a n t
f u n c t i o n s f o r s e p a r a t i n g t h e p a t t e r n s b e l o n g i n g t o t h e f i v e
s a n d s t o n e c a t e g o r i e s w e r e d e r i v e d u s i n g t h e s a m p l e s i n t h e
t r a i n i n g s e t . Th e c o n t i n g e n c y t a b l e f o r c l a s s i f y i n g t h e
s a m p l e s i n t h e t e s t s e t i s s h o w n i n Ta b l e I . Th e o v e r a l l
a c c u r a c y o f t h e c l a s s i f i c a t i o n s c h e m e o n t h e t e s t s e t ( o b -
t a i n e d b y s u m m i n g t h e d i a g o n a l e l e m e n t s i n t h e c o n -
t i n g e n c y t a b l e a n d d i v i d i n g b y t h e t o t a l n u m b e r o f s a m p l e s
i n t h e t e s t s e t ) w a s 8 9 p e r c e n t .
TAB LE I
CONTI NGE NCY TAB LE F OR TH E CLASSI F I CATI ON OF P H OTOMI CROCGRAP H S
OF SANDSTONE S
ASSI GNE D CATE GORY To t a l
De x t e r - L De x t e r - H St . P e t e r U p p e r Ga s k e
Mu d d y
>.
De x t e r - L 2 9 0 1 0 0 3 0
O De x t e r - H 0 15 0 0 0 15
0
W St . P e t e r 2 0 2 2 4 0 2 8
u U p p e r
Mu d d y 0 0 4 11 0 1 5
c Ga s k e 0 0 0 0 12 12
TOTAL 3 1 15 2 7 15 12 10 0
Nu m b e r o f
s a m p l e s i n t e s t s e t 10 0 ; n u m b e r o f s a m p l e s i n t r a i n i n g
s e t =
14 3 ; o v e r a l l a c c u r a c y o f c l a s s i f i c a t i o n o f t e s t s e t = 8 9 p e r c e n t .
TAB LE I I
CONTI NGE NCY TAB LE F OR TH E CLASSI F I CATI ON OF TH E AE RI AL
P H OTOGRAP H I C DATA SE T
ASSI GNE D CATE GORY
RSOLD RE SNU LAKE SWAMP MARSH U RB AN RAI L SCROD
TOTAL
RSOLD 17 0 0 0 1 1 0 1 2 0
>- RE SNU 1 15 0 0 1 2 1 0 2 0
0 LAKE 0 0 19 0 0 0 0 1 2 0
SWAMP 0 0 0 19 1 0 0 0 2 0
u :
MARSH 0 0 0 0 12 0 0 8 2 0
v U RB AN 2 3 0 0 0 15 0 0 2 0
RAI L 0 1 0 0 0 1 5 3 10
SCROD 0 0 0 0 2 0 0
I 8
4 0
_TOTAL 2 0 19 19 19 17 19 6 5 1 170
14 0 o u t o f 170 i m a g e s o r 8 2 .3 p e r c e n t o f t h e i m a g e s w e r e c o r r e c t l y
c l a s s i f i e d .
2 ) Ae r i a l P h o t o g r a p h i c Da t a Se t : A m i n - m a x d e c i s i o n
r u l e w a s u s e d f o r t h e c l a s s i f i c a t i o n o f 170 i m a g e s i n t o e i g h t
c a t e g o r i e s . Th e p r o c e s s i n g w a s d o n e a s f o l l o w s . F o u r g r a y -
t o n e s p a t i a l - d e p e n d e n c i e s ( f o r f o u r d i r e c t i o n s ) w e r e c o m -
p u t e d f o r e a c h i m a g e . E l e v e n t e x t u r a l f e a t u r e s ( f 1- f l I a s
d e f i n e d i n Ap p e n d i x I ) w e r e c o m p u t e d , y i e l d i n g a m e a s u r e -
m e n t v e c t o r o f 4 x 11 = 4 4 c o m p o n e n t s f o r e a c h i m a g e .
Co m p u t a t i o n o f t h e m e a n , r a n g e , a n d d e v i a t i o n o f e a c h
f e a t u r e o v e r t h e f o u r d i r e c t i o n s r e d u c e d t h e d i m e n s i o n a l i t y
t o 3 3 . Th e m i n i m u m a n d m a x i m u m s t a t i s t i c s w e r e c o m p u t e d
f o r 16 9 i m a g e s a n d t h e m i n - m a x d e c i s i o n r u l e w a s u s e d t o
c l a s s i f y t h e i m a g e w h i c h w a s l e f t o u t . Th i s p r o c e d u r e w a s
r e p e a t e d 170 t i m e s t o c l a s s i f y a l l t h e i m a g e s . Ou t o f t h e s e
170 i m a g e s , 14 0 , o r 8 2 .3 p e r c e n t o f t h e i m a g e s , w e r e c o r r e c t l y
c l a s s i f i e d . Th e c o n t i n g e n c y t a b l e i s g i v e n i n Ta b l e 1I .
3 ) Sa t e l l i t e I m a g e r y Da t a Se t : Th e p i e c e w i s e l i n e a r -
d i s c r i m i n a n t f u n c t i o n m e t h o d w a s u s e d f o r i d e n t i f y i n g t h e
l a n d - u s e c a t e g o r y o f e a c h i m a g e b l o c k i n t h i s d a t a s e t . Th e
i n p u t v a r i a b l e s t o t h e c l a s s i f i e r c o n s i s t e d o f t h e m e a n v a r i -
a n c e o f t h e f o u r t e x t u r a l f e a t u r e s
( f 1,f 2 ,f 3 , a n d f g o b t a i n e d
f r o m t h e d i s t a n c e 1 g r a y - t o n e s p a t i a l - d e p e n d e n c e m a t r i c e s )
a n d e i g h t s p e c t r a l f e a t u r e s ( c o m p r i s e d o f t h e m e a n v a r i a n c e
o f t h e i m a g e g r a y - t o n e v a l u e s ) i n e a c h o f t h e f o u r s p e c t r a l
b a n d s .- Th e 6 2 4 s a m p l e s i n t h e d a t a s e t w e r e d i v i d e d a r b i -
t r a r i l y i n t o a t r a i n i n g s e t o f 3 14 s a m p l e s a n d a t e s t s e t o f
3 10 s a m p l e s . Th e c l a s s i f i e r w a s t r a i n e d o n t h e 3 14 s a m p l e s
i n t h e t r a i n i n g s e t , a n d e a c h s a m p l e i n t h e t e s t s e t w a s
a s s i g n e d t o o n e o f s e v e n p o s s i b l e l a n d - u s e c a t e g o r i e s . Th e
6 17
I E E E TRANSACTI ONS ON SYSTE MS, MAN, AND CYB E RNE TI CS, NOVE MB E R 1973
TAB LE I I I
CONTI NGE NCY TAB LE F OR LAND- U SE CLASSI F I CATI ON OF SATE LLI TE
I MAGE RY
ASSI GNE D CATE GORY
Co a s t a l
F o r e s t
j _
0
O
DI
Wo o d l a n d s An n u o l U r b a n La r g e Sm a l
Gr a s s - Ar e a I r r i g a t e d I r r i g a t e d
La n d s F i e l d s F i e l d s
- I
- - - 4 + I
Co o s t c l
F o r e s t
Wo o d l a n d s
An n u a l
Gr a s s l a n d s
U J r b a n Ar e a
La r g e
I r r i g a t e d F i e l d s
Sm a l l
I r r i g a t e d F i e l d s
Wa t e r
To t a l
2 3
0
I
0
0
2 5
17
3
3
2
0
0
2 6
2
10
10 9
10
6
4
0
14 1
0
0
13
0
0
0
0
0
3 7
3
0
0
0
0
2 4
2 4
0
0
0
0
3 5
1
14 4 2 2 6
13 6
2 7
2 8
115
2 6
4 8
3 1
3 5
3 10
Nu m b e r o f t r a i n i n g s a m p l e s = 3 14 ; n u m b e r o f t e s t s a m p l e s = 3 10 ;
a c c u r a c y o f c l a s s i f i c a t i o n o n t r a i n i n g s e t = 8 4 .0 p e r c e n t ; a c c u r a c y o f
c l a s s i f i c a t i o n o n t e s t s e t = 8 3 .5 p e r c e n t .
c o n t i n g e n c y t a b l e f o r t h e c l a s s i f i c a t i o n o f t h e t e s t s a m p l e s i s
g i v e n i n Ta b l e I I I . Th e o v e r a l l a c c u r a c y o f t h e c l a s s i f i e r
o n t h e t e s t s a m p l e s w a s f o u n d t o b e 8 3 .5 p e r c e n t .
Cl a s s i f i c a t i o n o f m u l t i s p e c t r a l d a t a s u c h a s t h e s a t e l l i t e
i m a g e r y w e h a v e p r o c e s s e d i s u s u a l l y c a r r i e d o u t u s i n g o n l y
t h e s p e c t r a l f e a t u r e s . We a t t e m p t e d a s p e c t r a l c l a s s i f i c a t i o n
o n t h e s a t e l l i t e i m a g e r y d a t a a n d a c h i e v e d a c l a s s i f i c a t i o n
a c c u r a c y o f 74 - 77 p e r c e n t o n t h e t e s t s e t . Th i s r e s u l t , c o m -
p a r e d w i t h t h e 8 3 .5 - p e r c e n t c l a s s i f i c a t i o n a c c u r a c y a c h i e v e d
u s i n g a c o m b i n a t i o n o f s p e c t r a l a n d t e x t u r a l f e a t u r e s , s h o w s
t h a t a s i g n i f i c a n t i m p r o v e m e n t i n t h e c l a s s i f i c a t i o n a c c u r a c y
m i g h t r e s u l t i f t h e t e x t u r a l f e a t u r e s a r e u s e d a s a d d i t i o n a l
i n p u t s t o t h e c l a s s i f i e r .
I V. CONCLU DI NG RE MARKS
We h a v e d e s c r i b e d a c l a s s o f q u i c k l y c o m p u t a b l e t e x t u r a l
f e a t u r e s w h i c h s e e m t o h a v e g e n e r a l a p p l i c a b i l i t y t o m a n y
k i n d s o f i m a g e d a t a . Th e t e x t u r a l f e a t u r e s a r e b a s e d o n
s t a t i s t i c s w h i c h s u m m a r i z e t h e r e l a t i v e f r e q u e n c y d i s t r i b u -
t i o n ( w h i c h d e s c r i b e s h o w o f t e n o n e g r a y t o n e w i l l a p p e a r
i n a s p e c i f i e d s p a t i a l r e l a t i o n s h i p t o a n o t h e r g r a y t o n e o n t h e
i m a g e ) . We h a v e u s e d t h e s e f e a t u r e s i n c a t e g o r y - i d e n t i f i c a -
t i o n t a s k s o f t h r e e d i f f e r e n t k i n d s o f i m a g e d a t a . I d e n t i f i c a -
t i o n a c c u r a c y o n i n d e p e n d e n t t e s t s e t s a r e 8 9 p e r c e n t f o r
t h e p h o t o m i c r o g r a p h i m a g e s e t ( f i v e c a t e g o r i e s o f s a n d -
s t o n e s ) , 8 2 p e r c e n t f o r t h e a e r i a l p h o t o g r a p h s ( e i g h t
l a n d -
u s e c a t e g o r i e s ) , a n d 8 3 p e r c e n t f o r t h e s a t e l l i t e i m a g e r y
( s e v e n l a n d - u s e c a t e g o r i e s ) .
Th e s e i n i t i a l e x p e r i m e n t a l r e s u l t s a r e p r o m i s i n g .
Mu c h
w o r k n e e d s t o b e d o n e , h o w e v e r , o n g r a y - t o n e
n o r m a l i z a -
t i o n o n t h e i m a g e r y a n d t h e u s e o f f e a t u r e s w h i c h a r e
i n v a r i a n t u n d e r m o n o t o n i c g r a y - t o n e t r a n s f o r m a t i o n s . Th e
r e a s o n i s t h a t i n o n e i m p o r t a n t s e n s e , t e x t u r e i s i n d e p e n d e n t
o f t o n e . Tw o p e o p l e e x a m i n i n g p h o t o g r a p h s
o f t h e s a m e
t e x t u r e m a y a c t u a l l y b e s e e i n g t w o d i f f e r e n t , t h o u g h r e l a t e d ,
k i n d s o f t o n e s i n t h e t e x t u r e . On e p h o t o g r a p h m a y h a v e
b e e n d e v e l o p e d s u c h t h a t i t s t o n e s a r e l i g h t a n d t h i n ,
a n d
t h e o t h e r p h o t o g r a p h m a y h a v e b e e n d e v e l o p e d s u c h t h a t
i t s t o n e s a r e d a r k a n d h e a v y . Mo s t p e o p l e c o u l d e a s i l y
m a k e t h e o b s e r v a t i o n t h a t t h e t e x t u r e o n t h e t w o i m a g e s i s
t h e s a m e . F o r a m a c h i n e t o f i n d t h a t t h e t e x t u r e s a r e t h e
s a m e , e i t h e r t h e i m a g e s m u s t b e p r o b a b i l i t y q u a n t i z e d a n d
t h e f e a t u r e s c o m p u t e d f r o m t h e p r o b a b i l i t y q u a n t i z e d
i m a g e s ( w h i c h a r e i n v a r i a n t u n d e r m o n o t o n i c g r a y - t o n e
t r a n s f o r m a t i o n s ) , o r t h e f e a t u r e s t h e m s e l v e s m u s t b e i n -
v a r i a n t u n d e r m o n o t o n i c g r a y - t o n e t r a n s f o r m a t i o n s . Of t h e
t e x t u r a l f e a t u r e s d e s c r i b e d i n Ap p e n d i x I , t h e a n g u l a r
s e c o n d - m o m e n t , t h e e n t r o p y , t h e s u m e n t r o p y , t h e d i f f e r e n c e
e n t r o p y , t h e i n f o r m a t i o n m e a s u r e o f c o r r e l a t i o n , a n d t h e
m a x i m a l - c o r r e l a t i o n f e a t u r e s h a v e t h e i n v a r i a n c e p r o p e r t y .
We i n t e n d t o r e p e a t t h e e x p e r i m e n t s r e p o r t e d h e r e u s i n g
t h e s e k i n d s o f f e a t u r e s . We e x p e c t t h a t t h e s e f e a t u r e s w i l l
p r o v i d e m o r e g e n e r a l i z e d r e s u l t s .
Ad d i t i o n a l i n v e s t i g a t i o n s a r e n e c e s s a r y t o d e t e r m i n e t h e
s i z e o f t h e s u b i m a g e r e g i o n a n d t h e d i s t a n c e s w h i c h s h o u l d
b e u s e d i n c o m p u t i n g t h e g r a y - t o n e d e p e n d e n c e m a t r i c e s .
To o s m a l l a s u b i m a g e r e g i o n w i l l n o t h a v e e n o u g h t e x t u r a l
i n f o r m a t i o n t o s e p a r a t e i m a g e c a t e g o r i e s o f i n t e r e s t , w h i l e
a l a r g e s u b i m a g e r e g i o n m a y h a v e o b j e c t s b e l o n g i n g t o
s e v e r a l d i f f e r e n t c a t e g o r i e s . Al s o , a l a r g e s u b i m a g e r e g i o n
w i l l i n c r e a s e t h e s t o r a g e r e q u i r e m e n t s . Th e d i s t a n c e w h i c h
m u s t b e u s e d i n c o m p u t i n g t h e g r a y - t o n e s p a t i a l - d e -
p e n d e n c i e s m a y b e o b t a i n e d f r o m t h e a u t o c o r r e l a t i o n f u n c -
t i o n o f t h e i m a g e . Th e d i s t a n c e a t w h i c h t h e n o r m a l i z e d
a u t o c o r r e l a t i o n f u n c t i o n o f t h e i m a g e b e c o m e s t o o s m a l l
c a n s e r v e a s a n u p p e r b o u n d o n t h e d i s t a n c e w h i c h m a y b e
u s e d f o r c o m p u t i n g t h e g r a y - t o n e s p a t i a l - d e p e n d e n c e
m a t r i c e s .
AP P E NDI X I
TE XTU RAL F E ATU RE S
We s u g g e s t a s e t o f 2 8 t e x t u r a l f e a t u r e s w h i c h c a n b e
e x t r a c t e d f r o m e a c h o f t h e g r a y - t o n e s p a t i a l - d e p e n d e n c e
m a t r i c e s . Th e f o l l o w i n g e q u a t i o n s d e f i n e t h e s e f e a t u r e s .
No t a t i o n
p ( i ,j ) ( i ,j ) t h
e n t r y i n a n o r m a l i z e d g r a y - t o n e s p a t i a l -
d e p e n d e n c e m a t r i x ,
=
P ( i ,j ) / R.
p # ( i )
i t h e n t r y i n t h e m a r g i n a l - p r o b a b i l i t y m a t r i x
o b t a i n e d b y s u m m i n g t h e r o w s o f p ( i ,j ) ,
= 1 P ( i ,j ) .
N,
Nu m b e r o f d i s t i n c t g r a y l e v e l s i n t h e q u a n t i z e d
i m a g e .
Ng Nq
E
a n d
E E
a n d , r e s p e c t i v e l y .
j
i l
j =
Ng
P / i ) = E
p ( i ,j ) .
Ng Ng
p x + y ( k )
=
E E p ( i ,j ) ,
i =l i =t
i
+ I j =0
Ng Ng
P x - y ( k )
=
E , E 1 p ( i ,j ) ,
i =l j =l
i
- j I
= k
k
=
2 ,3 ,
,2 Ng .
=0 , 1, 7
Ng - I
i ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ i
1-
6 18
H ARALI CK e t a l .: TE XTU RAL F E ATU RE S F OR I MAGE CLASSI F I CATI ON
Te x t u r a l F e a t u r e s
1) An g u l a r
Se c o n d Mo m e n t .
f = E { p ( i ,j ) } 2 .
i j
2 ) Co n t r a s t :
f 2
n 2
[
E
P U i J ) |
n =O i =j 1 j =1
l i - j l =n J
3 ) Co r r e l a t i o n :
f 3
j
u x f y
w h e r e
p ,u , p y , c .,
a n d
a y
a r e t h e m e a n s a n d s t a n d a r d d e v i -
a t i o n s o f
p x
a n d
p y .
4 ) Su m o f Sq u a r e s : Va r i a n c e
f 4 a ( i P ) 2 p ( i ,j ) .
i
5 ) I n v e r s e Di f e r e n c e Mo m e n t
A
=
E
1
+ i _j 2
p ( i ,j ) .
i + ( i j ) 2
6 ) Su m Av e r a g e :
2 Ng
= E i p x + Y( i ) .
i - 2
7) Su m Va r i a n c e :
2 Ng
= E ( i - f 8 ) 2 p x + y ( i ) .
i =2
8 ) Su m E n t r o p y : 2
2 Ng
A= - P x + y ( i ) l o g { p X+ Y( i ) } .
i =2
9) E n t r o p y :
=
- E E
p ( i ,j ) l o g ( p ( i ,j ) ) .
i J
10 ) Di f e r e n c e Va r i a n c e :
f 10
= v a r i a n c e o f
p x - y .
11) Di f f e r e n c e E n t r o p y :
Ng 1
f I l = - E P x - y ( i ) l o g { P x - Y( i ) }
i =o
12 ) , 13 ) I n f o r m a t i o n Me a s u r e s o f Co r r e l a t i o n :
H XY - H XYI
m a x { H X,H Y}
f 13
= ( 1 - e x p [ - 2 .0 ( H XY2 - H Xy ) ] ) 12
H XY =
- E
i p ( i ,j ) l o g ( p ( i ,j ) )
i J
2
Si n c e s o m e o f t h e p r o b a b i l i t i e s m a y b e z e r o , a n d l o g ( 0 ) i s n o t
d e f i n e d , i t i s r e c o m m e n d e d t h a t t h e t e r m l o g ( p + e ) ( e a n a r b i t r a r i l y
s m a l l p o s i t i v e c o n s t a n t ) b e u s e d i n p l a c e o f l o g ( p ) i n e n t r o p y c o m -
p u t a t i o n s .
w h e r e H Xa n d H Y a r e e n t r o p i e s o f
p ,
a n d
p y ,
a n d
H XY 1 = - i
p ( i ,U j )
l o g { p X( i ) p Y( i ) }
H XY2 = -
P
, p ,( i ) p / J ) l o g { p X( i ) p Y( ) } .
14 ) Ma x i m a l Co r r e l a t i o n
Co e f f i c i e n t :
f 4 = ( Se c o n d l a r g e s t e i g e n v a l u e o f Q ) 112
w h e r e
Q ( i , j ) = E
p ( i , k ) p ( j , k )
k p f ( i ) p y ( k )
Th e s e m e a s u r e s o f c o r r e l a t i o n h a v e s o m e d e s i r a b l e p r o p e r -
t i e s w h i c h a r e n o t b r o u g h t o u t i n t h e r e c t a n g u l a r c o r r e l a t i o n
m e a s u r e f 3 . F o r d e t a i l s , s e e [ 2 3 ] , [ 2 4 ] .
Re f e r r i n g t o ( 1) i n t h e t e x t , f o r a c h o s e n d i s t a n c e d w e
h a v e f o u r a n g u l a r g r a y - t o n e s p a t i a l - d e p e n d e n c y m a t r i c e s .
H e n c e w e o b t a i n a s e t o f f o u r v a l u e s f o r e a c h o f t h e p r e -
c e d i n g 14 m e a s u r e s . Th e m e a n a n d r a n g e o f e a c h o f t h e s e
14 m e a s u r e s , a v e r a g e d o v e r t h e f o u r v a l u e s , c o m p r i s e t h e
s e t o f 2 8 f e a t u r e s w h i c h c a n b e u s e d a s i n p u t s t o t h e
c l a s s i f i e r . I n t h i s s e t o f 2 8 f e a t u r e s s o m e o f t h e f e a t u r e s a r e
s t r o n g l y c o r r e l a t e d w i t h e a c h o t h e r . A f e a t u r e - s e l e c t i o n
p r o c e d u r e m a y b e a p p l i e d t o s e l e c t a s u b s e t o r l i n e a r
c o m b i n a t i o n s o f t h e 2 8 f e a t u r e s .
AP P E NDI X I I
E XAMP LE S OF TH E SI GNI F I CANCE OF So ME TE XTU RAL
F E ATU RE S
Th e p r o b l e m "Wh a t d o t h e t e x t u r a l f e a t u r e s r e p r e s e n t ? "
f r o m a h u m a n p e r c e p t i o n p o i n t o f v i e w c a n b e a s u b j e c t f o r
a t h o r o u g h e x p e r i m e n t . Th e r e a r e s o m e i n t u i t i v e e x p e c t a -
t i o n s a s t o p r o p e r t i e s r e p r e s e n t e d b y s o m e f e a t u r e s . F o r
e x a m p l e , o n e m i g h t e x p e c t t h e e n t r o p y f e a t u r e t o t a k e h i g h e r
v a l u e s f o r m o r e c o m p l e x i m a g e s . On e m i g h t e x p e c t t o b e
a b l e t o n o t i c e s o m e l i n e a r d e p e n d e n c i e s i n i m a g e s w i t h h i g h
v a l u e s o f t h e c o r r e l a t i o n f e a t u r e . As a b e g i n n i n g f o r a n
i n v e s t i g a t i o n o f t h i s p r o b l e m w e u s e d a n a e r i a l p h o t o g r a p h y
d a t a s e t t h a t c o n s i s t e d o f 12 c a t e g o r i e s , 6 s a m p l e s i n
e a c h [ 17] .
We o r d e r e d t h e c a t e g o r i e s i n t h e f o l l o w i n g m a n n e r . We
c o m p u t e d t h e r a n g e a n d t h e m o d e o f v a l u e s t h a t e a c h
f e a t u r e t a k e s f o r e a c h c a t e g o r y . Th e c a t e g o r i e s w e r e t h e n
o r d e r e d f o r e a c h f e a t u r e a c c o r d i n g t o t h e m o d e s , a n d t h e
r a n g e s w e r e p l o t t e d . Th e p r o s p e c t i v e o f t h i s Ap p e n d i x i s t o
c o m m e n t o n t h e o r d e r i n g o f c a t e g o r i e s b y s o m e o f t h e
f e a t u r e s . F i g s . 8 - 10 s h o w p l o t s o f t h e r a n g e s o f t h r e e o f t h e
f e a t u r e s , e a c h a c c o m p a n i e d b y t h r e e p i c t u r e s . Th e s e p i c -
t u r e s a r e o f u n i t s t h a t h a v e s m a l l , m e d i u m , a n d l a r g e v a l u e s
o f t h e r e s p e c t i v e f e a t u r e . Th e o r d e r o f c a t e g o r i e s o f t h e
a v e r a g e a n g u l a r m o m e n t f e a t u r e ( ANGMOM) i n F i g . 8 i s
a l m o s t t h e r e v e r s e o f t h e o r d e r o f c a t e g o r i e s o f t h e a v e r a g e
e n t r o p y ( E NTROP ) i n F i g . 9. Th e t h r e e r e p r e s e n t a t i v e
p i c t u r e s s h o w t h a t i n b o t h f i g u r e s t h e u n i t s w e r e o r d e r e d
a c c o r d i n g t o t h e c o m p l e x i t y o f t h e i m a g e . I m a g e s w i t h m o r e
g r a y l e v e l s h a v e l o w e r a v e r a g e ANGMOM a n d h i g h e r
6 19
m E E E TRANSACTI ONS ON s YSTE Ms , MAN, AND c YB E RNE TI c s , NOVE m B E R 1973
RAI L 1- 1
RSOLD 1- 1
SWAMP I - - I
ORCH R I - - - - I
RSN' W 1- - - - - - 1
U RB AN I - - - ____1
DROAD I - - - - - - - I
MARSH I - - - - - - - - - - - - - - - - - I
SCRU B I - - - - - - - - - - - - I
TWATR I - - - - - - - - - - - - - - - - - - - - - - - - I
H w OO I - - - - - - - - - - - - - I
SWATR I - - - - - - - - - - - - - - - - - - - - I
0 11110 4 711111111111111111111 1111111 2 70 111111 - 14 l l I l I I l l
6 .0 4 7 6 .15 6 6 .2 76 e .3 s 4
RAI L 4
0 .0 3 7
SCRU B 1
0 .10 2
SWATR 4
0 .3 95
F i g . 8 . Ra n g e p l o t s a n d r e p r e s e n t a t i v e p i c t u r e s f o r a v e r a g e s e c o n d
a n g u l a r m o m e n t .
SWAMP I - - .- __________- I
H w o o I .- - - - - - - - - - - - - - - - - I
SWATR I - - - - - - - - - - - - - - - - - - - - - - - - I
TWATR I .- -
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
SCRU B I .
MARSH
RAI L
ORCH R
U RB Ar
RSOLD
RSSE W
DROAD
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
- - - - - - - - - - .
- - - - - - - -
6 .3 6 6 6 ~ ~ .5 3 0 0 .70 2 R.6 75
SWATR 4
0 .4 18
RAI L 6
0 .6 0 2
DROAD 3
0 .8 92
F i g . 10 . Ra n g e p l o t s a n d r e p r e s e n t a t i v e p i c t u r e s f o r a v e r a g e c o r r e l a -
t i o n .
,.,
.I ,
I .,
,.I
,- .
I .,
- - - -
- - - - - -
, ,
1.98 5 2 .5 19 3 .6 g 1 3 .6 4 4
SWATR 6
1.90 0
SCRU B 2
2 .78 1
RAI L 6
3 .70 0
F i g . 9. Ra n g e p l o t s a n d r e p r e s e n t a t i v e p i c t u r e s f o r a v e r a g e e n t r o p y .
l - F ( q k _,)
F ( q k i ~ i 1- F ( q
k -
1) r - C
l F ( q
k - 1)
F i g . 11. Q u a n t i z i n g a l g o r i t h m . At k t h i t e r a t i o n , F ( q k
- 1) p r o b a b i l i t y
h a s a l r e a d y b e e n a l l o c a t e d t o k - 1 l e v e l s a n d 1 - F ( q k - 1)
p r o b a b i l i t y r e m a i n s t o b e a l l o c a t e d . I f 1 - F ( q k - 1) p r o b -
a b i l i t y i s s p l i t u p e q u a l l y a m o n g r e m a i n i n g K - k + I q u a n -
t i z i n g l e v e l s t o b e a l l o c a t e d , e a c h l e v e l w o u l d g e t ( I - F ( q k .,) ) /
( K - k + 1) . Si n c e F i s a s t e p f u n c t i o n , t h e r e i s n o g u a r a n t e e t h a t
a
q ,
c a n b e f o u n d a n d t h a t F ( q k ) = F ( q k - l ) + ( 1
- F ( q k ,) ) l
( K - k + 1) . H e n c e w e l o o k f o r a q k w h i c h i s c l o s e s t t o s a t i s f y i n g
t h e e q u a l i t y .
AP P E NDi x I I I
E Q U AL- P ROB AB I Lr r Y Q U ANTI Z I NG
Le t Xb e a r a n d o m v a r i a b l e w i t h c u m u l a t i v e p r o b a b i l i t y
f u n c t i o n F x .
Le t Q 1, t h e K- l e v e l e q u a l - p r o b a b i l i t y q u a n t i z i n g
f u n c t i o n f o r X, b e d e f i n e d b y
a v e r a g e E NTROP . Th e a v e r a g e r a t i o ( RATI O) i n F i g . 10
i s l o w e r f o r n a t u r a l s c e n e s a n d h i g h e r f o r m a n - m a d e s c e n e s .
Th e t h r e e r e p r e s e n t a t i v e p i c t u r e s i n F i g . 10 s h o w c o r r e -
s p o n d e n c e b e t w e e n t h e a v e r a g e RATI O v a l u e s a n d t h e
l i n e a r d e p e n d e n c y o f g r a y l e v e l s i n t h e i m a g e s . Th e s e c o m -
m e n t s r e f l e c t o u r s u b j e c t i v e p e r c e p t i o n . Mu c h m o r e e x -
p e r i m e n t a t i o n a n d a n a l y s i s s h o u l d b e d o n e i n t h i s s u b j e c t .
Q ( x ) = k , i f a n d o n l y i f
l u b ( w F x ( W)
=
k
K < x < l u b
( w
F x ( w )
=
K
)
w h e r e l u b d e n o t e s l e a s t u p p e r b o u n d .
F o r a n y s t r i c t l y m o n o t o n i c f u n c t i o n g , d e f i n e t h e r a n d o m
v a r i a b l e Y b y Y = g ( X) . Le t Q 2 , t h e K- l e v e l e q u a l - p r o b -
6 2 0
SWATR
H WOO
TWATR
SCRU B
DROAD
U RB AN
B SNRE W
MARSH
ORCU R
RSOt - D
SWAn r P
RAI L
H ARALI CK e t a l .: TE XTU RAL F E ATU RE S F OR I MAGE CLASSI F I CATI ON
a b i l i t y q u a n t i z i n g f u n c t i o n f o r Y, b e d e f i n e d b y l e t q kb e t h e s m a l l e s t n u m b e r s u c h t h a t
Q 2 ( Y)
=
k ,
i f a n d
o n l y
i f
1- F x ( q k - )
+ F x ( q k ) - F x ( q k )
K
) ( k I k
K-
k I
l u b { w
I F y ( w ) =k } .y <l u b w
I F y ( w )
=
- j . I
~
Th e
f o l l o w i n g
l e m m a s t a t e s t h a t t h e
e q u a l - p r o b a b i l i t y
q u a n t i z a t i o n
o f X
p r o d u c e s
a r a n d o m v a r i a b l e w h i c h
i s
i d e n t i c a l t o t h e
e q u a l - p r o b a b i l i t y q u a n t i z a t i o n
o f Y.
Le m m a :
Q 1( X)
=
Q 2 ( Y) -
P r o o f :
Q 1( X)
=
k ,
i f a n d
o n l y i f
l u b x
F x ( x ) = K- ) < X< l u b x F x ( x ) = A.)
( 9)
Si n c e
g
i s
s t r i c t l y m o n o t o n i c , ( 9)
h o l d s i f a n d
o n l y
i f
g ( l u b x F x ( x )
=
k - 1) ) ( X)
<
g ( l u b ( x F x ( x )
=
K
( 10 )
Si n c e
g
i s
s t r i c t l y m o n o t o n i c ,
w e
m a y
r e v e r s e t h e o r d e r o f
g
a n d l u b s o t h a t
( 10 )
h o l d s i f a n d
o n l y
i f
l u b ( g ( x ) F x ( x ) = <g ( X)
< l u b
( g ( x ) I F x ( x ) =K
( 1 1)
H o w e v e r ,
F x ( x )
=
P ( X
.
x )
=
P ( g ( X)
.
g ( x ) )
=
P ( Y < g ( x ) )
=
F y ( g ( x ) ) .
H e n c e , ( 11) h o l d s i f a n d o n l y i f
l u b ( g ( x ) F y ( g ( x ) ) =
k
9(
< l u b
( g ( x )
I
F y ( g ( x ) ) k )
( 12 )
F i n a l l y , ( 12 )
i s
e q u i v a l e n t
t o
l u b
y
F ( Y)
=
K) <
Y <
l u b y
I F y ( y )
=
k )
( 13 )
s o t h a t Q 2 ( Y) = k .
E q u a l P r o b a b i l i t y Q u a n t i z i n g Al g o r i t h m :
Le t Xb e a n o n -
n e g a t i v e
r a n d o m v a r i a b l e w i t h c u m u l a t i v e
p r o b a b i l i t y
f u n c -
t i o n
F x .
Le t
Q ,
t h e K- l e v e l
e q u a l - p r o b a b i l i t y q u a n t i z i n g
f u n c t i o n f o r
X,
b e d e f i n e d
b y Q ( x )
=
k i f a n d
o n l y
i f
q k - 1
<
x <
q k .
We d e f i n e
q O,q l ,q 2 ,q ,q k
i n a n i t e r a t i v e
m a n n e r . Le t
q o
=
0 .
Su p p o s e
q k -
1h a s b e e n d e f i n e d . Th e n
'
I s
+ L
r .
- I + i X( q k - 1)
-
P ( q ) , t o r a l l r e a l q .
F i g . 11 i l l u s t r a t e s t h e
e q u a l - p r o b a b i l i t y q u a n t i z i n g a l g o r i t h m .
RE F E RE NCE S
[ 1] Sp e c i a l I s s u e o n Di g i t a l P i c t u r e P r o c e s s i n g , P r o c . I E E E , v o l . 6 0 ,
p p . 76 3 - 92 2 , J u l y 1972 .
[ 2 ] H . C. An d r e w s , A. G. Te s c h e r , a n d R. P . Kr u g e r , "I m a g e p r o -
c e s s i n g b y d i g i t a l c o m p u t e r ," I E E E Sp e c t r u m , v o l . 9, p p . 2 0 - 3 2 ,
J u l y 1972 .
[ 3 ] H . Ka i z e r , "A q u a n t i f i c a t i o n o f t e x t u r e s o n a e r i a l p h o t o g r a p h s ,"
B o s t o n U n i v . Re s . La b ., B o s t o n , Ma s s ., Te c h . No t e 12 1, 195 5 ,
AD 6 94 8 4 .
[ 4 ] R. Ch e v a l l i e r , A. F o n t a n e l , G. Gr a u , a n d M. Gu y , "Ap p l i c a t i o n
d u f i l t r a g e o p t i q u e a l ' e t u d e d e s p h o t o g r a p h i e s a e r i e n n e s ,"
p r e s e n t e d a t t h e 11t h Co n g r . I n t . P h o t o g r a m m e t r i c , J u l y 196 8 .
[ 5 ] R. B i x b y , G. E l e r d i n g , V. F i s h , J . H a w k i n s , a n d R. Lo e w e ,
"Na t u r a l i m a g e c o m p u t e r ," Ae r o n u t r o n i c Di v i s i o n , P h i l c o - F o r d
Co r p ., Ne w p o r t B e a c h , Ca l i f ., F i n a l Te c h . Re p ., v o l . 1, P u b ] .
C- 4 0 3 5 , Ma y 196 7.
[ 6 ] E . M. Da r l i n g a n d R. D. J o s e p h , "P a t t e r n r e c o g n i t i o n f r o m
s a t e l l i t e a l t i t u d e s ," I E E E Tr a n s . Sy s t . Sc i . Cy b e r n ., v o l . SSC- 4 ,
p p . 3 8 4 7, Ma r . 196 8 .
[ 7] A. Ro s e n f e l d a n d E . Tr o y , "Vi s u a l t e x t u r e a n a l y s i s ," Co m p u t .
Sc i . Ce n t ., U n i v . Ma r y l a n d , Co l l e g e P a r k , Te c h . Re p . 70 - 116 ,
J u n e 1970 .
[ 8 ] A. Ro s e n f e l d a n d M. Th u r s t o n , "Vi s u a l t e x t u r e a n a l y s i s , 2 ,"
Co m p u t . Sc i . Ce n t ., U n i v . Ma r y l a n d , Co l l e g e P a r k , Te c h . Re p .
70 - 12 9, Se p t . 1970 .
[ 9] E . B . Tr o y , E . S. De u t s c h , a n d A. Ro s e n f e l d , "Gr a y - l e v e l m a n i p -
u l a t i o n e x p e r i m e n t s f o r t e x t u r e a n a l y s i s ," I E E E Tr a n s .
Sy s t .,
Ma n , Cy b e r n ., v o l . SMC- 3 , p p . 91- 98 , J a n . 1973 .
[ 10 ] P r o c . Sy m p . Co m p u t e r I m a g e P r o c e s s i n g a n d Re c o g n i t i o n , U n i v .
Mi s s o u r i , Co l u m b i a , Au g . 2 4 - 2 6 , 1972 .
[ 11] R. M. P i c k e t t , "Vi s u a l a n a l y s i s o f t e x t u r e i n t h e d e t e c t i o n a n d
r e c o g n i t i o n o f o b j e c t s ," i n P i c t u r e P r o c e s s i n g a n d
P s y c h o p i c t o r i c s ,
B . S. Li p k i n a n d A. Ro s e n f e l d , E d s . Ne w Yo r k : Ac a d e m i c
P r e s s , 1970 , p p . 2 8 9- 3 0 8 .
[ 12 ] A. Ro s e n f e l d a n d B . S. Li p k i n , "Te x t u r e s y n t h e s i s ," i n P i c t u r e
P r o c e s s i n g a n d P s y c h o p i c t o r i c s , B . S. Li p k i n a n d A.
Ro s e n f e l d ,
E d s . Ne w Yo r k : Ac a d e m i c P r e s s , 1970 , p p . 3 0 9- 3 4 5 .
[ 13 ] P . B r o d a t z , Te x t u r e s . Ne w Yo r k : Do v e r , 196 6 .
[ 14 ] R. M. H a r a l i c k , K. Sh a n m u g a m , a n d I . Di n s t e i n , "On s o m e
q u i c k l y c o m p u t a b l e f e a t u r e s f o r t e x t u r e ," i n P r o c . Sy m p . Co m -
p u t e r I m a g e P r o c e s s i n g a n d Re c o g n i t i o n , U n i v . Mi s s o u r i , Co l u m -
b i a , v o l . 2 , p p . 12 - 2 - 1- 12 - 2 - 8 , Au g . 1972 .
[ 15 ] E . E . H a l l e t a l ., "A s u r v e y o f p r e p r o c e s s i n g a n d f e a t u r e e x t r a c t i o n
t e c h n i q u e s f o r r a d i o g r a p h i c i m a g e s ," I E E E Tr a n s . Co m p u t ., v o l .
C- 2 0 , p p . 10 3 2 - 10 4 4 , Se p t . 1971.
[ 16 ] R. M. H a r a l i c k a n d D. An d e r s o n , "Te x t u r e - t o n e s t u d y w i t h
a p p l i c a t i o n s t o d i g i t i z e d i m a g e r y ," U n i v . Ka n s a s Ce n t e r f o r
Re s e a r c h , I n c ., La w r e n c e , CRE S Te c h . Re p . 18 2 - 2 , No v . 1971.
[ 17] R. M. H a r a l i c k , I . Di n s t e i n , K. Sh a n m u g a m , a n d D.
Go e l ,
"Te x t u r e - t o n e s t u d y w i t h a p p l i c a t i o n s t o d i g i t i z e d
i m a g e r y ,"
U n i v . Ka n s a s Ce n t e r f o r Re s e a r c h , I n c ., La w r e n c e , CRE S Te c h .
Re p . 18 2 - 4 , De c . 1972 .
[ 18 ] R. M. H a r a l i c k a n d K. Sh a n m u g a m , "Co m p u t e r c l a s s i f i c a t i o n
o f r e s e r v o i r s a n d s t o n e s ," I E E E Tr a n s . Ge o s c i . E l e c t r o n ., v o l .
GE - 11, p p . 171- 177, Oc t . 1973 .
[ 19] K. F u k u n a g a , I n t r o d u c t i o n t o St a t i s t i c a l P a t t e r n
Re c o g n i t i o n .
Ne w Yo r k : Ac a d e m i c P r e s s , 1972 .
[ 2 0 ] K. S. F u a n d J . M. Me n d e l , Ad a p t i v e Le a r n i n g a n d P a t t e r n
Re c o g -
n i t i o n Sy s t e m s . Ne w Yo r k : Ac a d e m i c P r e s s , 1972 .
[ 2 1] W. Mi e s e l , Co m p u t t e r Or i e n t e d Ap p r o a c h e s t o P a t t e r n
Re c o g n i t i o n .
Ne w Yo r k : Ac a d e m i c P r e s s , 1972 .
[ 2 2 ] N. J . Ni l s s o n , Le a r n i n g Ma c h i n e s . Ne w Yo r k :
Mc Gr a w - H i l l ,
196 5 .
[ 2 3 ] E . H . Li n f o o t , "An i n f o r m a t i o n m e a s u r e o f c o r r e l a t i o n ,"
I n f o r m .
Co n t r ., v o l . 1, p p . 8 5 - 8 9, 195 7.
[ 2 4 ] C. B . B e l l , "Mu t u a l i n f o r m a t i o n a n d m a x i m a l c o r r e l a t i o n m e a -
s u r e s o f d e p e n d e n c e ," An n . Ma t h . St a t i s t ., v o l . 4 3 , p p . 5 8 7- 5 95 ,
196 2 .
[ 2 5 ] P . N. An d e r s o n e t a l ., "An a u t o m a t e d i m a g e p r o c e s s i n g
s y s t e m -
I DE CS," P h .D. p r o j e c t , U n i v . Ka n s a s , La w r e n c e , 1972 .
6 2 1
11 11 I I I