Optimum 

Linear Filter (Part I)
 Optimum Signal Estimation
• What is a signal estimation problem?
– Use a set of observation data to determine an 
estimate of the desired response.
– Notations (Discrete‐time random signals):
• desired response: 𝑦 𝑛 ;
• observation data: 𝑥 𝑛 ;
• estimate of desired response : 𝑦 𝑛 ;
 Optimum Signal Estimation
signal estimation
𝑦 𝑛 𝐡 𝑥 𝑛 ,1 𝑘 𝑀

x(n) yˆ ( n )
h

Example:

x(n)
... x (1) x (2) x (3) x (4) x (5) x (6) x (7) x (8) x (9) x (10) x (11) x (12) x (13) x (14) x (15) ... Time 
step n
n=1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

yˆ ( n )
... yˆ (1) yˆ (2) yˆ (3) yˆ (4) yˆ (5) yˆ (6) yˆ (7) yˆ (8) yˆ (9) yˆ (10) yˆ (11) yˆ (12) yˆ (13) yˆ (14) yˆ (15) ... Time 
step n
n=1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
 Optimum Signal Estimation
Example: At n=10, what is  ?
3
x(n)
... x (1) x (2) x (3) x (4) x (5) x (6) x (7) x (8) x (9) x (10) x (11) x (12) x (13) x (14) x (15) ... Time 
step n
n=1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

x3 (10)

yˆ ( n )
... yˆ (1) yˆ (2) yˆ (3) yˆ (4) yˆ (5) yˆ (6) yˆ (7) yˆ (8) yˆ (9) yˆ (10) yˆ (11) yˆ (12) yˆ (13) yˆ (14) yˆ (15) ... Time 
step n
n=1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
 Optimum Signal Estimation
• error signal

estimation  desired  estimated 

error signal signal signal

• optimum estimator: approximates the desired 
response as closely as possible (e.g. 
minimisation of the error signal  )
Linear Mean Square Error Estimation
• Use a linear combination of a set of 
observation data  to determine an estimate
of the desired response  .

Note:
In this unit, we narrow down our discussion to linear estimators only, i.e., 
The cases where the estimate 𝑦 is 2nd or higher order relationship of 
observation date 𝑥 𝑛 are not considered. A 2nd order relationship 
example looks like: 𝑦 𝑐 𝑥 𝑐 𝑥 ⋯ 𝑐 𝑥
 Linear Mean Square Error Estimation
𝑥 𝑐
𝑥 𝑐
Let 𝐱 ⋮ and 𝐜 ⋮ ,
𝑥 𝑐

𝑦 𝐱 𝐜 𝐜 𝐱
𝐱: 𝑀 1 data or observation vector;
𝐜: 𝑀 1 parameter or co‐efficient vector of the linear estimator;

𝑐 𝑥
𝑐 𝑥
𝐱 𝐜 𝑥 ,𝑥 ,…,𝑥 𝐜 𝐱 𝑐 ,𝑐 ,…,𝑐 ⋮
⋮ Same results
𝑐 𝑥
𝑐 𝑥 𝑐 𝑥 ⋯ 𝑐 𝑥 𝑐 𝑥 𝑐 𝑥 ⋯ 𝑐 𝑥
Linear Mean Square Error Estimation
• For a Linear Minimum Mean Square Error 
(LMMSE) estimator, the optimized coefficient 
vector  is:

𝐜
where is the MSE (mean square error) as 
follows

• LMMSE Estimate (this is the optimized estimate 
when the optimized coefficient vector is used):
Linear Mean Square Error Estimation

𝑃 𝐜 is minimised when 𝐑𝐜 𝐝 0
 Linear Mean Square Error Estimation
The necessary and sufficient conditions that determine the linear MMSE
estimator, c , are:
𝐑𝐜 𝐝
which can be written as the set of normal equations:
𝑟 𝑟 ⋯ 𝑟 𝑐 𝑑
𝑟 𝑟 ⋯ 𝑟 𝑐 𝑑
Normal equations ⋮ ⋮ ⋱ ⋮ ⋮ ⋮
𝑟 𝑟 ⋯ 𝑟 𝑐 𝑑
where 𝑟 𝐸 𝑥 𝑥 and 𝑑 𝐸 𝑥𝑦 .

A solution is guaranteed to exist if R is positive definite (i.e. 𝐜 𝐑 𝐝) and

any general-purpose routine for the solution of simultaneous linear equations
can be used.

The minimized MSE (MMSE) 𝑃 𝐸 |𝑒 | where 𝑒 𝑦 𝑦 is:

𝑃 𝑃 𝐝 𝐑 𝐝 𝑃 𝐝 𝐜
Linear Mean Square Error Estimation
• Orthogonality Principle
– The estimation error,  , is orthogonal to the data, 
, used for the estimation, i.e. 
Linear Mean Square Error Estimation
• Minimum Mean Square Error (MMSE) 
 Optimum Finite Impulse Response 
(FIR) Filters (Wiener filters)
• Optimum FIR Filters estimate  of the desired 
response,  , by using finite samples from a related 
input signal,  .
x(n) yˆ ( n )
h

• the input data vector or filter memory at time n
𝐱 𝑛 𝑥 𝑛 𝑥 𝑛 1 … 𝑥 𝑛 𝑀 1
• The impulse response sequence of the filter is
𝐜 𝑛 ℎ 𝑛, 0 ℎ 𝑛, 1 … ℎ 𝑛, 𝑀 1 =𝑐 𝑛 𝑐 𝑛 … 𝑐 𝑛

before n=0 Optimum FIR filter M=3

h(n,0)=c0(n) h(n,1)=c1(n) h(n,2)=c2(n)

 x (6) x (5) x (4) x (3) x (2) x (1) x (0)
empty empty empty
Shift register 0# Shift register 1# Shift register 2#
Optimum Finite Impulse Response 
(FIR) Filters (Wiener filters)
Optimum Finite Impulse Response 
(FIR) Filters (Wiener filters)
 Optimum Finite Impulse Response 
(FIR) Filters (Wiener filters)
• Optimum FIR Filters estimate 𝑦 𝑛 of the desired response, 
𝑦 𝑛 , by using finite samples from a related input signal, 
𝑥 𝑛 .

𝑦 𝑛 ℎ 𝑛, 𝑘 𝑥 𝑛 𝑘

𝑐 𝑛 𝑥 𝑛 𝑘 𝐜 𝑛 𝐱 𝑛
 Optimum Finite Impulse Response 
(FIR) Filters (Wiener filters)
• We form the LMMSE estimate by solving the corresponding set of normal 
equations for the filter coefficients, c n , at each time n:
𝐑 𝑛 𝐜 𝑛 𝐝 𝑛

or in matrix form:
𝑟, 𝑛 𝑟, 𝑛 ⋯ 𝑟, 𝑛 𝑐 𝑛 𝑑 𝑛
𝑟, 𝑛 𝑟, 𝑛 ⋯ 𝑟, 𝑛 𝑐 𝑛 𝑑 𝑛
⋮ ⋮ ⋱ ⋮ ⋮ ⋮
𝑟 , 𝑛 𝑟 , 𝑛 ⋯ 𝑟 , 𝑛 𝑐 𝑛 𝑑 𝑛
where 
𝐑 𝑛 𝐸 𝐱 𝑛 𝐱 𝑛 , 
𝑟 𝑛 𝐸 𝑥 𝑛 𝑖 𝑥 𝑛 𝑗 , 
𝐝 𝑛 𝐸 𝐱 𝑛 𝑦 𝑛 , 
𝑑 𝑛 𝐸 𝑥 𝑛 𝑖 𝑦 𝑛
 Optimum Finite Impulse Response 
(FIR) Filters (Wiener filters)
• Design and implementation of a time‐varying 
optimum FIR filter 
 Optimum Finite Impulse Response 
(FIR) Filters (Wiener filters)
• The FIR filter coefficients have to be estimated 
and loaded into the filter at each sample time 
n
• Although the desired response  is not 
available, the known relationship between 
and  can be used to derive or 
estimate the cross‐correlation vector 
 Optimum Finite Impulse Response 
Filters (Wiener filters)
• Optimum FIR Filters for Stationary Processes
When the input and desired response stochastic processes are 
jointly wide‐sense stationary (WSS), the correlation matrix 
and cross‐correlation vector no longer depend explicitly on 
the time‐index n, i.e.,
R(n) = R  & d(n) = d
• That is for WSS processes:
– 𝑟 𝑛 𝐸 𝑥 𝑛 𝑖 𝑥 𝑛 𝑗 ≡𝐸 𝑥 𝑛 𝑥 𝑛 𝑖 𝑗
𝐸 𝑥 𝑛 𝑥 𝑛 𝑙 𝑟 𝑙
– 𝑑 𝑛 𝐸 𝑥 𝑛 𝑖 𝑦 𝑛 ≡𝐸 𝑦 𝑛 𝑥 𝑛 𝑖 𝐸 𝑦 𝑛 𝑥 𝑛
𝑙 𝑟 𝑙
– 𝑐 𝑛 ℎ 𝑛, 𝑖 ≡ ℎ 𝑖 𝑐
 Optimum Finite Impulse Response 
Filters (Wiener filters)
• Discrete Wiener‐Hopf Equations for WSS processes

We form the LMMSE estimate by solving the corresponding set of normal equations for the filter coefficients, 𝐜 𝐡 :

𝐑𝐡 𝐝
or in matrix form:
𝑟 0 𝑟 1 ⋯ 𝑟 𝑀 1 ℎ 0 𝑟 0
𝑟 1 𝑟 0 ⋯ 𝑟 𝑀 2 ℎ 1 𝑟 1
⋮ ⋮ ⋱ ⋮ ⋮ ⋮
𝑟 𝑀 1 𝑟 𝑀 2 ⋯ 𝑟 0 ℎ 𝑀 1 𝑟 𝑀 1
That is, a time‐invariant optimum FIR filter is implemented based upon the convolution:

𝑦 𝑛 ℎ 𝑘 𝑥 𝑛 𝑘 𝐡 𝐱 𝑛

where the filter co‐efficients satisfy the discrete‐time Wiener‐Hopf equations:

ℎ 𝑘 𝑟 𝑚 𝑘 𝑟 𝑚 0 𝑚 𝑀 1

and the MMSE is given by:

𝑃 𝑃 ℎ 𝑘 𝑟 𝑘 𝑟 0 ℎ 𝑘 𝑟 𝑘 𝑟 0 𝐡 𝐝
 Optimum Finite Impulse Response 
Filters (Wiener filters)
• 𝑟 𝑙 𝑟 𝑙 and 𝑟 𝑙 𝑟 𝑙
• The correlation matrix, R, for WSS processes is a positive definite, 
symmetric, Toeplitz matrix.
• A Toeplitz matrix is defined such that 𝐴 𝑎, 𝑎 , 1 𝑖
𝑀, 1 𝑗 𝑁, that is, the elements along any diagonal are equal. 
A square Toeplitz matrix appears as:
𝑎 𝑎 𝑎 ⋯ 𝑎
𝑎 𝑎 𝑎 ⋯ 𝑎
• 𝐴 𝑎 𝑎 𝑎 ⋯ 𝑎
⋮ ⋮ ⋮ ⋱ ⋮
𝑎 𝑎 𝑎 ⋯ 𝑎
• A symmetrc, Toeplitz matrix has 𝑎 𝑎
 SNR Improvement
• SNR Improvement
Consider the signal plus noise problem:

where we want to enhance the noisy signal,

, by the estimate of the clean signal using
the Mth order optimum FIR filter:
𝑦 𝑛 ℎ 𝑘 𝑥 𝑛 𝑘 𝐡 𝐱 𝑛
 SNR Improvement
• SNR Improvement
To determine how effective the filter has been
we calculate the SNR Improvement as
𝑆𝑁𝑅 𝑆𝑁𝑅 𝑆𝑁𝑅

where
𝑟 0
𝑆𝑁𝑅 10 log
𝑟 0

and
𝑟 0
𝑆𝑁𝑅 10 log
𝑟 0
 SNR Improvement
• SNR Improvement
We assume that the enhanced signal and noise
are given by 𝑦 𝑛 ℎ 𝑘 𝑦 𝑛 𝑘 𝐡 𝐲 𝑛

𝑣 𝑛 ℎ 𝑘 𝑣 𝑛 𝑘 𝐡 𝐯 𝑛

• which arises if we consider

. Thus we
have that
 SNR Improvement
• SNR Improvement
Thus we have that
𝑟 0 𝐸𝑦 𝑛 𝑦 𝑛 𝐸𝐡 𝐲 𝑛 𝐲 𝑛 𝐡 𝐡 𝐑 𝐡
𝑟 0 𝐸𝑣 𝑛 𝑣 𝑛 𝐸𝐡 𝐯 𝑛 𝐯 𝑛 𝐡 𝐡 𝐑 𝐡
and
𝐡 𝐑 𝐡
𝑆𝑁𝑅 10 log
𝐡 𝐑 𝐡