25/03/2016

Multi‐Criteria Decision Analysis
Notes by Dr. Mark Knight
Professor
Department of Civil and Environmental Engineering
University of Waterloo

Applying MCA: Detailed steps
1. Establish the decision context. What are the aims of the MCA, and who 
are the decision makers and other key players?
2. Identify the options.
3. Identify the objectives and criteria that reflect the value associated with 
the consequences of each option.
4. Describe the expected performance of each option against the criteria. 
(If the analysis is to include steps 5 and 6, also ‘score’ the options, i.e. 
assess the value associated with the consequences of each option.)
5. ‘Weighting’. Assign weights for each of the criteria to reflect their 
relative importance to the decision.
6. Combine the weights and scores for each of the options to derive an 
overall value.
7. Examine the results.
8. Conduct a sensitivity analysis of the results to changes in scores or 
weights.

1
 25/03/2016

Applying MCA: Detailed steps
1. Establish the decision context. What are the aims of the MCA, and who 
are the decision makers and other key players?
2. Identify the options.
3. Identify the objectives and criteria that reflect the value associated with 
the consequences of each option.
4. Describe the expected performance of each option against the criteria. 
(If the analysis is to include steps 5 and 6, also ‘score’ the options, i.e. 
assess the value associated with the consequences of each option.)
5. ‘Weighting’. Assign weights for each of the criteria to reflect their 
relative importance to the decision.
6. Combine the weights and scores for each of the options to derive an 
overall value.
7. Examine the results.
8. Conduct a sensitivity analysis of the results to changes in scores or 
weights.

Applying MCA: Detailed steps
1. Establish the decision context. What are the aims of the MCA, and who 
are the decision makers and other key players?
2. Identify the options.
3. Identify the objectives and criteria that reflect the value associated with 
the consequences of each option.
4. Describe the expected performance of each option against the criteria. 
(If the analysis is to include steps 5 and 6, also ‘score’ the options, i.e. 
assess the value associated with the consequences of each option.)
5. ‘Weighting’. Assign weights for each of the criteria to reflect their 
relative importance to the decision.
6. Combine the weights and scores for each of the options to derive an 
overall value.
7. Examine the results.
8. Conduct a sensitivity analysis of the results to changes in scores or 
weights.

2
 25/03/2016

Applying MCA: Detailed steps
1. Establish the decision context. What are the aims of the MCA, and who 
are the decision makers and other key players?
2. Identify the options.
3. Identify the objectives and criteria that reflect the value associated with 
the consequences of each option.
4. Describe the expected performance of each option against the criteria. 
(If the analysis is to include steps 5 and 6, also ‘score’ the options, i.e. 
assess the value associated with the consequences of each option.)
5. ‘Weighting’. Assign weights for each of the criteria to reflect their 
relative importance to the decision.
6. Combine the weights and scores for each of the options to derive an 
overall value.
7. Examine the results.
8. Conduct a sensitivity analysis of the results to changes in scores or 
weights.

Decision Matrix
• Is a matrix that consists of a number of 
strategies (also called: alternatives / actions) 
and a number of criteria (also called: aspects / 
dimensions) by which they are ranked.

3
 25/03/2016

General Decision Matrix

Example Decision Matrix

4
 25/03/2016

Decision Matrix with No Scoring

Applying MCA: Detailed steps
1. Establish the decision context. What are the aims of the MCA, and who 
are the decision makers and other key players?
2. Identify the options.
3. Identify the objectives and criteria that reflect the value associated with 
the consequences of each option.
4. Describe the expected performance of each option against the criteria. 
(If the analysis is to include steps 5 and 6, also ‘score’ the options, i.e. 
assess the value associated with the consequences of each option.)
5. ‘Weighting’. Assign weights for each of the criteria to reflect their 
relative importance to the decision.
6. Combine the weights and scores for each of the options to derive an 
overall value.
7. Examine the results.
8. Conduct a sensitivity analysis of the results to changes in scores or 
weights.

5
 25/03/2016

Scoring
• Set up consistent numerical scales for the assessment of criteria so 
that sense of direction is same in all cases ‐ better levels of 
performance lead to higher value scores
• Conventional to allot a value score to each criterion between 0 to 
100 on an interval scale
• Define the levels of performance corresponding to any two reference 
points on the scale, and (usually) use the two extreme scores of 0 
and 100
• For example, assign a score of 0 to represent the worst level of 
performance that is likely to be encountered and 100 to represent 
the best level.

Scoring

6
 25/03/2016

Scoring

Decision Matrix with No Scoring

7
 25/03/2016

Decision Matrix With Scoring

Applying MCA: Detailed steps
1. Establish the decision context. What are the aims of the MCA, and who 
are the decision makers and other key players?
2. Identify the options.
3. Identify the objectives and criteria that reflect the value associated with 
the consequences of each option.
4. Describe the expected performance of each option against the criteria. 
(If the analysis is to include steps 5 and 6, also ‘score’ the options, i.e. 
assess the value associated with the consequences of each option.)
5. ‘Weighting’. Assign weights for each of the criteria to reflect their 
relative importance to the decision.
6. Combine the weights and scores for each of the options to derive an 
overall value.
7. Examine the results.
8. Conduct a sensitivity analysis of the results to changes in scores or 
weights.

8
 25/03/2016

Weights
• A unit of preference on one does not 
necessarily equal a unit of preference on 
another.

Weights
• The weight on a criterion reflects both the 
range of difference of the options, and how 
much that difference matters. So it may well
happen that a criterion which is widely seen 
as ‘very important’ – say safety – will have a 
similar or lower weight than another relatively 
lower priority criterion – say maintenance 
costs. This would happen if all the options had 
much the same level of safety but varied 
widely in maintenance costs. 

9
 25/03/2016

Weights
• Any numbers can be used for the weights so 
long as their ratios consistently represent the 
ratios of the valuation of the differences in 
preferences between the top and bottom 
scores (whether 100 and 0 or other numbers) 
of the scales which are being weighted.

Applying MCA: Detailed steps
1. Establish the decision context. What are the aims of the MCA, and who 
are the decision makers and other key players?
2. Identify the options.
3. Identify the objectives and criteria that reflect the value associated with 
the consequences of each option.
4. Describe the expected performance of each option against the criteria. 
(If the analysis is to include steps 5 and 6, also ‘score’ the options, i.e. 
assess the value associated with the consequences of each option.)
5. ‘Weighting’. Assign weights for each of the criteria to reflect their 
relative importance to the decision.
6. Combine the weights and scores for each of the options to derive an 
overall value.
7. Examine the results.
8. Conduct a sensitivity analysis of the results to changes in scores or 
weights.

10
 25/03/2016

Weight Calculation
CALCULATE OVERALL WEIGHTED SCORES AT EACH LEVEL IN THE 
HIERARCHY
• The overall preference score for each option is simply the weighted 
average of its scores on all the criteria. 
• Letting the preference score for option ݅ on criterion ݆ be 
represented by ‫ݏ‬௜௝ and the weight for each criterion by ‫ݓ‬௝ , then n 
criteria the overall score for each option, ܵ௜ , is given by:

• In words, multiply an option’s score on a criterion by the 
importance weight of the criterion, do that for all the criteria, then 
sum the products to give the overall preference score for that 
option. Then repeat the process for the remaining options.

CALCULATE OVERALL 
WEIGHTED SCORES
• The theory of MCDA makes clear that the simple 
weighted averaging calculation is justified only if one 
particular condition is met: all the criteria must be 
mutually preference independent. 

• This is a straightforward idea, simpler and less 
restrictive than real‐world independence or statistical 
independence. 

•This means that the preference scores assigned to all 
options on one criterion are unaffected by the preference 
scores on the other criteria. 

11
 25/03/2016

CALCULATE OVERALL 
WEIGHTED SCORES
An example
• Two criteria can be causally linked in the real world, 
creating statistical correlation between the scores on the 
two criteria, yet be preference independent. 
• Cars with well‐appointed interiors are generally more 
expensive; price and poshness are positively correlated.
• However, most people generally prefer nicer interiors and 
less pricey cars.  Preference scores can be given for cars’ 
interiors without knowing what the cars cost, and for price 
without knowing how well appointed the interiors are. 
• Preferences are mutually independent even though 
correlation exists in the real world.

12
 25/03/2016

CALCULATE OVERALL 
WEIGHTED SCORES

Applying MCA: Detailed steps
1. Establish the decision context. What are the aims of the MCA, and who 
are the decision makers and other key players?
2. Identify the options.
3. Identify the objectives and criteria that reflect the value associated with 
the consequences of each option.
4. Describe the expected performance of each option against the criteria. 
(If the analysis is to include steps 5 and 6, also ‘score’ the options, i.e. 
assess the value associated with the consequences of each option.)
5. ‘Weighting’. Assign weights for each of the criteria to reflect their 
relative importance to the decision.
6. Combine the weights and scores for each of the options to derive an 
overall value.
7. Examine the results.
8. Conduct a sensitivity analysis of the results to changes in scores or 
weights.

13
 25/03/2016

Applying MCA: Detailed steps
1. Establish the decision context. What are the aims of the MCA, and who 
are the decision makers and other key players?
2. Identify the options.
3. Identify the objectives and criteria that reflect the value associated with 
the consequences of each option.
4. Describe the expected performance of each option against the criteria. 
(If the analysis is to include steps 5 and 6, also ‘score’ the options, i.e. 
assess the value associated with the consequences of each option.)
5. ‘Weighting’. Assign weights for each of the criteria to reflect their 
relative importance to the decision.
6. Combine the weights and scores for each of the options to derive an 
overall value.
7. Examine the results.
8. Conduct a sensitivity analysis of the results to changes in scores or 
weights.

Sensitivity Analysis 
(Change Price Weight from 30 to 0)

14
 25/03/2016

Sensitivity Analysis 
(Evenness of Toasting  from 15 to 30)

Multi‐Criteria Decision Analysis
• Since MCDA involves a certain element of 
subjectiveness, the morals and ethics of the 
persons implementing MCDA play a significant 
part in the accuracy and fairness of MCDA's 
conclusions. 
• The ethical point is very important when one 
is making a decision that seriously impacts on 
other people, as opposed to a personal 
decision.

15
 25/03/2016

Methods for MCDA
A variety of MCDA methods exist to develop score and weight criteria:
• Aggregated Indices Randomization Method (AIRM)
• Analytic hierarchy process (AHP)
• Analytic network process (ANP)
• The evidential reasoning approach (ER)
• Goal programming
• Measuring Attractiveness by a categorical Based Evaluation Technique(MACBETH)
• Multi‐Attribute Global Inference of Quality (MAGIQ)
• Multi‐attribute utility theory (MAUT)
• Multi‐attribute value theory (MAVT)
• Nonstructural Fuzzy Decision Support System (NSFDSS)
• Potentially All Pairwise RanKings of all possible Alternatives (PAPRIKA)
• Value analysis (VA)
• Value engineering (VE)
• Weighted product model (WPM)
• Weighted sum model (WSM)

Multi‐Criteria Decision Analysis
• Different methods may yield different results for 
exactly the same problem. 
• In other words, when exactly the same problem 
data are used with different MCDA / MCDM 
methods, such methods may recommend 
different solutions even for very simple problems 
(i.e., ones with very few alternatives and criteria). 
• This raises the fundamental issues of how to 
evaluate and compare various MCDA / MCDM 
methods.

16
 25/03/2016

Multi‐Criteria Decision Analysis
• Choosing the best MCDA / MCDM method is 
itself a multi‐criteria decision making problem, 
in which the alternatives are the methods 
themselves and the decision criteria are the 
various evaluative ways for comparing them. 
• Finding the best MCDA / MCDM method 
requires using the best MCDA / MCDM 
method on this fundamental problem. 
• This leads to a decision making paradox.

Model Choice
• The choice of which model is most 
appropriate depends on the problem at hand 
and may be to some extent dependent on 
which model the decision maker is most 
comfortable with. 
• A question with all methods and future 
methods, is how to assess their effectiveness. 

17
 25/03/2016

Testing MCDA Models
• How can one evaluate decision making
methods? 
• This is a very difficult issue and may not be 
answered in a globally accepted manner.

Rank Reversals in Decision Making
• One way to test the validity of decision making
methods is to construct special test problems 
and then study the solutions they derive. 
• If the solutions exhibit some logic 
contradictions (in the form of undesirable rank 
reversals of the alternatives), then one may 
argue that something is wrong with the 
method that derived them.

18
 25/03/2016

Rank Reversals in Decision Making
• Suppose that three candidates are evaluated for some job 
opening. Let us designate these candidates as A, B, and C. 
• Suppose that some decision making method has 
determined that the best candidate for that job is person A, 
followed by B, who is followed by C.
• This is the first ranking and it is indicated as follows: A > B > 
C (where > means better than). 
• Next, suppose that candidate B (who is not the best one) is 
replaced by an even worse candidate, say person D. That is, 
now we have B > D, and candidate B is replaced by D while 
candidates A and C remain in the pool of candidates with 
exactly the same characteristics as before. 

Rank Reversals in Decision Making
• When the new set of alternatives (i.e., candidates 
A, D and C) are ranked together and by assuming 
that the criteria have exactly the same weights as 
before, then should not candidate A still be the 
best one?
• It turns out that under some decision making 
methods the best alternative may be different 
now..
• This is known as a rank reversal and it is one of 
the types of rank reversals.

19
 25/03/2016

Rank Reversals in Decision Making
• The issue of rank reversals has captured the 
interest of many researchers and practitioners 
in the field of decision making. 
• It is something that continues to be 
considered controversial by many and is a 
subject area of debated by academics.

Different Types of Rank Reversals
• There are many different types of rank 
reversals, depending on how the alternatives 
in a problem are defined and evaluated. These 
types are described as Type 1, Type 2, Type 3, 
Type 4, and Type 5.

20
 25/03/2016

Type 1
• As stated earlier, one may introduce identical 
or near‐identical copies of non‐optimal 
alternatives and then check to see if the 
indication of the best alternative changes or 
not.[

Type 2
• Another way is to replace a non‐optimal 
alternative with a worse one and then see if 
the indication of the best alternative changes 
or not

21
 25/03/2016

Type 3
• Run some tests as follows. First consider a 
problem with all the alternatives together and 
get a ranking. Next, decompose the original 
problem into a set of smaller problems 
defined on two alternatives at a time and the 
same criteria (and their weights) as before. 
Get the rankings of these smaller problems 
and check to see if they are in conflict with the 
ranking of the alternatives of the original 
(larger) problem

Type 4
• This is like the previous case, but now ignore the 
ranking of the original (larger) problem. Instead, 
check to see if the rankings of the smaller 
problems are in conflict with each other. For 
instance, suppose that the following 3 
alternatives A, B, and C are considered. Next, 
suppose that some 2‐alternative problems are 
solved and the rankings A > B, B > C, and C > A, 
are derived from these 2‐alternative problems. 
Obviously, the above situation indicates a case of 
non‐transitivity (or contradiction) as we get A > B 
> C > A.

22
 25/03/2016

Type 5
• All previous types of rank reversals are known to occur with 
the analytic hierarchy process (AHP) and its additive 
variants, the TOPSIS and ELECTRE methods and their 
variants.
• The weighted product model (WPM) does not exhibit the 
previous types of rank reversals, due to the multiplication 
formula it uses.[However, the WPM does cause rank 
reversals when it is compared with the weighted sum 
model (WSM) and under the condition that all the criteria 
of a given decision problem can be measured in exactly the 
same unit.
• The same is true with all the previous methods as well. 
• This is the Type 5 ranking reversal.

Other Rank Reversals
• It is quite possible to define more types of 
rank reversals. One only needs to determine 
ways to alter a test problem and see how the 
ranking of the alternatives of the new problem 
differs from the original ranking of the 
alternatives of the original problem. 
Furthermore, the difference in rankings, 
somehow, should indicate the presence of 
undesirable effects.

23
 25/03/2016

Are rank reversals always 
undesirable?
• Decision making methods are used to make decisions in many 
aspects of human activity. 
• This is especially true with decisions that involve large amounts of 
money or decisions that may have huge impact on large numbers of 
people. 
• Given the well‐established fact that difference methods may yield 
different answers when they are fed with exactly the same 
problem, the question is how to evaluate them.
• Rank reversals are at the very heart of assessing the merits of such 
methods. 
• At the same time, there are at the center of many heated debates 
in this area. 
• Many authors use them as means to criticize decision making 
methods or to better explain rational behavior. 

24