Lecture

3:
Project Evaluation:

Dr Micheál Collins
mlcollin@tcd.ie

1. Introduction & Purpose
2. Key Questions
3. Thinking about ‘Costs’ (& More)
4. Project Evaluation Methodologies: An Overview
5. When/What to use
6. National Guidelines
7. CBA Explained (in brief)
8. Reading/References for this lecture

1. Introduction & Purpose

• ‘From programmes to projects’
• not a simple divide
• capital investments: transport projects, energy… 
• current/capital interventions: healthcare, education…
• Goal:
tools used to help us make the best possible use of available 
resources in a rational decision‐making context, when we 
want to accrue maximum benefit from our scarce resources
• Part of the decision making process, rather than the 
decision making process
• ‘appraisal’ and ‘evaluation’
• before (ex ante) and after (ex post); interchangeable

1
2. Key Questions
• No project is adopted unless it has answered these 
questions:
• Are there better ways to achieve this objective?
• Are there better uses for these resources?

• This implies:
• exploring options/alternatives
• comparing options/alternatives
• justifying a project (even if no alternatives offered)
• is it welfare enhancing (costs < benefits)?

• Key challenge:
• in order to make comparisons between options
• find a common unit of value for everything
• in general: €
• but, return to this…

3. Thinking about ‘Costs’ (& More)

• A major focus
• Different words, phrases and classifications used
• Fixed, variable, semi‐variable, step costs
• Direct, indirect, intangible
• for an illness… to see
• for a transport project… to discuss

2
An illness:

Direct Costs  to the health care system…treatment costs

 to the community and family…medication
costs

Indirect Costs  productivity losses to employers/society

 lost income to the individual/family

Intangible Costs  costs of pain, suffering, grief

 loss of leisure time
 loss of life (if appropriate)

Transport project:

Direct Costs

Indirect Costs

Intangible Costs

• A few other issues at the outset:
• Time horizons
• some brief, some many years
• depends on project ’lifetime’
• Placing values on things that have no value
• priceless and without a price / without a market
• Difficult questions
• especially in health area
• but, scarce resources
• Uncertainty and estimations

3
4. Project Evaluation Methodologies :
An Overview
• Hierarchy of evaluation techniques
• Ideally, a complete economic evaluation aims to clarify, 
quantify and value all the relevant options, their inputs and 
consequences

• Ambitious; the gold‐standard
• Cost‐Benefit Analysis (CBA)

• Others, not as comprehensive
• CMA; CEA; CUA; MCA

• Overview here…see these again in applications and Lecture 
11 (week 12)

• All have one principle in common:
• they examine one (or more) possible interventions/options 
and compare the inputs or resources necessary to carry out 
such interventions with their consequences and effects

The methods in brief:

Cost‐minimisation Analysis (CMA)
• used when the consequence of the intervention are the 
same
• therefore, focus only on the inputs
• what is the cheapest way to achieve the desired outcome?

4
Cost‐effectiveness Analysis (CEA)
• consequences of different interventions measured in an 
identical way
• inputs are costed
• compare the competing interventions in terms of cost per 
unit of consequence
• e.g. cost per unit increase in reading scores; cost per skilled 
job created
• e.g. cost per hospital admission avoided; cost per illness 
avoided
• Key measure is : 
incremental cost‐effectiveness ratio (ICER)
= change in costs / change in effects

Cost‐utility Analysis (CUA)
• mainly in the healthcare / development area
• used to compare interventions which produce different 
consequences in terms of quantity and quality of life
• measure the success of each using a common measure of 
utility (satisfaction / subjective gains)
• compare the outcomes
• e.g. most common utility measures are QALYs
• quality‐adjusted‐life‐years
• therefore, compare cost per QALY
• http://www.euroqol.org/
• similar concept: DALY

Cost‐benefit Analysis (CBA)
• the most comprehensive / difficult
• when both the inputs and the consequences of different 
interventions are compared in monetary terms
• choose the most desirable
• look at this in more detail shortly

5
Multi‐Criteria Analysis (MCA)
• It establishes preferences between options by reference to 
an explicit set of objectives and measurable criteria to 
assess the extent to which these have been met
• do this by:
• choosing a set of performance criteria
• assigning weights to these criteria
• then scoring options in terms of how well they perform
• the weighted scores are then summed
• options are ranked
• Sometimes called weighting & scoring
• It will reappear in Lecture 11 (week 12)

5. When/What to use
Evaluation requirements for projects:
• DPER / Public Spending Code guidelines
• projects between €5m and €20m – MCA
• projects >€20m – full CBA or CEA

• smaller projects (less than €5m) – a simple appraisal
• e.g. cashflow analysis; qualitative assessment of merit; 
assessment of needs, options and costs

• innovative projects / new technologies / involving 
significant future operational costs – full CBA or CEA
• post‐project reviews on all €20m+ and representative 
sample of completed €5m+ projects

6. National Guidelines
Overall
• DPER The Public Spending Code (2011/2012+)
• DPER The Public Spending Code – technical references (2015)
• Department of Finance Guidelines for the Appraisal and 
Management of Capital Expenditure Proposals in the Public Sector 
(2005)
• CSF Working Rules for CBA (1999)

Sectoral
• Department of Transport Guidelines on a Common Appraisal 
Framework for Transport Projects and Programmes (2009)
• National Roads Authority Project Appraisal Guidelines (2011) ++
• HIQUA Guidelines for the Economic Evaluation of Health 
Technologies in Ireland (2014)
• Others to be references in future classes

6
7. CBA Explained (in brief)
Looking at the key project evaluation method
• Understanding this allows understanding of the others
• Brief overview
• Further notes on the website 

• Definition
• Logic and Role
• The Approach
• Some Challenges

Definition:
Cost Benefit Analysis (CBA) provides a systematic set of 
procedures by which a firm or government can assess 
whether to undertake a project or programme and, when 
there is a choice among mutually exclusive projects or 
programmes, which one to undertake

Logic and Role
• value the benefits to society: economic and social
• value the costs to society: economic and social
• adjust these for time
• combine the costs and benefits and conclude
• if project worthwhile
• which alternative to choose …

7
• Goes beyond qualitative analysis to quantitative analysis
• reduce and control the number of variables faced by a 
decision maker and thereby enable more rational choices 
…common monetary scale (€)
• ensure that societies resources are put to their most 
highly valued uses
• achieve economic efficiency
• evaluate what the market omits: the perspective of 
society

Overall the general principal of CBA:

“to assess whether or not the social and economic

benefits associated with a project are greater than its
social and economic costs”

Department of Finance (2005:38) Guidelines for the

Appraisal and Management of Capital Expenditure
Proposals in the Public Sector

The Approach
• Many opinions on how to do a CBA
• Key references are:
• DPER (2011/12) D.03 and DPER (2015) Section E
• Department of Finance (2005) 
• UK Treasury Green Book
• European Commission (2008)
• Boardman et al (2006)

• Overview of 8 major steps to follow when carrying out a 
CBA

8
 The Major Steps:
Step 1: Defining objectives and boundaries
Step 2: Identifying alternatives
Step 3: Identifying constraints
Step 4: Estimating costs and benefits
Step 5: Adjusting the values of costs and benefits
Step 6: Calculating the decision criteria
Step 7: Sensitivity analysis
Step 8: Make a Recommendation

Step 1: Defining objectives and boundaries

• At the outset it is crucial to specify the objectives of a 
project
• These should be as explicit, precise and amenable to 
measurement as possible (SMART)
• Why?
• allows the possibility to identify alternatives
• facilitates assessment of the costs and benefits
• makes easier to identify for whom benefit is intended
• Examples / Multiple objectives: explicit and ordered

• The boundaries or scope of the project are also 

important
• What to count
• ‘self‐sufficient unit of analysis’ (DPER p8)
• only the costs/benefits from decisions left to be made…no sunk 
costs
• For how long
• ‘the economically useful life of the project’

• Overall: a clear indication of what the project is about 
and its scope

9
Step 2: Identifying alternatives
• Prepare a list of the range of actions which government 
could possibly take to achieve the identified objectives
• Normally include some counterfactuals:
• “do‐nothing” option
• “do‐minimum” option**
• private sector option
• Big programme: wide range considered, then short‐list 
chosen for detailed appraisal…how?
• Care in short‐listing: reasons recorded for each exclusion

Step 3: Identifying constraints

• These take several forms:
• Budgetary constraints
• Environmental constraints
• Production constraints
• Legal constraints
• Policy constraints  
• Distributional constraints

• Those relevant must be borne in mind when appraising a 
programme

Step 4: Estimating costs & benefits

A few points on step 4:
• Idea is to calc all the costs and benefits, add them 
together and see which project gives the greatest benefit
• important not to be “spuriously accurate” 
• normally look at C&B over lifetime of project
• includes ‘residual costs’ (+ / ‐)
• normally based on market prices…opportunity cost
• wider social and environmental C&B must be included 
(no mkt price available)

10
Estimating costs and benefits
• Where mkt prices exist (accurately reflect…) then 
analysis is straightforward
• But often
(i) Market prices are misleading
(ii) Market prices are not available
• When and what to do…

(i) Market prices are misleading
• distorted …poor indicators of social c&b’s
• classic reason: imperfect competition
• higher P and lower Qty than in perfect competition
• others: price supports, subsidies, taxation…
• Solution is:
• shadow prices
• e.g. labour and high unemp = lower shadow price
• but care and requirements on estimates
• willingness to pay estimates

(ii) Market prices are not available
• In some cases there are no market prices
• for: public goods, externalities, intangibles
• Values obtained indirectly – guidelines provide these
• willingness to pay; stated preference; revealed preference

• Some examples:
• the value of time
• the value of life
• the value of environmental externalities

11
 The value of time
 Time savings = major benefits of transport initiatives
 “time is money” 
 Assumption that: the wage rate provides a measure of an 
individual’s evaluation of their own time
 Labour v leisure
 a value is inferred or revealed given an individuals’ life
 Basic ideal: if new motorway reduces commuting time by 20 
mins and hourly wage rate for a person is €15, then value of 
saving to that person = €5

Some considerations:
 labour market conditions and the value of marginal gains in 
time…shadow price of labour
 small savings of time by many people may amount to a lot but 
be valued very little
 value different depending on when you save the time
 working time v leisure time
 and where you save the time
 leisure v walking v waiting

Department of Transport – 2002 values (updating)
see dropbox for document
• Work time = €26.50 per hour
• Non‐work:

Non-work Walk (x2) Waiting (x2.5)

Commuting €8.10 €16.20 €20.25
Non-Commuting €7.30 €14.60 €18.25
• They provide inflators to update values to today’s terms
• Critique of these?

12
The value of life
 ‘Value of a statistical life’
 Most controversial aspect of CBA
 distasteful but highly relevant
 healthcare projects, transport improvements, road 
safety campaigns…
 3 approaches
 Foregone earnings
 Wage premiums for risk
 Contingent valuation

• Irish Values (2002 basis) from Department of Transport 
document (2004 and 2010)
• Statistical value of a life saved
• plus accidents avoided
• plus injuries avoided
• There are other values used
• health literature and broad ranges
• World Bank…

Irish Values (2002 basis):

13
The value of environmental externalities
(i) Pricing Emissions
 new development in June 2009 (DOF circular)
 Updated in 2015 – DPER (document E5)
 require inclusion of C02e in CBA and other project appraisals 
(7 green house gases)
 values provided – ‘shadow price of public carbon’
 scope: only direct C02 emissions from within state 
jurisdiction and not already accounted for
• “the resources used to estimate C02e emissions should be 
proportionate to the scale of the project” (2009)
• prices 2014‐2020 and beyond:

September 2015 published values:

14
 (ii) Pricing noise pollution
Dept of Finance June 2009:
“Departments/Agencies should consider sector specific
emissions, such as noise, air quality (NOx, SOx, particulate
matter), and vibrations in addition to C02e emissions and
where relevant, possible and significant include these
costs/benefits in the CBA”

DPER September 2015:
“CBAs should also monetise the value of emissions of other 
specified non‐GHG emissions (NOX, SO2, PM and noise) 
where such emissions are considered relevant, significant 
and practicable for inclusion” 

 calculation of the impact of noise as a result of a project / 
development
 e.g. new transport infrastructure (airport), industrial 
development, traffic plans…
 measured as increase or decrease in noise levels in average 
decibels (dB(A))
 DoT recommend €28 DB(A) per person per year (2010: 24‐25)

Step 5: Adjusting the values of

costs and benefits
Six adjustments to consider
i. Present values
ii. The social discount rate
iii. Real Prices
iv. Shadow Price of Labour
v. Shadow Price of Public Funds
vi. Distributional issues

15
(i) Present values
 costs and benefits occur in different time periods
 “time preference”: people prefer to receive goods 
and services now rather than later
 calculate the present value of costs and benefits
 use the interest rate (i)
 if the i rate is 5%, the present value of a benefit of 
€105 next year is €100
 You discount the future value by a value between 0‐
1, known as the discount rate or discount factor
 Formula to calculate it…

 Discount factor formula:

i = the interest rate
n = the number of years time the amount accrues

Discount factor =  1
(1 + i ) n
See UK Green Book table ‐ attached

(ii) The social discount rate
 Just like people, society likes to receive goods and 
services now rather than later
 tend to use a different discount rate to that used by the 
private sector
 called the social discount rate
 Why?
 society takes a longer perspective, not as much rush for 
returns
 market rates contain a risk premium, state is less risky
 DPER: 5% in real terms
 A case for different (lower) rates for projects of 30yrs+ ‐
but these are few (hyperbolic discount rate)

16
(iii) Real prices
 Future costs and benefits need to be adjusted for the 
effect of inflation
 compared at ‘constant prices’ or in ‘real terms’
 deflate all future values by the expected inflation value
 Annual figure from Dept of Finance
 “2% per annum over the medium to longer term”
 See circular from July 2009 ‐ dropbox

(iv) Shadow Price of Labour
 We have a market price for labour
 In certain circumstances a case can be made for using a 
shadow price for labour costs
 where there is high unemployment  there are some resources 
with zero or low opportunity costs
 therefore full price is misleading…
 DPRE (2015) suggest a shadow price of 80%‐100%
 Same as (1999) DOF approach
 Care using this:
 need to justify
 but even so, use the market price (100%) too
 Not very common – sector applications only; costs only

(v) Shadow Price of Public Funds
 public and private funds should not be treated the same
 €1000 of additional private investment as a result of the 
imposition of €999 of additional tax could be counted as a 
net gain
 but in raising this tax – distorts the economy
 higher taxes might damage competitiveness… P…
 solution is to weight public costs
 vary depending on the tax system
 DPRE (2015) suggest a shadow price of 130%
 the above analysis: €1000 benefits v €1298.70 costs…a 
net loss
 more or less as per international approach…deadweight 
loss of taxation

17
(vi) Distributional issues
 How are the costs and benefits distributed?
 if person A gains €200 and person B looses €100: overall 
society gains but if person B was poor and is now 
poorer?
 possible to take into account distributional issues by 
attaching weights to the benefits and costs
 benefits to disadvantaged groups weighted more than 
those to the better‐off
 but, define these groups; which weights to use?
 seldom used
 alternative = compare inequality pre and post policy

• Overall:
 Adjust the costs and benefits to present values by:
 shadow price use (if appropriate)
 adjusting for inflation
 and discounting using the social discount rate

Step 6: Calculating the decision criteria

• Once our calculations are complete, how do we interpret the 
final result?

• 3 decision criteria
(i) net present value (NPV)
(ii) internal rate of return (IRR)
(iii) benefit‐cost ratio

18
(i) net present value (NPV)
 Get net present costs and net present benefits
 costs are subtracted from benefits and the net 
benefits are expressed at their present value
 if NPV is positive then project is accepted
 if NPV is zero then project is indifferent
 if NPV is negative then project is rejected
 projects with positive NPVs enable efficient allocation 
of resources and represent an improvement to the 
welfare of society
 competing projects: choose one with highest NPV

(ii) internal rate of return (IRR)
 the discount rate that will make the NPV of a project 
equal to zero
 a project is worthwhile if the IRR is greater than the 
discount rate used
 an IRR of 15% means that at a discount rate of 15% the 
project just breaks even; it could earn back all the 
capital and operating costs and pay 15% for the use of 
the money
 problem: not good for comparing competing projects; 
does not account for the size of the project

(iii) benefit‐cost ratio
 ratio of discounted benefits to discounted costs
 a project is accepted if BC ratio > 1
 more benefits than costs
 problem: misleading if used to rank projects as it 
ignores the size of the project

19
• Of the three decision criteria, the NPV approach is 
considered:
• the most reliable method
• and the best method to use

Step 7: Sensitivity analysis

• CBA’s are performed ‘ex‐ante’
• always likely to be some difference between what is 
expected and what eventually happens
• need to take these uncertainties and risks into account
• key approach = sensitivity analysis
• involves recalculating the NPV at different values for 
parameters
• if i rates were higher
• if wages rates grew by 10% and not 5%
• if revenues were lower than expected

• primary variables that are uncertain:
• the discount rate
• wage rate growth
• forecast revenues
• forecast demand
• input prices
• input quantities
• project life span
• C02e values

• performing this: pinpoint areas of risk to project
• 1‐way; 2‐way; scenario analysis
• ‘best’ and ‘worst’ case

20
Step 8: Make a Recommendation
• Based on the analysis and the sensitivity testing… 

Summary: The 8 Major Steps
Step 1: Defining objectives and boundaries
Step 2: Identifying alternatives
Step 3: Identifying constraints
Step 4: Estimating costs and benefits
Step 5: Adjusting the values of costs and benefits
Step 6: Calculating the decision criteria
Step 7: Sensitivity analysis
Step 8: Make a Recommendation

Some Challenges
• Appropriate short‐listing
• Establishing prices
• shadow prices
• relying on willingness‐to‐pay techniques…subjective
• Over optimism & intentional pessimism
• Avoiding double counting

21
• Unquantifiable costs and benefits
 it may be the case that it is just not possible to 
quantify some costs and benefits
 too difficult; no data available; too much time 
involved, no suitable shadow prices…
 cannot ignore these…give misleading indications of 
best project to pursue
 solution (1): present results in a form which allows the 
decision maker to take these into account
 solution (2): provide a central estimate together with 
a max and min plausible valuation 
 solution (3): adopt an alternative methodology that 
works without valuing everything

8. Reading and References

• Documents in the dropbox
• Project Guidelines:
• DPER (2011/12) Public Spending Code (Doc D.03)
• DPER (2015) Public Spending Code (Doc E – Technical 
References)
• Department of Finance Capital Appraisal (2005)
• CSF Working Rules for CBA (1999)
• Department of Transport Guidelines (2010)
• Department of Transport CBA values x2 (2005)
• NRA Guidelines (2011) 
• HIQUA Guidelines (2014)
• European Commission (2008)

22
• Key Readings
• Boardman et al – CBA Steps (Handout)
• UK Green Book (2003 updated 2011)
• DPER (2011/12 & 2015) Public Spending Code

23
Annex 6: Discount Rate

DISCOUNT FACTORS
Discount rates
Year 1.0% 2.0% 3.0% 3.5% 4.0% 5.0% 6.0% 7.0% 8.0% 9.0% 10.0%

0 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000
1 0.9901 0.9804 0.9709 0.9662 0.9615 0.9524 0.9434 0.9346 0.9259 0.9174 0.9091
2 0.9803 0.9612 0.9426 0.9335 0.9246 0.9070 0.8900 0.8734 0.8573 0.8417 0.8264
3 0.9706 0.9423 0.9151 0.9019 0.8890 0.8638 0.8396 0.8163 0.7938 0.7722 0.7513
4 0.9610 0.9238 0.8885 0.8714 0.8548 0.8227 0.7921 0.7629 0.7350 0.7084 0.6830
5 0.9515 0.9057 0.8626 0.8420 0.8219 0.7835 0.7473 0.7130 0.6806 0.6499 0.6209
6 0.9420 0.8880 0.8375 0.8135 0.7903 0.7462 0.7050 0.6663 0.6302 0.5963 0.5645
7 0.9327 0.8706 0.8131 0.7860 0.7599 0.7107 0.6651 0.6227 0.5835 0.5470 0.5132
8 0.9235 0.8535 0.7894 0.7594 0.7307 0.6768 0.6274 0.5820 0.5403 0.5019 0.4665
9 0.9143 0.8368 0.7664 0.7337 0.7026 0.6446 0.5919 0.5439 0.5002 0.4604 0.4241
10 0.9053 0.8203 0.7441 0.7089 0.6756 0.6139 0.5584 0.5083 0.4632 0.4224 0.3855
11 0.8963 0.8043 0.7224 0.6849 0.6496 0.5847 0.5268 0.4751 0.4289 0.3875 0.3505
12 0.8874 0.7885 0.7014 0.6618 0.6246 0.5568 0.4970 0.4440 0.3971 0.3555 0.3186
13 0.8787 0.7730 0.6810 0.6394 0.6006 0.5303 0.4688 0.4150 0.3677 0.3262 0.2897
14 0.8700 0.7579 0.6611 0.6178 0.5775 0.5051 0.4423 0.3878 0.3405 0.2992 0.2633
15 0.8613 0.7430 0.6419 0.5969 0.5553 0.4810 0.4173 0.3624 0.3152 0.2745 0.2394
16 0.8528 0.7284 0.6232 0.5767 0.5339 0.4581 0.3936 0.3387 0.2919 0.2519 0.2176
17 0.8444 0.7142 0.6050 0.5572 0.5134 0.4363 0.3714 0.3166 0.2703 0.2311 0.1978
18 0.8360 0.7002 0.5874 0.5384 0.4936 0.4155 0.3503 0.2959 0.2502 0.2120 0.1799
19 0.8277 0.6864 0.5703 0.5202 0.4746 0.3957 0.3305 0.2765 0.2317 0.1945 0.1635
20 0.8195 0.6730 0.5537 0.5026 0.4564 0.3769 0.3118 0.2584 0.2145 0.1784 0.1486
21 0.8114 0.6598 0.5375 0.4856 0.4388 0.3589 0.2942 0.2415 0.1987 0.1637 0.1351
22 0.8034 0.6468 0.5219 0.4692 0.4220 0.3418 0.2775 0.2257 0.1839 0.1502 0.1228
23 0.7954 0.6342 0.5067 0.4533 0.4057 0.3256 0.2618 0.2109 0.1703 0.1378 0.1117
24 0.7876 0.6217 0.4919 0.4380 0.3901 0.3101 0.2470 0.1971 0.1577 0.1264 0.1015
25 0.7798 0.6095 0.4776 0.4231 0.3751 0.2953 0.2330 0.1842 0.1460 0.1160 0.0923
26 0.7720 0.5976 0.4637 0.4088 0.3607 0.2812 0.2198 0.1722 0.1352 0.1064 0.0839
27 0.7644 0.5859 0.4502 0.3950 0.3468 0.2678 0.2074 0.1609 0.1252 0.0976 0.0763
28 0.7568 0.5744 0.4371 0.3817 0.3335 0.2551 0.1956 0.1504 0.1159 0.0895 0.0693
29 0.7493 0.5631 0.4243 0.3687 0.3207 0.2429 0.1846 0.1406 0.1073 0.0822 0.0630
30 0.7419 0.5521 0.4120 0.3563 0.3083 0.2314 0.1741 0.1314 0.0994 0.0754 0.0573

LONG TERM DISCOUNT FACTORS

Year Long Term Year Long Term

Discount Factor Discount Factor

0 1.0000 23 0.4533
1 0.9662 24 0.4380
2 0.9335 25 0.4231
3 0.9019 26 0.4088
4 0.8714 27 0.3950
5 0.8420 28 0.3817
6 0.8135 29 0.3687
7 0.7860 30 0.3563
8 0.7594 40 0.2651
9 0.7337 50 0.1973
10 0.7089 60 0.1468
11 0.6849 75 0.0942
12 0.6618 80 0.0833
13 0.6394 90 0.0651
14 0.6178 100 0.0508
15 0.5969 125 0.0274
16 0.5767 150 0.0167
17 0.5572 200 0.0062
18 0.5384 250 0.0029
19 0.5202 300 0.0014
20 0.5026 350 0.0009
21 0.4856 400 0.0005
22 0.4692 500 0.0002

100 THE GREEN BOOK