08/06/2022

Potential sources of error in Marketing

Research
►Several potential sources of error can 
Sources of Error in  affect a research design and a design 
Research attempts to control the sources of error. 
►If the focus of a study is a quantitative 
measurement, the Total Error is the 
difference between the true population 
Dr. Anoop Kumar Gupta parameter, for the variable of interest, and 
the observed value obtained in the 
MAIT marketing research project. 
1 2

Total Error Random sampling error

►Sampling error ‐ when the sample is not 
Total Error = Random Sampling Error     representative of the population. 
+ Non‐sampling Error ►When random sampling techniques are used to 
select elements for the sample, sampling error 
occurs by chance.
• For eg., the annual average income of a target 
►Many times the statistic computed on the 
population may be Rs 2,85,650, as determined 
sample is not an accurate estimate of the 
from census information via tax returns, but a 
population parameter because the sample was 
marketing research project estimates it at Rs 
not representative of the population. 
1,50,580 based upon a sample survey. 
3 4
 08/06/2022

Random sampling error Random sampling error

►A statistical fluctuation that occurs because of  ► It is the difference between the sample result and 
chance variation in the elements selected for a  the result of a census conducted using identical 
sample. procedures. 
► Needless to say that the result of a census is unknown 
►The error arising because the particular sample 
unless one is taken, which is rarely done. 
selected is an imperfect representation of the 
► Random sampling error occurs because of chance 
population of interest. 
variation in the scientific selection of sampling units. 
►It may be defined as the variation between the 
► The sampling units, even if properly selected 
true mean value for the sample and the true  according to sampling theory, may not perfectly 
mean value of the population. represent the population, but generally they are 
reliable estimates.
5 6

Random sampling error Types of error - Non Sampling Error

► The process of randomization is a procedure designed  Non‐sampling error (Systematic Error)
to give everyone in the population an equal chance of 
►An error that can be attributed to sources other 
being selected as a sample member 
than sampling: including errors in problem 
► This means that properly selected samples generally 
are good approximations of the population. 
definition, approach, scales, questionnaire 
design, interviewing methods, and data 
► Still, the true population value almost always differs 
slightly from the sample value, causing a small random  preparation and analysis.  
sampling error. ►Non‐sampling errors consist of
► Every once in a while, an unusual sample is selected  1. Non‐response errors
because too many atypical people were included in the 
sample and a large random sampling error occurred.
2. Response errors
7 8
 08/06/2022

Potential Sources of Error in Research Designs

Potential Sources of Error in Research Designs

Total Error

Random Non-sampling
Sampling Error Error

Response Non-response
Error Error

Researcher Interviewer Respondent

Error
Surrogate Information Error
Measurement Error
Population Definition Error
Sampling Frame Error
Data Analysis Error
Error
Respondent Selection Error
Questioning Error
Recording Error
Cheating Error
Error
Inability Error
Unwillingness Error

Non-response error (Systematic Error) Response error

► Non‐response error arises when some of the  ► Response error arises when respondents give 
respondents included in the sample do not respond.  inaccurate answers or their answers are mis‐
► The primary causes of non‐response are refusals and  recorded or mis‐analysed.
not‐at‐homes.  ► A type of non‐sampling error arising from 
► Non‐response will cause the net or resulting sample to  respondents who do respond but who give 
be different in size or composition from the original  inaccurate answers or whose answers are mis‐
sample.  recorded or mis‐analysed. 
► Non‐response error is defined as the variation  ► It may be defined as a variation between the true 
between the true mean value of the variable in the  mean value of the variable in the net sample and 
original sample and the true mean value in the net  the observed mean value obtained in the market
sample.  research project.
11 12
 08/06/2022

Response error Response error- Researcher Error

►A response bias occurs when respondents tend  ►Researcher Error occurs at research design 
to answer questions with a certain personal  stage and includes:
opinion.   Surrogate Information
►People may consciously or unconsciously   Measurement
misrepresent the truth.   Population Definition 
►If a distortion of measurement occurs because 
 Sampling Frame  
respondents’ answers are falsified or 
 Data Analysis Errors
misrepresented, either intentionally or 
inadvertently, the resulting sample bias will be a 
response bias.
13 14

Response error- Researcher Error Response error- Researcher Error

►Surrogate information error may be defined as  ►Measurement error may be defined as the 
the variation between the information needed  variation between the information sought and 
for the marketing research problem and the  information generated by the measurement 
information sought by the researcher.  process employed by the researcher. 
►For example, instead of obtaining information  ►While seeking to measure consumer 
on consumer choice of a new brand (needed for  preferences, the researcher employs a scale that 
the marketing research problem), the  measures perceptions rather than preferences.
researcher obtains information on consumer 
preferences because the choice process cannot 
be easily observed.
15 16
 08/06/2022

Response error- Researcher Error Response error- Researcher Error

► Population definition error may be defined as the  ► The problem of appropriately defining the population 
variation between the actual population relevant to  may be far from easy, as illustrated by the case of 
the problem at hand and the population as defined by  affluent households.
the researcher.  ► Their number and characteristics varied depending on 
► Example‐How affluent is affluent? the definition, underscoring the need to avoid 
The population of the affluent households was defined in four  population definition error. 
different ways in a study: ► Depending upon the way the population of affluent 
1. Households with income of Rs 60 lacs or more. households was defined, the results of this study would 
2. The top 20% of households, as measured by income. have varied markedly.
3. Households with net worth over Rs 4 Crores.
4. Households with discretionary income to spend being 30% 
higher than that of comparable households.
17 18

Response error- Researcher Error Response error- Researcher Error

► Sampling frame error may be defined as the variation  ► Data analysis error encompasses errors that occur 
between the population defined by the researcher  while raw data from questionnaires are transformed 
and the population as implied by the sampling frame  into research findings. 
(list) used.  ► For example, an inappropriate statistical procedure is 
► For example, the telephone directory used to generate  used, resulting in incorrect interpretation and findings.
a list of telephone numbers does not accurately 
represent the population of potential landline 
consumers due to unlisted, disconnected and new 
numbers in service. It also misses out the great number 
of consumers that choose not to have landlines, 
exclusively using mobile telephones

19 20
 08/06/2022

Response error- Interviewer Error Response error- Interviewer Error

Interviewer Error ►Respondent selection error occurs when 
►Respondent Selection  interviewers select respondents other than 
►Questioning
those specified by the sampling design or in a 
manner inconsistent with the sampling design.
►Recording and 
►For example, in a readership survey, a non‐
►Cheating errors
reader is selected for the interview but classified 
as a reader of Business Standard in the 15–19‐
year‐old category in order to meet a difficult 
quota requirement.

21 22

Response error- Interviewer Error Response error- Interviewer Error

►Questioning error denotes errors made in  ►Recording error arises due to errors in hearing, 
asking questions of the respondents or in not  interpreting and recording the answers given 
probing, when more information is needed.  by the respondents. 
►For example, while asking questions an  ►For example, a respondent indicates a neutral 
interviewer does not use the exact wording or  response (undecided) but the interviewer 
prompts as set out in the questionnaire. misinterprets that to mean a positive response 
(would buy the new brand).

23 24
 08/06/2022

Response error- Interviewer Error Response error- Respondent Error

►Cheating error arises when the interviewer  Respondent Error
fabricates answers to a part or the whole of the  ►Inability Error 
interview.  ►Unwillingness Errors
►For example, an interviewer does not ask the 
Furthermore a response bias may occur when 
sensitive questions related to a respondent’s  people misrepresent answers to appear 
debt but later fills in the answers based on  intelligent.
personal assessment.

25 26

Response error- Respondent Error Response error- Respondent Error

►Inability error results from the respondent’s  ►For example, respondents may be able to 
inability to provide accurate answers. remember the total amount of money spent 
►Respondents may provide inaccurate answers  grocery shopping, but they may forget the exact 
because of unfamiliarity, fatigue, boredom,  prices of individual items that they purchased.
faulty recall, question format, question content  ►Rather than appear ignorant or unconcerned 
and other factors.  about prices, they may provide their best 
►Sometimes respondents become bored with the  estimate and not tell the truth—namely, that 
interview and provide answers just to get rid of  they cannot remember.
the interviewer.

27 28
 08/06/2022

Marketing Research Error Controlling Marketing Research Error

►Unwillingness error arises from the  ► In formulating a research design, the researcher 
respondent’s unwillingness to provide accurate  should attempt to minimise the total error, not just 
information.  a particular source. 
►Respondents may intentionally misreport their  ► This admonition is warranted by the general 
answers because of a desire to provide socially  tendency among naive researchers to control 
sampling error with large samples. 
acceptable answers, to avoid embarrassment, 
or to please the interviewer.  ► Increasing the sample size does decrease sampling 
error, but it may also increase non‐sampling error, 
►For example, to impress the interviewer, a 
e.g. by increasing interviewer errors. Nonsampling 
respondent intentionally says that they read The  error is likely to be more problematic than sampling 
Economist magazine. error. 
29 30

Controlling Marketing Research Error Controlling Marketing Research Error

►Sampling error can be calculated, whereas  ► Sometimes, researchers deliberately increase a 
many forms of non‐sampling errors are difficult  particular type of error to decrease the total error by 
to estimate.  reducing other errors. 
► For example, suppose that a mail survey is being 
►Non‐sampling error has been found to be the 
conducted to determine consumer preferences in 
major contributor to total error, whereas  purchasing shoes from a chain of specialist shoe shops. 
random sampling error is relatively small in  A large sample size has been selected to reduce 
magnitude.  sampling error. A response rate of 30% may be 
►The point is that total error is important. A  expected. Given the limited budget for the project, the 
selection of a large sample size does not allow for 
particular type of error is important only in that 
follow‐up mailings. 
it contributes to total error.
31 32
 08/06/2022

Controlling Marketing Research Error Errors Associated with Sampling

Example cont….
► Past experience, however, indicates that the response 
rate could be increased to 45% with one follow‐up 
mailing and to 55% with two follow‐up mailings. 
► Given the subject of the survey, non‐respondents are 
likely to differ from respondents in many features. 
► Hence, it may be desirable to reduce the sample size to 
make money available for follow‐up mailings. 
► While decreasing the sample size will increase random 
sampling error, the two follow‐up mailings will more 
than offset this loss by decreasing non‐response error.
33 34

THANK YOU