Anexo 1.

Metodología de evaluación multicriterio

para la credibilidad de encuestadoras y
Pseudo-encuestadoras en el contexto
electoral venezolano de 2024

1. Introducción

Los medios de comunicación y grupos de cuentas coordinadas en redes sociales, a veces

falsos noticieros, han compartido resultados de estudios de opinión presentados por nuevas
empresas que se presentan como encuestadoras, mimetizándose entre firmas establecidas.
Muchas de estas recientes encuestadoras parecen estar vinculadas a operaciones de
influencia que se encuentran usando estos supuestos resultados de encuestas como parte de
una operación encubierta de propaganda y desinformación para favorecer a ciertos candidatos,
complicando la identificación de encuestas fiables. La necesidad de evaluar la credibilidad de
cada una de las empresas que se presentan como encuestadoras es crucial para asegurar que
la información electoral difundida sea precisa y no esté influenciada por intereses particulares.

Por ello, la coalición anti-desinformación venezolana C-Informa decidió establecer un método

estructurado y objetivo para evaluar la credibilidad de estas entidades. La siguiente
metodología intenta evaluar la credibilidad de cada uno de estas empresas, tomando en cuenta
la existencia de datos mínimos de contacto de la empresa o sus voceros, sí las encuestas
poseen un conjunto mínimo de información técnica que permita establecer si los datos
entregados se ajustan a estándares estadísticos mínimos, o hallazgos que puedan vincularlas
con operaciones de influencia en curso.

El método de scoring fue seleccionado para esta evaluación debido a su capacidad para
comparar simultáneamente diferentes criterios que no necesariamente se miden en las mismas
unidades. Este método permite asignar pesos a cada criterio según su importancia relativa,
proporcionando una evaluación equilibrada y justa de cada encuestadora, que depende del
juicio de los cuatro medios y organizaciones que en el presente conforman C-Informa:
Cazadores de Fake News, Efecto Cocuyo, Medianálisis y el Observatorio Probox. Dada la
diversidad de criterios técnicos y el contexto de desinformación, el método de scoring ofrece
una manera sistemática de consolidar diversas evaluaciones en una única puntuación global,
facilitando el cálculo de un parámetro de credibilidad que pueda ser aplicado a todos los entes
evaluados, ya sean encuestadoras o pseudo encuestadoras.

Para asegurar que las evaluaciones sean rigurosas, se han considerado importantes principios
y fórmulas estadísticas. Basándonos en la "Guía de Diseño de la Muestra para Encuestas" del
Instituto Nacional de Estadística, Geografía e Informática (INEGI) de México y el artículo
"Esquemas de muestreo y márgenes de confiabilidad en encuestas de opinión política" de la
Universidad Autónoma Metropolitana de México, se adoptaron métodos para calcular el tamaño
de muestra necesario y el margen de error aceptable. Según estos estudios, una encuesta
nacional debe incluir al menos 1,067 entrevistados para garantizar un nivel de confianza del
95% y un margen de error no mayor al 3%. Este enfoque asegura que las muestras sean
representativas del universo estudiado, considerando variables como sexo, edad, clase
socioeconómica y distribución geográfica.

Además, se utilizaron herramientas como la Calculadora Estadística Netquest y la Calculadora

de Muestra de QuestionPro para verificar la coherencia estadística de los resultados. Estos
instrumentos permiten calcular el tamaño de la muestra, el nivel de credibilidad y el error
esperado, aplicando la fórmula estadística m = Z²pq/e², donde m es la muestra del universo a
ser estudiado, Z es la constante estadística de valor 1.96, p y q representan la posibilidad de
que algo ocurra (50% cada uno en este caso), y e es el margen de error esperado.

En resumen, esta metodología no solo busca identificar las encuestadoras más fiables, sino
también proporcionar un marco transparente y estructurado para evaluar la credibilidad en un
contexto donde la desinformación y las operaciones de influencia son preocupaciones
constantes.

2. Consideraciones Estadísticas para la Evaluación de Encuestas

Las fórmulas matemáticas y métodos de evaluación aplicados en el análisis estadístico

provienen de los artículos académicos Guía de Diseño de la Muestra para Encuestas del
Instituto Nacional de Estadística, Geografía e Informática (INEGI) de México y Esquemas de
muestreo y márgenes de confiabilidad en encuestas de opinión política, publicado en la revista
Sociológica, vol. 14, núm. 39, enero-abril, 1999, pp. 183-202 de la Universidad Autónoma
Metropolitana de México, así como los cursos de periodismo de datos y cobertura electoral de
la periodista argentina especializada en fact-checking, verificación y periodismo de datos
Sandra Crucianelli (1, 2, 3).

Las fórmulas matemáticas y métodos de evaluación provienen de los artículos académicos

Guía de Diseño de la Muestra para Encuestas del Instituto Nacional de Estadística, Geografía e
Informática (INEGI) de México y Esquemas de muestreo y márgenes de confiabilidad en
encuestas de opinión política, publicado en la revista Sociológica, vol. 14, núm. 39, enero-abril,
1999, pp. 183-202 de la Universidad Autónoma Metropolitana de México, así como los cursos
de periodismo de datos y cobertura electoral de la periodista argentina especializada en
fact-checking, verificación y periodismo de datos Sandra Crucianelli (1, 2, 3).

Todos los resultados mostrados por cada una de las encuestas, en los casos en que los
ofrecen, son evaluados por coherencia estadística usando la siguiente ecuación:

m = Z²*p*q/e²
Donde m es la muestra del universo a ser estudiado mediante la encuesta

Z es la constante estadística de valor 1,96;

p y q la posibilidad de que algo ocurra, en este caso se usará 50% en ambos casos, dando
iguales posibilidades a cada posible respuesta

e sería el margen de error esperado

Para aplicar esta fórmula en cada caso, se usó la Calculadora Estadística Netquest y la
Calculadora de Muestra de la firma QuestionPro, que permiten calcular el tamaño de la
muestra, el nivel de credibilidad y el error esperado, aplicando esta matemática.

Lo primero que debe evaluarse, según los artículos académicos y la periodista especializada,
es el tamaño de la muestra. Para un estudio nacional, es decir, un universo de varios millones
de personas, en que se medirá la intención de voto presidencial o de participación, la encuesta
no debería tener menos de 1.067 entrevistados.

Esto con el fin de tener el mínimo nivel de confianza, que se ubicaría en 95% así como el
máximo margen de error aceptable (especialmente en casos de “empate técnico”) que se ubica
en 3%. Un nivel de credibilidad por debajo o un error más grande, o que al evaluar las cifras, la
fórmula arroje resultados distintos, es considerado una falta de coherencia estadística, que
pone en duda su validez o incluso su realización.

La muestra debe ser representativa del universo, es decir, debe parecerse al país; cumpliendo
la Regla de Aleatoriedad, cada una de las personas del universo medido debe haber tenido la
misma probabilidad de haber sido elegida para participar en el estudio.

Para que eso sea posible, debe presentarse la proporcionalidad de la muestra por sexo, edad,
clase socioeconómica, distribución geográfica y/u otras variables, que corresponda en la misma
proporción que el universo. Si lo trasladamos a Venezuela, entonces deben entrevistarse más
personas de Zulia, Miranda y Carabobo que de Guárico, Cojedes y Yaracuy, más personas
jóvenes y más de los estratos sociales D y E.

Por supuesto, los encuestadores están afrontando dificultades para muestrear por la migración
externa e interna, así como un censo poblacional de hace 13 años. Comentó Eugenio Martínez,
periodista especializado en la fuente electoral a Shirley Varnagy en su programa radial del 4 de
junio de 2024.

Así mismo, hay que evaluar la “mortalidad de la muestra”, que implica que los estudios de
campo deben hacerse entre 5 y 7 días. Un período más corto podría medir decisiones
cambiantes o no formadas, mientras uno más largo, mezclar las cambiantes con las formadas.

Para precisar estos detalles está la Ficha Técnica, una lámina que debe consignar los datos
demográficos y metodológicos del estudio, logotipos y otras marcas de identidad empresarial.
Además del tamaño de la muestra, método de muestreo (estratificado-probabilístico, por
ejemplo) y la técnica de recolección de datos (telefónica, presencial, virtual).
En este momento no deberá sólo tomarse las proyecciones poblacionales oficiales, sino la
diáspora y el aumento de la pobreza. La muestra debe haber sido tomada entre 5 y 7 días, más
de eso ya la misma persona pudo haber cambiado de opinión. Si la encuesta fue 30 días o más
antes de la elección, no predice; apenas es diagnóstica. Con un mes o menos, se puede prever
resultados.

Por otro lado, una encuesta que pueda considerarse predictiva, no debe tener más de 20%
entre quienes están en la categoría No sabe / No responde, Indecisos o Ninguno. Y de acuerdo
a Crucianelli, si estas categorías suman más del 30% de la muestra, se pone en duda la
credibilidad de ese estudio en particular.

3. Metodología matriz multicriterio y cálculo de baremo

El análisis multicriterio es una técnica de análisis de decisiones que permite una comparación
simultánea de diferentes criterios. Esta comparación se realiza mediante el uso de índices que
resumen cada uno de los criterios considerados, los cuales finalmente se agregan para crear
un baremo que permita un ordenamiento preferencial de las alternativas estudiadas. En este
caso, los criterios de evaluación se han desarrollado para abordar la credibilidad de las
encuestadoras y pseudo encuestadoras en el contexto electoral venezolano.

3.1. Método del scoring y matriz multicriterio

El método del scoring (puntaje) parte de la premisa de que el equipo evaluador debe establecer
la importancia relativa de cada uno de los criterios (pesos), para luego definir una estructura de
preferencias para cada una de las entidades evaluadas (puntaje). El resultado final es una
clasificación tabulada (matriz multicriterio) de las alternativas, indicando un factor único con el
cual se puede establecer un parámetro único que permita evaluar de forma relativa la
credibilidad de cada una de las entidades que se presentan como encuestadoras.

El método del scoring (puntaje) parte de la premisa de que el equipo evaluador debe establecer
la importancia relativa de cada uno de los criterios (pesos), para luego definir una estructura de
preferencias para cada una de las entidades evaluadas (puntaje).

En el capítulo anterior se detallaron las consideraciones estadísticas esenciales, incluidas en la

sección "Ficha Técnica". Estas consideraciones estadísticas, junto con las evaluaciones
adicionales de los atributos de "Operaciones de Influencia" y "Transparencia", se integran
globalmente en la metodología del baremo creada con la matriz multicriterio.

El resultado final es una clasificación tabulada (matriz multicriterio) de las alternativas, un

baremo cuyo resultado es un puntaje que permite evaluar de forma relativa la credibilidad de
cada una de las entidades que se presentan como encuestadoras.

Las etapas del método son las siguientes:

1. Identificación general de los criterios que pueden ser evaluados para medir la credibilidad de
las encuestadoras.
2. Definición de criterios de evaluación.
3. Agrupación de criterios en atributos globales
4. Definición de la importancia (pesos) para cada criterio que conforman un atributo.
5. Definición de la importante (pesos) de cada atributo con respecto al porcentaje global
6. Cálculo del peso relativo de cada criterio con respecto al porcentaje global (wi).
7. Establecimiento de escalas de puntaje para cada uno de los criterios, donde el valor mínimo
(0) representa una evaluación muy desfavorable, un puntaje de intermedio (5) una
evaluación neutral o normal y un puntaje alto (10) una evaluación muy favorable.
8. Asignación por consenso del puntaje de cada criterio para cada una de las entidades
evaluadas (encuestadoras).
9. Cálculo del puntaje (score) para cada una de las entidades evaluadas.
10. La opción con el puntaje más alto representa la entidad con mayor credibilidad para la
coalición informativa C-Informa, considerando la metodología establecida.

Modelo para calcular el puntaje (store):

Donde: rij = puntaje para el criterio i de la entidad j

wi = peso del criterio i

Sj = puntaje de la entidad j

4. Análisis

La Metodología General evaluará la credibilidad de diversas entidades que se presentan como

encuestadoras en Venezuela, en el contexto electoral.

Los criterios presentes en cada análisis están basados en las recomendaciones de cuatro
medios y organizaciones que conforman a C-Informa. En las reuniones de la coalición
informativa, los criterios propuestos fueron revisados, discutidos y, en algunos casos,
agrupados con otros criterios de similar alcance, con el objetivo de simplificar la cantidad de
criterios.

Para la evaluación de la credibilidad de las encuestadoras, se consideró de forma simultánea

un grupo finito de 12 criterios, agrupados en atributos globales más generales.

Atributos Globales:

1. Operaciones de influencia (52,6% del peso global): Considera los hallazgos realizados por
varias iniciativas de verificación venezolanas sobre la amplificación no auténtica de sus
contenidos o evidencias de que han estado involucradas en el uso de técnicas comúnmente
utilizadas en operaciones de influencia (como cuentas no auténticas y la cercanía con
 actores desinformantes recurrentes). Evaluará la posible vinculación con operaciones de
propaganda y desinformación a favor de algún candidato.
2. Transparencia (21,05% del peso global): Engloba criterios relacionados con la
transparencia de la organización, como la existencia de un vocero que dé declaraciones
públicas o la existencia de una página web con información detallada sobre la empresa.
3. Presentación de ficha técnica (26,3% del peso global): Como elemento de credibilidad,
evalúa si las encuestas presentadas cuentan con información estadística mínima que
permita a los lectores evaluar la validez de los datos.

Criterios evaluados para atributo 1: Operaciones de Influencia

1. ¿Los perfiles en redes sociales publican exclusivamente contenidos sobre encuestas,

elecciones o la actividad de la encuestadora? (%criterio: 10%, %global: 5.26%): Se refiere a
la evaluación de la naturaleza del contenido publicado por los perfiles en redes sociales de
la encuestadora para determinar si están centrados exclusivamente en temas de encuestas
y elecciones, lo que puede indicar un sesgo persuasivo.

Los puntajes usados en este criterio son:

● 0 puntos: Para perfiles que publican poco contenido sobre encuestas, elecciones o la
actividad de la encuestadora.

● 5 puntos: Para perfiles que publican mayormente contenido sobre encuestas,

elecciones o la actividad de la encuestadora, o son neutrales.

● 10 puntos: Para perfiles que publican exclusivamente contenido sobre encuestas,

elecciones o la actividad de la encuestadora.

2. ¿Está siendo promovida por alguna operación de influencia o en el contexto de alguna

campaña coordinada estudiada por iniciativas de verificación venezolanas? (%criterio: 30%,
%global: 15.79%): Se refiere a la posible promoción de la encuestadora en el marco de
operaciones de influencia o campañas coordinadas previamente identificadas por iniciativas
de verificación.

Los puntajes usados en este criterio son:

● 0 puntos: Sí.
● 5 puntos: No se sabe.
● 10 puntos: No.

3. ¿Puede ser atribuida directamente a actores desinformantes conocidos? (%criterio: 40%,

%global: 21.05%): Se refiere a la atribución directa de la encuestadora a actores conocidos
por difundir desinformación.

Los puntajes usados en este criterio son:

 ● 0 puntos: Sí.
● 5 puntos: Neutro/No se sabe.
● 10 puntos: No.

4. ¿Hay indicios de que las cuentas oficiales en redes sociales fueron creadas recientemente,
o que son cuentas compradas o cedidas por un dueño anterior? (%criterio: 20%, %global:
10.53%): Se refiere a la evaluación de la autenticidad de las cuentas oficiales en redes
sociales de la encuestadora.

Los puntajes usados en este criterio son:

● 0 puntos: Sí.
● 5 puntos: N/A.
● 10 puntos: No.

Criterios evaluados para atributo 2: Ficha Técnica

5. ¿Sus encuestas tienen publicada la Ficha Técnica con tamaño de muestra, metodología,
nivel de credibilidad, margen de error y las preguntas? (%criterio: 49%, %global: 12.83%):
Se refiere a la publicación de una ficha técnica detallada que incluya aspectos
fundamentales de la metodología de la encuesta.

Los puntajes usados en este criterio son:

● 0 puntos: Ninguna información.

● 5 puntos: Algo de información.
● 10 puntos: Suficiente información.

6. ¿El tamaño de la muestra es suficientemente grande? Debe ser de al menos 1.067

personas. (%criterio: 14%, %global: 3.62%): Se refiere a la evaluación del tamaño de la
muestra utilizada en las encuestas para asegurar su representatividad.

Los puntajes usados en este criterio son:

● 0 puntos: No.
● 10 puntos: Sí.

7. ¿El margen de error es menor al 3% y el nivel de credibilidad mayor a 95%? (%criterio: 9%,
%global: 2.30%): Se refiere a la evaluación del margen de error y el nivel de credibilidad de
las encuestas.

Los puntajes usados en este criterio son:

● 0 puntos: No.
● 5 puntos: Intermedio.
● 10 puntos: Sí.
8. ¿Los indecisos (No sabe / No responde) y los ninguno suman menos del 20%? (%criterio:
8%, %global: 1.97%): Se refiere a la proporción de indecisos y no respondentes en las
encuestas.

Los puntajes usados en este criterio son:

● 0 puntos: No.
● 5 puntos: Valor muy cercano a los límites
● 10 puntos: Sí.

9. ¿La encuesta se realizó entre 5 a 7 días? (%criterio: 11%, %global: 2.96%): Se refiere a la
duración del período de recolección de datos de la encuesta.

Los puntajes usados en este criterio son:

● 0 puntos: No.
● 10 puntos: Sí.

10. ¿Están las preguntas disponibles, y dejan claro lo que se puede medir? (%criterio: 10%,
%global: 2.63%): Se refiere a la disponibilidad de las preguntas de la encuesta y la claridad
de las mismas.

Los puntajes usados en este criterio son:

● 0 puntos: No.
● 5 puntos: Alguna.
● 10 puntos: Sí.

Criterios evaluados para atributo 3: Transparencia

11. ¿Tiene una página web con historial empresarial, datos fiscales, dirección física, teléfono,
correo de contacto o perfiles de empleados? (%criterio: 59%, %global: 12.50%): Se refiere a
la disponibilidad de información empresarial detallada en la página web de la encuestadora.

Los puntajes usados en este criterio son:

● 0 puntos: Ninguna información.

● 5 puntos: Algo de información.
● 10 puntos: Suficiente información.

12. ¿Hay un director o vocero que haya dado declaraciones públicas? (%criterio: 41%, %global:
8.55%): Se refiere a la existencia de un director o vocero que represente públicamente a la
encuestadora y haya dado declaraciones.

Los puntajes usados en este criterio son:

● 0 puntos: No tiene ningún vocero conocido.

● 5 puntos: Sí hay vocero, pero no ha dado declaraciones públicas.
 ● 10 puntos: Sí hay vocero y ha dado declaraciones públicas.

3.1 Evaluación y puntuación

Cada criterio será evaluado en función de la información recopilada y se asignará un puntaje a

cada opción (encuestadora o pseudo encuestadora). La opción con el puntaje más alto será la
recomendada.

Los resultados de la matriz multicriterio se encuentran disponibles en el Anexo 1 de este

documento.

Anexo 2. Matriz multicriterio de evaluación

# Preguntas (en tono positivo) Espíritu Atributo % categoría SP Cocuyo SP Probox SP MA SP CFN Promedio %criterio %global Observaciones Puntajes CMIDE 50.1 (3200) ORC Consultores (447) DataViva (7810) Ideadatos (14200) Paramétrica (3320) MassBehaviorResearch (4500) Insight by Contrapunto (12000)
Data Política Consultores (184) Meganálisis (37700) Hercon (4420) Datanálisis? (14500) Delphos (6250) Datincorp (14300) Consultores 21 (3470) Hinterlaces (10800)
¿Los perfiles en redes sociales publican 0-Poco C. E. E.
Operación de
1 exclusivamente contenidos sobre encuestas, Persuasión 0.53 1 1 1 1 1.00 0.10 0.0526 3 opciones 5-Mayoría C. E. E./Neutro 0 10 0 0 5 10 0 10 10 10 10 0 0 10 0
influencia
elecciones o la actividad de la encuestadora? 10-Solo C. E. E.
¿Está siendo promovida por alguna operación de
influencia o en el contexto de alguna campaña Operación de 0-Sí
2 Amplificación 0.53 3.5 3 2 3.5 3.00 0.30 0.1579 3 opciones 0 10 0 0 0 0 0 0 5 5 10 10 10 10 5
coordinada estudiada por iniciativas de verificación influencia 5-N/A
venezolanas? 10-No
0-Sí
¿Puede ser atribuida directamente a actores Operación de
3 Atribución 0.53 3.5 5 5 2.5 4.00 0.40 0.2105 2 opciones 5-Neutro 5 10 5 5 5 10 5 5 10 10 10 10 10 10 5
desinformantes conocidos? influencia
10-No
¿Hay indicios de que las cuentas oficiales en redes 0-Sí
Operación de
4 sociales fueron creadas recientemente, o que son Activos falsos 0.53 2 1 2 3 2.00 0.20 0.1053 3 opciones 5-N/A 0 10 0 5 0 5 0 0 10 10 10 10 10 10 10
influencia
cuentas compradas o cedidas por un dueño anterior? 10-No
¿Tiene una página web con historial empresarial, datos 0-Ninguna info
5 fiscales, dirección física, teléfono, correo de contacto o Contacto Transparencia 0.21 5 5 4 5 4.75 0.59 0.1250 3 opciones 5-Algo de info 0 10 5 5 5 0 5 0 10 5 10 0 5 10 5
perfiles de empleados? 10-Suficiente info
0-No hay nadie que da la cara
¿Hay un director o vocero que ha dado declaraciones
6 Vocería Transparencia 0.21 4 2 3 4 3.25 0.41 0.0855 3 opciones 5-Sí vocero, no declaraciones p. 0 10 0 0 10 5 5 0 10 10 10 10 10 10 10
públicas?
10-Sí vocero, sí declaraciones p.
¿Sus encuestas tienen publicada la Ficha Técnica con 0-Ninguna info
7 tamaño de muestra, metodología, nivel de credibilidad, Metodología Ficha técnica 0.26 5 5 5 4.5 4.88 0.49 0.1283 3 opciones 5-Algo de info 0 10 10 10 10 5 5 0 10 10 5 10 10 10 0
margen de error y las preguntas? 10-Suficiente info
¿El tamaño de la muestra es suficientemente grande? 0-No
8 Muestra Ficha técnica 0.26 1 2 1.5 1 1.38 0.14 0.0362 2 opciones 10 10 10 10 10 10 10 0 10 0 5 10 10 0 0
Debe ser de al menos 1.067 personas. 10-Sí
0-No
¿El margen de error es menor al 3% y el nivel de
9 Error Ficha técnica 0.26 1 1 0.5 1 0.88 0.09 0.0230 2 opciones 5-Intermedio 5 10 0 10 10 0 5 0 5 5 5 0 10 5 5
credibilidad mayor a 95%?
10-Sí
0-No
¿Los indecisos (No sabe / No responde) y los ninguno
10 Indecisos Ficha técnica 0.26 1 0.5 0.5 1 0.75 0.08 0.0197 2 opciones 5-N/A 10 0 10 10 10 10 5 10 0 10 5 0 10 10 5
suman menos del 20%?
10-Sí
0-No
11 ¿La encuesta se realizó entre 5 a 7 días? Tiempo Ficha técnica 0.26 1 0.5 2 1 1.13 0.11 0.0296 2 opciones 10 10 10 10 0 0 0 0 0 0 5 10 0 0
10-Sí
0-No
¿Están las preguntas disponibles, y dejan claro lo que
12 Coherencia Ficha técnica 0.26 1 1 0.5 1.5 1.00 0.10 0.0263 3 opciones 5-Alguna 0 10 10 10 10 10 10 0 10 10 5 10 10 10 0
se puede medir?
10-Sí
2.13 9.91 4.18 4.94 5.24 5.15 3.69 1.88 8.71 7.92 8.79 7.90 8.66 9.33 4.69

Ficha Técnica 10 10 10 10
Transparencia 10 10 10 10
Op. Influencia 10 10 10 10