El diseño de pruebas o experimentos es una rama importante de la estadística que se centra en planificar y estructurar experimentos de manera que los datos recolectados sean válidos y útiles para responder preguntas específicas.

El diseño de experimentos tiene como objetivo maximizar la calidad de los datos y la precisión de los resultados, minimizando al mismo tiempo el sesgo y el error experimental.

Si bien la cantidad de factores y cuestiones a considerar en cualquier estudio estadístico puede llegar a ser enorme, resulta interesante hacer una síntesis de cuales son los factores comunes (o más comuntes) a todo estudio estadístico para así tener una idea tanto de como es el proceso de un estudio como de por dónde y cómo encarar el mismo. Con esto se puede elaborar el diseño de un estudio o experimento.

Cuestiones a considerar:

Antes de estudiar un fenomeno hay considerar bien que queremos estudiar, porqué y para qué. En este sentido hay que hacer el ejercicio de responder cuestiones tales como las que se enumeran a continucación (y en las que luego se entra en mayor detalle):

Objetivo del estudio: Cuales son los componentes clave del experimento.
Tipo de estudio: Cual es el tipo de estudio que realizaremos. (o que combinación)
Diseño del estudio: Cual es el procedimiento más adecuado.

Al momento de estudiar un fenómeno, es decir al realizar un expermiento debe tenerse en cuenta:

Identificar relaciones causa-efecto: Determinar si una variable influye o causa un cambio en otra.
Controlar la variabilidad: Reducir el efecto de factores externos no deseados.
Maximizar la eficiencia: Obtener resultados confiables sin usar más recursos (como tiempo o dinero) de los necesarios.

A continuación se profundiza sobre los punto anteriormente enumerados.

1. Componentes Clave del Diseño de Experimentos

Un buen diseño de experimentos tiene en cuenta varias etapas y componentes:

Definir los Objetivos y Preguntas del Experimento: Antes de hacer cualquier prueba, es esencial definir con precisión lo que se desea investigar. Por ejemplo: "¿La nueva fórmula de un fertilizante aumenta el crecimiento de las plantas comparado con la fórmula anterior?"
Identificar las Variables: Variables independientes: Son las que manipulas en el experimento (por ejemplo, el tipo de fertilizante). Variables dependientes: Son los resultados o efectos que mides (por ejemplo, el crecimiento de las plantas). Variables de control: Otros factores que podrían influir en el resultado y deben mantenerse constantes (por ejemplo, la cantidad de agua y luz recibida por las plantas).
Asignación Aleatoria: La aleatorización asegura que cualquier variabilidad entre sujetos o condiciones no esté sesgada. Esto ayuda a que los grupos sean equivalentes al inicio, permitiendo que las diferencias observadas se deban a la manipulación experimental y no a factores externos.
Definir el Diseño Experimental Específico: Existen varios tipos de diseños de experimentos, y cada uno tiene ventajas y aplicaciones específicas: Diseño completamente al azar: Los sujetos se asignan de forma aleatoria a diferentes tratamientos. Diseño de bloques al azar: Los sujetos se agrupan en bloques homogéneos para reducir la variabilidad interna antes de asignarlos a tratamientos. Diseño factorial: Examina el efecto de dos o más factores al mismo tiempo y puede investigar interacciones entre ellos.
Replicación: La replicación consiste en repetir el experimento en varias unidades (por ejemplo, varias plantas o varios grupos) para obtener una estimación más precisa de los efectos y reducir la posibilidad de que los resultados sean casuales.
Control de Sesgos y Fuentes de Error: Es importante usar controles (como grupos de placebo en medicina) y ciegos (cuando los participantes o investigadores no saben qué tratamiento están recibiendo) para reducir el sesgo y mantener la validez interna.

Ejemplo de Diseño Experimental

Imaginemos probar un nuevo fertilizante para ver si ayuda a que las plantas crezcan más rápido.

Variable independiente: Tipo de fertilizante (nuevo vs. estándar).
Variable dependiente: Altura de la planta después de 4 semanas.
Control: Misma cantidad de agua, luz y temperatura para todas las plantas.
Replicación: Usa varias plantas en cada grupo para obtener una estimación confiable.
Aleatorización: Asigna las plantas a los grupos de fertilizante de forma aleatoria para evitar sesgos.
Análisis e Interpretación de Resultados: Una vez que se recopilan los datos, el análisis estadístico ayuda a determinar si hay una diferencia significativa entre los grupos. Esto puede involucrar pruebas estadísticas, como la prueba t o el análisis de varianza (ANOVA), que evalúan si los efectos observados son lo suficientemente grandes como para ser considerados significativos.

2. Tipos de Estudios

Para diseñar y realizar un estudio o experimento es necesario tener claro que tipo de estudio queremos hacer:

a) Observacional o Experimental

En un estudio observacional, el investigador solo recoge información, pero no interactúa con la población del estudio. En contraste, en un estudio experimental, el investigador influye deliberadamente en los eventos (por ejemplo, trata al paciente con un nuevo tipo de medicamento) e investiga los efectos de estas intervenciones.

b) Prospectivo o Retrospectivo

En un estudio prospectivo, los datos se recogen desde el inicio del estudio.
En cambio, un estudio retrospectivo usa datos obtenidos de eventos previos, como pruebas de rutina realizadas en un hospital.

c) Longitudinal o Transversal

En investigaciones longitudinales, el investigador recoge información durante un periodo de tiempo, tal vez varias veces de cada paciente.
En cambio, en estudios transversales, los individuos se observan solo una vez. Por ejemplo, la mayoría de las encuestas son transversales, mientras que los experimentos suelen ser longitudinales.

d) Estudios de Caso-Control y de Cohorte

En un estudio de caso-control, primero se trata a los pacientes y luego se seleccionan para inclusión en el estudio, basado en ciertos criterios (por ejemplo, si respondieron a un medicamento específico).
En cambio, en un estudio de cohorte, primero se seleccionan los sujetos de interés, y luego se estudian a lo largo del tiempo, como para observar su respuesta a un tratamiento.

e) Ensayo Controlado Aleatorizado

El estándar para los estudios experimentales científicos clínicos es el ensayo controlado aleatorizado, donde los participantes se asignan aleatoriamente a diferentes grupos para evaluar el efecto de un tratamiento o intervención.

Los desvíos se evitan al dividir a los sujetos a evaluar en un grupo de intervención y un grupo de control. La asignación a los grupos es aleatoria.

En un experimento diseñado, puede haber varias condiciones, llamadas factores, que son controladas por el experimentador. Al hacer que los grupos difieran solo en un aspecto, el tratamiento del factor, se debería poder detectar el efecto del tratamiento en los pacientes. Con la aleatorización, los factores de confusión deberían equilibrarse entre los grupos.

f) Estudios Cruzados

Una alternativa a la aleatorización es el diseño de estudios cruzados. Un estudio cruzado es un estudio longitudinal en el que los sujetos reciben una secuencia de diferentes tratamientos. Cada sujeto recibe cada tratamiento (el sujeto "cambia" de un tratamiento al siguiente). Para evitar efectos causales, la secuencia de asignación de tratamientos debe ser aleatoria.

Por ejemplo, en una investigación que prueba el efecto de estar de pie y sentado en la concentración de los sujetos, cada uno realiza tareas tanto de pie como sentado. La secuencia de estar de pie/sentado se asigna de manera aleatoria para anular cualquier efecto de secuencia..

3. Diseño de Experimentos

Thomas Haslwanter, autor del libro: An Introduction to Statistics with Python, sintetiza el diseño de experimentos con una sola frase:

¡Bloquea todo lo que puedas y aleatoriza el resto!

En efecto, hasta aquí se ha explicado que tenemos factores (que podemos controlar) y factores de molestia, que influyen en los resultados, pero que no podemos controlar y/o manipular.

Supongamos, por ejemplo, que tenemos un experimento cuyos resultados dependen de la persona que realiza el experimento (por ejemplo, la enfermera que evalúa al sujeto) y de la hora del día. En ese caso, podemos bloquear el factor "enfermera", haciendo que todas las pruebas sean realizadas por la misma enfermera. Pero no será posible probar a todos los sujetos al mismo tiempo. Entonces, intentamos promediar los efectos del tiempo, mezclando aleatoriamente los horarios de los sujetos. Si, en cambio, medimos a nuestros pacientes en la mañana y a los sujetos sanos en la tarde, inevitablemente introduciremos algún sesgo en nuestros datos.

a) Selección de Muestra
Al seleccionar los sujetos, se debe prestar atención a lo siguiente:

1. Las muestras deben ser representativas del grupo que se va a estudiar.

Por ejemplo, seleccionar aleatoriamente sujetos entre los pacientes de un hospital automáticamente sesga la muestra hacia personas con problemas de salud.

2. En estudios comparativos, los grupos deben ser similares con respecto a las fuentes conocidas de variación (por ejemplo, edad, etc.).

3. La selección de muestras (o sujetos) debe cubrir suficientemente todos los parámetros necesarios.

Por ejemplo, si la edad es un factor de confusión, asegúrate de tener suficientes sujetos jóvenes, de mediana edad y mayores.

Ejemplo: los estudios sobre la eficacia de una nueva terapia de rehabilitación para pacientes con accidente cerebrovascular no deberían incluir solo a pacientes que hayan sufrido un accidente. Asegúrate de que haya un número equilibrado de pacientes con síntomas leves, moderados y graves.

b) Tamaño de la Muestra

Muchas investigaciones también fallan debido a que el tamaño de la muestra es demasiado pequeño para observar un efecto de la magnitud deseada. Para determinar el tamaño de la muestra, se necesita saber:

¿Cuál es la varianza del parámetro bajo investigación?
¿Cuál es la magnitud del efecto esperado en relación con la desviación estándar del parámetro?

Esto se conoce como análisis de potencia. Es especialmente importante en investigación de comportamiento, donde no se aprueban los planes de investigación sin un cálculo cuidadoso del tamaño de la muestra.

c) Sesgo

Para explicar los efectos del sesgo de selección en un análisis estadístico, consideremos las elecciones presidenciales de 1936 en Estados Unidos. El republicano Landon desafió al presidente en funciones, F.D. Roosevelt. La revista *Literary Digest*, una de las publicaciones más respetadas de la época, consultó a diez millones de estadounidenses sobre a quién votarían. 2.4 millones respondieron y la revista predijo que Landon ganaría con el 57% de los votos frente al 41% de Roosevelt. Sin embargo, los resultados reales de la elección fueron del 62% para Roosevelt y el 38% para Landon. En otras palabras, a pesar del enorme tamaño de la muestra, las predicciones estuvieron erradas en un 19%.

En las elecciones presidenciales del 2024, los encuestadores predecían una elacción muy pareja y reñida sin casi vaticinar un ganador. Luego de estas elecciones se comprobó que Donald Trump ganó con diferencias claras en porcentajes a su favor por encima de su adversaria Kamala Harris. En ambos casos las muestras fueron mal tomadas y no hubo buena respuesta en cantidad y calidad a las encuestas previas.

En general, al seleccionar los sujetos se debe intentar que sean representativos del grupo a estudiar; además, se debe procurar que los experimentos se realicen de manera representativa en comparación con investigaciones de otros investigadores. Sin embargo, es muy fácil obtener datos sesgados.

El sesgo puede tener varias fuentes:

La selección de los sujetos.
La estructura del experimento.
El dispositivo de medición.
El análisis de los datos.

Se debe tener cuidado para evitar el sesgo en los datos en la mayor medida posible.

d) Aleatorización (Randomization)

Este puede ser uno de los aspectos más importantes en la planificación experimental. La aleatorización se utiliza para evitar el sesgo tanto como sea posible, y existen diferentes formas de aleatorizar un experimento. Para la aleatorización, se pueden usar generadores de números aleatorios, que están disponibles en la mayoría de los lenguajes de programación. Para minimizar la posibilidad de sesgo, los números asignados aleatoriamente deben presentarse al experimentador lo más tarde posible.

Dependiendo del experimento, existen varias formas de asignación aleatoria de grupos:

d.1 Aleatorización simple

Este procedimiento es robusto contra el sesgo de selección y el sesgo accidental. La desventaja es que el tamaño del grupo resultante puede diferir significativamente.

Para muchos tipos de análisis de datos, es importante tener el mismo número de muestras en cada grupo. Para lograr esto, se pueden utilizar otras opciones, como las que siguen a continuación.

d.2 Aleatorización por bloques

Esta se utiliza para mantener el número de sujetos en los diferentes grupos equilibrado en todo momento.

Por ejemplo, con dos tipos de tratamiento, A y B, y un tamaño de bloque de cuatro, se pueden asignar los tratamientos a bloques de cuatro sujetos en las siguientes secuencias:

1. AABB

2. ABAB

3. ABBA

4. BBAA

5. BABA

6. BAAB

Con base en esto, se puede utilizar un generador de números aleatorios para generar enteros entre 1 y 6, y usar los bloques correspondientes para asignar los tratamientos respectivos. Esto mantendrá el número de sujetos en cada grupo casi siempre igual.

d.3 Minimización

Una forma de asignación de tratamiento cercana, pero no completamente aleatoria, es la minimización. En este caso, se elige el tratamiento que tiene el menor número de sujetos y se asigna este tratamiento con una probabilidad mayor a 0.5 al siguiente paciente.

Supongamos, por ejemplo, que se está llevando a cabo un ensayo controlado aleatorizado de un nuevo medicamento, con un "grupo de placebo" y un "grupo de medicamento real". A mitad de los ensayos, se observa que el grupo de placebo ya contiene 60 sujetos, mientras que el grupo de medicamento solo tiene 40. Ahora, se puede resolver este desequilibrio, asignando el medicamento al siguiente sujeto con un 60 % de probabilidad (en lugar del 50 % previamente utilizado) en lugar del placebo.

d.4 Aleatorización estratificada

A veces se desea incluir una variedad más amplia de sujetos, con diferentes características. Por ejemplo, se podría querer tener sujetos más jóvenes y también mayores. En este caso, se debería tratar de mantener equilibrado el número de sujetos dentro de cada estrato. Para lograr esto, se deben mantener listas separadas de números aleatorios para cada grupo de sujetos.

d.5 Enmascaramiento (Blinding)

Consciente o inconscientemente, el experimentador puede influir significativamente en el resultado de un experimento. Por ejemplo, un investigador joven con una “brillante” nueva idea para un tratamiento puede tener un sesgo tanto en la ejecución del experimento como en el análisis de los datos, buscando confirmar la hipótesis. Para evitar tal influencia subjetiva, idealmente tanto el experimentador como el sujeto deben desconocer la terapia. Esto se conoce como enmascaramiento doble (double blinding). Cuando también la persona que realiza el análisis no sabe a qué grupo ha sido asignado el sujeto, hablamos de enmascaramiento triple (triple blinding).

e) Diseño Factorial
Cuando se prueba cada combinación de factores, hablamos de un diseño factorial completo del experimento.
Al planificar el análisis, es importante distinguir entre comparaciones dentro de sujetos y entre sujetos. Las primeras, comparaciones dentro de sujetos, permiten detectar diferencias más pequeñas con el mismo número de sujetos que las comparaciones entre sujetos.

Investigaciones Preliminares y la Ley de Murphy

La mayoría de las investigaciones requieren más de una ronda de experimentos y análisis.

Teóricamente, uno establece su hipótesis primero, luego realiza los experimentos y finalmente acepta o rechaza la hipótesis y listo.
La mayoría de las investigaciones reales han sido menos lineales y, a menudo, requieren dos o más rondas de experimentos.
- Normalmente, se comienza con una idea. Después de asegurarse de que nadie más ha encontrado la solución, se realizan las primeras rondas de mediciones y con estas los primeros procesamiento de datos.
- A través de esto, se aprende que la mayoría de las cosas que pueden salir mal (que generalmente salen mal, como lo establece la Ley de Murphy: "Todo lo que pueda salir mal, saldrá mal") y lo que debería haber hecho de manera diferente desde el principio.
- La segunda ronda de investigaciones es, en la mayoría de los casos, la definitiva y (si tengo suerte) me proporciona suficientes datos para publicar mis hallazgos.

Documentación

Es fundamental documentar todos los factores que puedan influir en tus resultados, así como todo lo que ocurra durante el experimento:

La fecha y hora del experimento.
Información sobre los experimentadores y los sujetos.
El paradigma exacto que has decidido.
Cualquier hecho relevante que ocurra durante el experimento.

En la documentación también es importante ser:

Lo más breve posible, pero anotar todo lo importante que ocurra durante el experimento.
Especialmente claro con los nombres de los archivos de datos registrados, ya que serán lo primero que se necesita al analizar los datos más adelante.
Puede que muchas veces las notas no sean necesarias. Pero cuando aparezcan dudas o valores atípicos o datos inusuales, estas notas pueden ser invaluables para el análisis de datos.

Almacenamiento de Datos

Es importante documentar y almacenar con las siguientes consideracinones:

Tratar de usar convenciones de nombres claras, intuitivas y prácticas.
Almacenar los datos brutos inmediatamente, preferiblemente en un directorio separado.
- Considerar que este directorio sea de solo lectura, para evitar borrar accidentalmente datos brutos valiosos.

En la mayoría de los casos, es posible rehacer fácilmente un análisis. Sin embargo, a menudo no se puede repetir un experimento.

Referencias

Si bien existen una cantidad enorme de normas y recomendaciones que se hacen para la investigación en diversas áreas o especialidades, se enumeran 20 de ellas en un listado separado a este apartado. Aquí ha intentado realizar un resumen de los factores comunes a considerar en cualquier diseño de un experimento.