Necesito analizar una encuesta, pero el diseño dificulta saber qué estadísticas puedo usar.
La encuesta
La idea es comparar dos sistemas, A y B, que dada alguna entrada ($i$) producir una salida cada uno ($o_A$ y $o_B$), a través de una encuesta. Los usuarios deben responder si, dado un par de entrada-salida como $(i_1; o_{1A})$, la salida producida es correcta. El objetivo es ver si hay una diferencia entre los dos sistemas.
Cada usuario ve un fragmento de 10 pares de entrada-salida. Cada fragmento consta de 5 salidas del sistema A ($(i_1; o_{1A})$ a $(i_5$; $ o_ {5A} $)), y 5 del sistema B ($ (i_6; o_ {6B}) $ a $(i_{10}$; $o_{10B}$)); las entradas utilizadas por el sistema son todas diferentes dentro de un trozo.
Sin embargo, un usuario también puede decidir continuar y calificar otra parte de 10, y en ese momento podría estar calificando 5 salidas del sistema B para las mismas 5 entradas que se emparejaron con el sistema A en una parte anterior (es decir, ahora Velocidad $(i_1; o_{1B})$ a $(i_5$; $o_{5B}$)).
Los problemas
Hay medidas repetidas, tanto en el sentido de que un participante califica múltiples estímulos, como en el sentido de que el mismo estímulo puede ser calificado por múltiples participantes. Supongo que esto significa que no hay una suposición razonable de independencia.
Además, las observaciones no se pueden emparejar para los dos sistemas, ya que algunos encuestados no procederán a hacer más de un fragmento, mientras que otros podrían calificar 7 de ellos, lo que provocaría una disparidad de datos.
La pregunta
En este momento, estoy pensando que podría aplicarse una prueba de regresión logística de efectos mixtos, pero realmente no estoy muy versado en estadísticas. ¿Cuál parece una buena manera de probar la hipótesis?
