in

Máxima probabilidad con variables categóricas: ¿cambia esto algo?

Recientemente, estaba pensando en la siguiente pregunta: supongamos que tenemos algunas variables continuas y algunas variables categóricas y queremos ajustar un modelo de regresión a estos datos: ¿Cómo cambiará esto el proceso general de estimación y optimización?

A mi modo de ver, optimizar la Ecuación de máxima verosimilitud para este modelo de regresión podría convertirse en un «Problema de optimización de enteros mixtos», mientras que cuando solo había variables continuas, optimizar la Ecuación de máxima verosimilitud era un problema de optimización estándar.

Muchas veces, las ecuaciones estándar de máxima verosimilitud tienen soluciones de forma cerrada y se pueden resolver «directamente»; otras veces, cuando estas ecuaciones no tienen soluciones de forma cerrada (por ejemplo, al estimar los parámetros en una regresión logística multinomial), podemos usar algoritmos de optimización estándar como Newton-Raphson o Gradient Descent y encontrar iterativamente una solución.

Sin embargo, ahora que algunas de las variables son categóricas, (en teoría) esto significaría que la Verosimilitud ya no es «diferenciable» en el sentido clásico, ya que ahora se han impuesto restricciones de enteros en este problema de optimización. Escuché que para tales problemas, se usan algoritmos de optimización como «Branch and Bound» en lugar de algoritmos de optimización basados ​​​​en gradientes.

Esto me lleva a mi pregunta:

  • Cuando tenemos una Ecuación de Verosimilitud que involucra tanto variables continuas como categóricas, ¿cómo normalmente optimizamos la Verosimilitud? ¿Esta ecuación aún puede tener soluciones de forma cerrada o resolverse usando algún Método de Gradiente?

  • En la Estimación clásica de Máxima Verosimilitud, las estimaciones de parámetros tienen ciertas propiedades «deseables» como «Imparcialidad» y «Coherencia». Cuando hay variables categóricas en la Verosimilitud, ¿las estimaciones de parámetros todavía «mantienen estas propiedades atractivas»?

¡Gracias!

Nota: Estoy interesado en aplicar un modelo de riesgos proporcionales de Cox a algunos datos con variables continuas y categóricas. Aunque R parece ser capaz de estimar los parámetros de regresión, me preguntaba qué algoritmo de optimización se estaba utilizando en segundo plano y si las estimaciones de parámetros resultantes aún mantienen sus «propiedades estadísticas atractivas».

1 respuesta
1

El algoritmo utilizado es exactamente el mismo: aunque el caracteristicas no son continuos en su ejemplo, los coeficientes en un modelo de regresión todavía lo son. Estamos optimizando los coeficientes en el modelo, las características no cambian.

¿Te ayudó la respuesta?

Subscribirse
Notificar por
guest
0 Comentarios
Inline Feedbacks
Ver todas las Respuestas

¿Qué buscaba Sauron?

Obtención de una fórmula explícita para una conexión aplicada a una estructura casi compleja