Aplicación Práctica: Regresión Logística (Aprendizaje Supervisado)

 

Conceptos clave de la regresión logística.

 La regresión logística es una técnica estadística utilizada para modelar la probabilidad de ocurrencia de un evento binario, es decir, un evento que puede tomar dos posibles resultados, como sí/no, éxito/fracaso, o positivo/negativo. Aquí hay algunos conceptos clave asociados con la regresión logística:

Variable Dependiente Binaria:

En la regresión logística, la variable dependiente es binaria, lo que significa que tiene solo dos posibles categorías. Se representa como

Y y generalmente se codifica como 0 o 1.

Función Logística (Sigmoide):

La función logística es fundamental en la regresión logística. Es una curva en forma de "S" que transforma cualquier valor real en un rango entre 0 y 1. La fórmula de la función logística es:

(=1)=11+−P(Y=1)= 1+e −z1Donde z es la combinación lineal de los predictores (variables independientes) ponderados por los coeficientes del modelo.

Combinación Lineal:La combinación lineal (z) se calcula como la suma ponderada de las variables independientes (X) junto con los coeficientes (β) del modelo:=0+11+22+…+z=β 0+β 1X 1+β 2X 2+…+β X n Coeficientes (Parámetros): Los coeficientes (β) son los parámetros del modelo que se estiman durante el proceso de ajuste. Cada coeficiente representa la contribución de la variable correspondiente en la predicción de la variable dependiente.

Odds y Razón de Odds: En el contexto de la regresión logística, el odds se refiere a la probabilidad de éxito dividida por la probabilidad de fracaso. La razón de odds (OR) es el ratio de dos odds. La función logaritmo natural (logaritmo neperiano) de la razón de odds se utiliza en la regresión logística.

Ajuste del Modelo:

El proceso de ajuste del modelo implica encontrar los coeficientes (β) que maximizan la probabilidad de observar los datos observados dadas las características del modelo. Esto se hace típicamente mediante técnicas de optimización como la máxima verosimilitud.

Umbral de Decisión:

Dado que la regresión logística predice la probabilidad de pertenecer a la clase positiva, se debe establecer un umbral de decisión para convertir las probabilidades en predicciones binarias (0 o 1). Comúnmente, se utiliza un umbral de 0.5, pero puede ajustarse según las necesidades específicas del problema.

Evaluación del Modelo:

La eficacia del modelo se evalúa mediante diversas métricas, como la precisión, la sensibilidad, la especificidad, el área bajo la curva ROC, entre otras, dependiendo de la naturaleza del problema y los requisitos del usuario.

La regresión logística es ampliamente utilizada en problemas de clasificación binaria en campos como la estadística, aprendizaje automático, y epidemiología, entre otros se clasificación binaria en campos como la estadística, aprendizaje automático, y epidemiología, entre otros

Implementación en un caso de estudio 

Ejemplo de aprendizaje supervisado, utilizaremos un modelo de regresión lineal básica para predecir la presión arterial de una persona, según su edad. Este es un conjunto de datos muy sencillo con dos características importantes: Edad y presión arterial.

import matplotlib.pyplot as plt

from pandas import read_csv

import os

# Cargar datos

data_path = os.path.join(os.getcwd(), "data/blood-pressure.txt")

dataset = read_csv(data_path, delim_whitespace=True)

# Tenemos 30 entradas en nuestro set de data y cuatro características. La primera característica es la identificación de la entrada.

# La segunda característica siempre es la nro. 1. La tercera es la edad y la última es la presión arterial.

# Ahora dejaremos de lado la Identificación y la característica Uno por ahora, ya que no es importante.

dataset = dataset.drop(['ID', 'One'], axis=1)

# Y mostraremos esta gráfica

%matplotlib inline

dataset.plot.scatter(x='Age', y='Pressure')

# Ahora, asumiremos que ya sabemos la hipótesis y parece una línea recta

h = lambda x: 84 + 1.24 * x

# ahora agreguemos esta línea a la gráfica

ages = range(18, 85)estimated = []for i in ages:

estimated.append(h(i))

plt.plot(ages, estimated, 'b') 

[<matplotlib.lines.Line2D at 0x11424b828>]

Interpretación de los coeficientes y evaluación del modelo

En la gráfica de arriba, cada punto azul representa nuestros datos de muestra y la línea azul es la hipótesis que se debe aprender nuestro algoritmo. Entonces, ¿Cual es esta hipótesis?

Para resolver este problema, necesitamos aprender la dependencia entre SxS y SyS, que se denota por Sy = f(x)S. Por fin, Sf(x)S es la función objetivo ideal. El algoritmo de aprendizaje de máquina tratará de adivinar la función de la hipótesis Sh(x)S, la cual es la aproximación más cercana del desconocido Sf(x)S.

La forma más simple de hipótesis para el problema de regresión lineal se ve así: Sh_\theta(x) = \theta_0 + \theta_1 * xS. Tenemos una variable escalar de entrada sencilla SxS, que da como salida una variable escalar sencilla SyS, donde S\theta_0S y S\theta_1S son parámetros que debemos aprender. El proceso de ajustar esta línea azul en los datos se llama regresión lineal. Es importante entender que tenemos sólo un parámetro de entrada $x_1$; Sin embargo, muchas de las funciones de hipótesis también incluirán una unidad con inclinación (Sx_0S). Así que nuestra hipótesis resultante tiene una forma de Sh_\theta(x) = \theta_0 * x_0 + \theta_1 * x_1S. Pero podemos evitar escribir Sx_0S porque casi siempre es igual a 1.