APLICACIÓN PRÁCTICA: REGRESIÓN LINEAL - APRENDIZAJE SUPERVISADO.

 

Introducción:

Explicación del algoritmo de regresión lineal.

La regresión lineal es un algoritmo de aprendizaje supervisado utilizado para predecir una variable continua basada en una o más variables independientes. Es particularmente útil cuando se busca establecer una relación lineal entre las variables. Aquí hay una explicación paso a paso del algoritmo  de regresión lineal:

Paso 1: Definición del Problema

Identifica el problema que estás tratando de resolver y determina si la regresión lineal es la técnica adecuada. La regresión lineal es ideal cuando se busca predecir un valor numérico.

Paso 2: Recopilación de Datos

Reúne un conjunto de datos que contenga las variables independientes (características) y la variable dependiente (la que deseas predecir). Cada observación en el conjunto de datos debe tener valores para todas las variables. 

Paso 3: Exploración de Datos

Realiza un análisis exploratorio de datos para comprender la relación entre las variables. Utiliza gráficos y estadísticas descriptivas para visualizar la distribución de datos y detectar posibles patrones.

Paso 4: División de Datos

Divide el conjunto de datos en dos partes: el conjunto de entrenamiento y el conjunto de prueba. El conjunto de entrenamiento se utiliza para entrenar el modelo, mientras que el conjunto de prueba se reserva para evaluar su rendimiento en datos no vistos.

Paso 5: Entrenamiento del Modelo

El objetivo es encontrar la mejor línea (regresión) que minimice la diferencia entre las predicciones del modelo y los valores reales en el conjunto de entrenamiento. Esto se logra ajustando los coeficientes de la ecuación lineal.

La ecuación de regresión lineal simple tiene la forma: y=mx+b

Donde:

y es la variable dependiente que estamos tratando de predecir.

x es la variable independiente.

m es la pendiente de la línea (coeficiente).

b es la ordenada al origen.

Paso 6: Evaluación del Modelo

Utiliza el conjunto de prueba para evaluar el rendimiento del modelo. Métricas comunes incluyen el error cuadrático medio (MSE) y el coeficiente de determinación (2R 2). Estos indican qué tan bien se ajusta el modelo a los datos de prueba.

Paso 7: Predicciones

Una vez que el modelo ha sido entrenado y evaluado, puedes hacer predicciones utilizando nuevas observaciones. Sustituye los valores de las variables independientes en la ecuación de regresión para obtener la predicción de la variable dependiente.

Paso 8: Interpretación de Coeficientes

Interpreta los coeficientes de la regresión para entender la relación entre las variables. La pendiente (m) indica la dirección y la magnitud del cambio en la variable dependiente por unidad de cambio en la variable independiente.

Paso 9: Ajustes y Mejoras

Si es necesario, realiza ajustes en el modelo, como la adición de variables predictoras adicionales, para mejorar su rendimiento y capacidad predictiva.

La regresión lineal es un algoritmo fundamental y, aunque es simple, proporciona una base sólida para comprender y abordar problemas de predicción en diversos campos, desde la economía hasta la ciencia de datos.

Ejemplo práctico con datos reales (puede ser predicción de precios, por ejemplo).

Vamos a tomar un ejemplo práctico de regresión lineal utilizando datos reales para predecir el precio de las viviendas. Imaginemos que tenemos un conjunto de datos que contiene información sobre diversas casas, incluyendo características como el tamaño (en pies cuadrados), el número de habitaciones y la ubicación, así como el precio de venta de cada casa. El objetivo es construir un modelo de regresión lineal para predecir el precio de una casa basado en sus características.

Ejemplo Práctico: Predicción de Precios de Viviendas

Paso 1: Definición del Problema

Predecir el precio de las viviendas basándonos en sus características.

Paso 2: Recopilación de Datos

Imaginemos que tenemos un conjunto de datos con las siguientes columnas:

Tamaño de la casa (en pies cuadrados)

Número de habitaciones

Ubicación (puede ser una variable categórica que representa el barrio)

Precio de venta

Paso 3: Exploración de Datos

Realizamos un análisis exploratorio de datos para comprender la distribución de las variables, detectar valores atípicos y visualizar la relación entre el tamaño de la casa, el número de habitaciones y el precio de venta.

Paso 4: División de Datos

Dividimos el conjunto de datos en un conjunto de entrenamiento y un conjunto de prueba.

Paso 5: Entrenamiento del Modelo

Utilizamos el conjunto de entrenamiento para entrenar nuestro modelo de regresión lineal. Ajustamos los coeficientes de la ecuación lineal para minimizar la diferencia entre las predicciones y los precios reales.

Supongamos que la ecuación de regresión lineal obtenida es:

Precio=100×Tamaño+500×Habitaciones+10,000×Ubicacion+50,000Precio=100×Tamaño+500×Habitaciones+10,000×Ubicacion+50,000

Paso 6: Evaluación del Modelo

Utilizamos el conjunto de prueba para evaluar el rendimiento del modelo. Calculamos métricas como el error cuadrático medio (MSE) para medir la precisión de nuestras predicciones.

Paso 7: Predicciones

Dado un nuevo conjunto de características de una casa (tamaño, número de habitaciones, ubicación), utilizamos nuestro modelo entrenado para predecir el precio de venta de esa casa.

Paso 8: Interpretación de Coeficientes

Interpretamos los coeficientes de la regresión para entender la contribución de cada variable en la predicción del precio. Por ejemplo, si el coeficiente del tamaño es positivo, indica que el precio tiende a aumentar con el tamaño de la casa.

Paso 9: Ajustes y Mejoras

Realizamos ajustes en el modelo según sea necesario, como la inclusión de nuevas variables predictoras o la consideración de interacciones entre variables.

Este ejemplo ilustra cómo la regresión lineal puede aplicarse prácticamente para predecir precios de viviendas basándose en características específicas. Es importante tener en cuenta que este modelo es simplificado y en la práctica se pueden utilizar técnicas más avanzadas y considerar otros factores para mejorar la precisión de las predicciones.

Análisis de resultados y evaluación del modelo.

El análisis de resultados y la evaluación del modelo son pasos críticos en el proceso de construcción de un modelo de regresión lineal. Aquí se describen algunas métricas comunes y técnicas de evaluación que puedes utilizar:

1. Métricas de Evaluación:

Error Cuadrático Medio (MSE): Mide la magnitud del error al elevar al cuadrado las diferencias entre las predicciones y los valores reales. Un MSE más bajo indica un mejor rendimiento.

1∑=1−^)2MSE=n1∑ i=1n(y i − y^i ) 2

 Raíz del Error Cuadrático Medio (RMSE): Es la raíz cuadrada del MSE y proporciona una medida en la misma escala que la variable de respuesta original. RMSE=MSE

​Coeficiente de Determinación (2R 2): Indica la proporción de la variabilidad en la variable de respuesta que es explicada por el modelo. Un 2R 2 más cercano a 1 es deseable.2=1−∑=1(−^)2∑=1(−ˉ)2R 2=1− ∑ i=1n(y i− yˉ ) 2∑ i=1n(y i− y^i)2

2. Análisis Residual:

Residuos: Son las diferencias entre las predicciones del modelo y los valores reales. Un análisis de los residuos puede revelar patrones sistemáticos o la presencia de outliers.

Gráficos de Residuos: Graficar los residuos contra las predicciones o contra las variables predictoras puede ayudar a identificar patrones no capturados por el modelo.

3. Comparación con un Modelo Base:

Compara el rendimiento de tu modelo con un modelo base simple. Por ejemplo, compara con un modelo que siempre predice la media de la variable de respuesta. Tu modelo debería superar significativamente este modelo base.

4. Validación Cruzada:

Utiliza técnicas de validación cruzada, como la validación cruzada k-fold, para evaluar la robustez del modelo. Divide los datos en k pliegues, entrena el modelo en k-1 pliegues y evalúa en el pliegue restante, repitiendo este proceso k veces.

5. Pruebas de Hipótesis (Opcional):

Si es relevante para tu problema, puedes realizar pruebas de hipótesis para evaluar la significancia estadística de los coeficientes. Esto te ayuda a determinar qué variables son estadísticamente significativas para predecir la variable de respuesta.

6. Interpretación de Coeficientes:

Interpreta los coeficientes del modelo para entender la contribución de cada variable en la predicción. Un coeficiente positivo indica un aumento en la variable de respuesta con un aumento en la variable predictora correspondiente, y viceversa.

7. Consideraciones de Negocio:

Evalúa el rendimiento del modelo en función de los objetivos de negocio. Por ejemplo, si el objetivo es minimizar el error en la predicción de precios de viviendas, elige un modelo que tenga un bajo RMSE.

8. Optimización y Ajustes:

Realiza ajustes en el modelo según sea necesario. Puedes considerar la inclusión de nuevas variables predictoras o probar transformaciones en las variables existentes.

Al realizar este análisis y evaluación de manera sistemática, podrás tomar decisiones informadas sobre la efectividad de tu modelo de regresión lineal y realizar mejoras si es necesario. La elección de las métricas y técnicas específicas dependerá del problema y los objetivos particulares de tu análisis.

EJEMPLOS

# Importar las bibliotecas necesarias

import numpy as np

import matplotlib.pyplot as plt

from sklearn.model_selection import train_test_split

from sklearn.linear_model import LinearRegression

from sklearn.metrics import mean_squared_error

# Crear datos ficticios

np.random.seed(42)

num_samples = 100

X = 2 * np.random.rand(num_samples, 1)

y = 4 + 3 * X + np.random.randn(num_samples, 1)

# Dividir los datos en conjuntos de entrenamiento y prueba

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Crear un modelo de regresión lineal

model = LinearRegression()

# Entrenar el modelo con los datos de entrenamiento

model.fit(X_train, y_train)

# Realizar predicciones en el conjunto de prueba

y_pred = model.predict(X_test)

# Calcular el error cuadrático medio

mse = mean_squared_error(y_test, y_pred)

# Visualizar los resultados

plt.scatter(X_test, y_test, color='black', label='Datos reales')

plt.plot(X_test, y_pred, color='blue', linewidth=3, label='Regresión lineal')

plt.title(f'Regresión Lineal - MSE: {mse:.2f}')

plt.xlabel('Característica X')

plt.ylabel('Precio y')

plt.legend()

plt.show()

1. Generación de Datos:

   • Creamos datos ficticios con una relación lineal entre la característica (X) y el precio (y).
   • La relación es y = 4 + 3 * X + ruido gaussiano, donde 4 es la intersección con el eje y, 3 es el coeficiente de la característica, y el ruido gaussiano introduce variabilidad.

2. División de Datos:

   • Dividimos los datos en conjuntos de entrenamiento y prueba (80% entrenamiento, 20% prueba) para evaluar el rendimiento del modelo en datos no vistos.

3. Predicciones:

   • Realizamos predicciones sobre el conjunto de prueba para evaluar cómo el modelo generaliza a datos nuevos.

4. Evaluación del Modelo:

   • Calculamos el Error Cuadrático Medio (MSE) en el conjunto de prueba para medir cuán bien se ajusta el modelo a esos datos no vistos.

5. Interpretación:

   • Interpretamos los datos reales y la línea de regresión lineal en un gráfico. La línea de regresión representa la predicción del modelo sobre la relación entre la característica y el precio.