Applied Bayesian Modeling

Introducción al modelamiento Bayesiano.

Hola a todos, sean bienvenidos a mi blog en español: “Applied Bayesian modeling.” Pese su nombre en inglés, este blog se enfoca en promover los métodos Bayesianos para el análisis de datos, que en los últimos años se han vuelto muy populares debido a su alta capacidad predictiva y la facilidad de capturar la incertidumbre de los datos. Cada post introduce varios conceptos y modelos estadísticos, presentando el análisis de un conjunto de datos real. Ademas, presentamos la implementación de los modelos en diferentes lenguajes de programación como R, Python y Julia, usando diferentes librerías como Stan, PyMC y Turing.

Contenido

El contenido para el resto del blog es:

• Inferencia Clásica

  • Verosimilitud y función de enlace.
  • L-BFGS algorithm.
  • Intervalos de confianza, Jackniffe y Bootstrap.
  • Análisis de residuos, ANOVA y R^2 ajustado.
  • selección del modelos (BIC, RMSE, MAPE, CV)

• Inferencia Bayesiana y Bayesian workflow

  • Prior, likelihood, Posterior
  • MCMC
  • Predictive distribution
  • Posterior predictive checks
  • Bayes factor, ELPD, LOO-CV.

• Regresión

  • GLMs, normal, Binomial, Poisson and Negative Binomial regressions.
  • Modelo lineal con priors regularizadas priors (R2-D2, Horseshoe, Spike Lab).
  • Generalized additve models (GAM).

• Series de Tiempo

  • Modelos SARIMA
  • Modelos de exponenciales de Holt, Winters, de suavizado lineal
  • Modelos lineales dinámicos (DLM)
  • Modelos GARCH y SVM
  • Modelos de tendencia local y global (LGT).

• Metodos no parametricos

  • Splines
  • Wavelets
  • Regresión Kernel
  • Procesos Gaussianos
  • Procesos de Dirichlet.
  • Bayesian additive regression trees

Material

El material de la clase se extrae de 3 libros, varios artículos y diferentes paquetes de R y Python estos son libres y se encuentran en formato digital en la web.

Libros

• Bayes Rules! An Introduction to Applied Bayesian Modeling. Johnson, Ott and Dogucu, (2021).

• Beyond Multiple Linear Regression Applied Generalized Linear Models and Multilevel Models in R. Roback and Legler (2021).

• Bayesian Modeling and Computation in Python. Martin, Kumar, and Lao (2021).

Artículos principales

• Bayesian Regression Using a Prior on the Model Fit: The R2-D2 shrinkage Prior. Zhang et al. (2022)

• Handling Sparsity via the Horseshoe. Carvalho, Polson, and Scott (2009)

• Bayesian Variable Selection in Linear Regression. Mitchell and Beauchamp (1988)

Paquetes

Los lenguajes de programación a usar son R y Python.

R core team

• Probabilistic Programming Language: Stan mc-stan.

• paquetes:

  • rstanarm, paquete para ajustar modelos lineales.
  • bayesplot, visualización de posterioris.
  • loo seleccion de modelos.

Python

• Probabilistic Programming Language: PyMC.

• paquetes:

  • Bambi, Ajustar modelos lineales.
  • ArviZ, visualización de datos y selección de modelos con LOO.

Referencias

Carvalho, Carlos M., Nicholas G. Polson, and James G. Scott. 2009. “Handling Sparsity via the Horseshoe.” In Proceedings of the Twelth International Conference on Artificial Intelligence and Statistics, edited by David van Dyk and Max Welling, 5:73–80. Proceedings of Machine Learning Research. Hilton Clearwater Beach Resort, Clearwater Beach, Florida USA: PMLR. https://proceedings.mlr.press/v5/carvalho09a.html.

Casella, George, and Roger Berger. 2001. Statistical Inference. Duxbury Resource Center. http://www.amazon.fr/exec/obidos/ASIN/0534243126/citeulike04-21.

DeGroot, M. H., and M. J. Schervish. 2012. Probability and Statistics. Addison-Wesley. https://books.google.es/books?id=4TlEPgAACAAJ.

Gelman, A., J. B. Carlin, H. S. Stern, D. B. Dunson, A. Vehtari, and D. B. Rubin. 2013. Bayesian Data Analysis, Third Edition. Chapman & Hall/CRC Texts in Statistical Science. Taylor & Francis. https://books.google.nl/books?id=ZXL6AQAAQBAJ.

Migon, Helio, Dani Gamerman, and Francisco Louzada. 2014. Statistical Inference. An Integrated Approach. Chapman and Hall CRC Texts in Statistical Science. Chapman; Hall.

Mitchell, T. J., and J. J. Beauchamp. 1988. “Bayesian Variable Selection in Linear Regression.” Journal of the American Statistical Association 83 (404): 1023–32. https://doi.org/10.1080/01621459.1988.10478694.

Roback, paul., and Julie. Legler. 2021. Beyond Multiple Linear Regression: Applied Generalized Linear Models an Multilevel Models in R. Boca Raton.

Zhang, Yan Dora, Brian P. Naughton, Howard D. Bondell, and Brian J. Reich. 2022. “Bayesian Regression Using a Prior on the Model Fit: The R2-D2 Shrinkage Prior.” Journal of the American Statistical Association 117 (538): 862–74. https://doi.org/10.1080/01621459.2020.1825449.