Publication:
Métodos de Montecarlo aplicados a inferencia bayesiana: importance sampling

Loading...
Thumbnail Image
Identifiers
Publication date
2017-02-27
Defense date
2017-03-08
Tutors
Journal Title
Journal ISSN
Volume Title
Publisher
Impact
Google Scholar
Export
Research Projects
Organizational Units
Journal Issue
Abstract
Los métodos de Monte Carlo son una serie de algoritmos no deterministas que se emplean en la aproximación de problemas o expresiones matemáticas que tienen gran dificultad de resolución o de evaluación con exactitud. En la actualidad, son utilizados en muchas aplicaciones en diversos campos sin que gran parte de las personas que los utilizan conozca realmente la función que realizan. En concreto, los métodos de Importance Sampling son habitualmente utilizados para aproximar distribuciones a posteriori o alguno de los momentos temporales de las mismas, o para aproximar y calcular integrales que dependan de una función de densidad de probabilidad conocida como target. En su versión estándar, las muestras son simuladas de una única distribución distinta, llamada proposal, a las que se las asigna un peso conforme a la in uencia que tendrán. Además, como su rendimiento depende de forma directa de la buena elección de la proposal frente al target, han surgido a lo largo de los años multitud de variantes utilizando un mayor número de proposals desde las que tomar las muestras. Este es el caso del Multiple Importance Sampling (MIS) o del Adaptive Multiple Importance Sampling (AMIS). En este trabajo, se presentan los distintos problemas de aproximación de los métodos Monte Carlo, tanto en el escenario estático, cuando se pretenden aproximar distribuciones a posteriori que se mantienen constantes y no dependen de momentos temporales, como en el marco de trabajo dinámico o secuencial, cuando se pretenden realizar aproximaciones de distribuciones a posteriori que cambian de estado y tienen una dependencia con el tiempo, y se exponen algunos de los distintos métodos que podemos encuadrar en cada uno de ellos. Además establecemos el marco de trabajo básico para el muestreo y asignaciónn de pesos cuando tenemos disponibles una única proposal, en el caso de IS estándar, o más de una proposal, en el caso de MIS, junto a la introducción a una de las variantes adiccionales cuando se dispone de proposals que se adaptan mejorando su posición conforme pasan las iteraciones (MIS adaptativo o AMIS). Esta variante es la que asienta las bases de los estudios futuros que se están llevando a cabo en relación al algoritmo de IS. Durante el proyecto, se realizan experimentos y simulaciones numéricas con IS estándar y MIS con el objetivo de discutir y comparar el rendimiento de los algoritmos en cuanto a diversos parámetros calculados tales como la estimación de la esperanza de la función de interés, la varianza de la estimación, el tamaño efectivo del muestreo o el número de muestras tomado dependiendo del dominio de definición de las funciones y se plantean distintas situaciones para comprobar que los resultados se ajustan a lo teóricamente expuesto y cual de los dos presenta un mejor rendimiento. Finalmente, se proporciona una última simulación como ejemplo ilustrativo de la dependencia que pueden llegar a tener otros métodos de MC como el de Metropolis - Hastings, en el marco estático, de la elección de una proposal adecuada.
Monte Carlo methods are a set of non-deterministic algorithms that are used in the approximation of problems or mathematical expressions di cult to be solved or to be evaluated accurately. Nowadays, they are used in many applications on a daily basis and most of the people dont know the function they perform. In particular, the Importance Sampling methods are usually used to approximate posteriori distributions or some of their temporal moments, or to approximate and compute integrals that depend on probability density functions known as target. In their standard version, samples are simulated from a single distinct distribution, known as proposal, and the algorithm assings them a weight according to the in uence they will have. In addition, since its performance depends directly on the good choice of the proposal against the target, over the years multitude of variants have appeared using a greater number of proposals from which to take the samples. This is the case of Multiple Importance Sampling (MIS) or the Adaptive Multiple Importance Sampling (AMIS). In this paper, different problems tackled by the Monte Carlo methods are presented, both in the static scenario, when we pretend to approximate posterior distributions that remain constant and don't depend on temporal moments and dynamic or sequential scenarios, in which we pretend to approximate posterior distributions that change its state and have a temporal dependence, and some of the di erent methods that can t in each of them are presented. In addition we establish the basic framework for sampling and assignment of weights when we have available only a single proposal, in the case of standard IS, or more than one proposal, in the case of MIS, and with the introduction to one of the additional variants when the proposals that are available can adapt by improving their position as the iterations pass (Adaptive MIS or AMIS). During the project, experiments and numerical simulations with standard IS and MIS are performed with the goal of discussing and comparing the performance of the algorithms in terms of some parameters calculated such as the estimator of the mean of the target distribution, its variance, the e ective sample size (ESS), or the number of samples simulated depending on the domain where the functions are de ned, and di erent situations are presented to verify that the results are in line with the theoretically exposed and which of the two algorithms presents a better performance. Finally, a final simulation is provided as an illustrative example of the dependence that other MC methods such as Metropolis - Hastings may have, on the static framework, on choosing a suitable proposal.
Description
Keywords
Métodos de Monte Carlo, Estadísitica bayesiana, Inferencia bayesiana, Métodos de Importance Sampling
Bibliographic citation