Three essays on conjoint analysis : optimal design and estimation of endogenous consideration sets

Abstract

Over many years conjoint analysis has become the favourite tool among marketing practitioners and scholars for learning consumer preferences towards new products or services. Its wide acceptance is substantiated by the high validity of conjoint results in numerous successful implementations among a variety of industries and applications. Additionally, this experimental method elicits respondents’ preference information in a natural and effective way. One of the main challenges in conjoint analysis is to efficiently estimate consumer preferences towards more and more complex products from a relatively small sample of observations because respondent’s wear-out contaminates the data quality. Therefore the choice of sample products to be evaluated by the respondent (the design) is as much as relevant as the efficient estimation. This thesis contributes to both research areas, focusing on the optimal design of experiments (essay one and two) and the estimation of random consideration sets (essay three). Each of the essays addresses relevant research gaps and can be of interest to both marketing managers as well as academicians. The main contributions of this thesis can be summarized as follows: • The first essay proposes a general flexible approach to build optimal designs for linear conjoint models. We do not compute good designs, but the best ones according to the size (trace or determinant) of the information matrix of the associated estimators. Additionally, we propose the solution to the problem of repeated stimuli in optimal designs obtained by numerical methods. In most of comparative examples our approach is faster than the existing software for Conjoint Analysis, while achieving the same efficiency of designs. This is an important quality for the applications in an online context. This approach is also more flexible than traditional design methodology: it handles continuous, discrete and mixed attribute types. We demonstrate the suitability of this approach for conjoint analysis with rank data and ratings (a case of an individual respondent and a panel). Under certain assumptions this approach can also be applied in the context of discrete choice experiments. • In the essay 2 we propose a novel method to construct robust efficient designs for conjoint iii experiments, where design optimization is more problematic, because the covariance matrix depends on the unknown parameter. In fact this occurs in many nonlinear models commonly considered in conjoint analysis literature, including the preferred choice-based conjoint analysis. In such cases the researcher is forced to make strong assumptions about unknown parameters and to implement an experimental design not knowing its true efficiency. We propose a solution to this puzzle, which is robust even if we do not have a good prior guess about consumer preferences. We demonstrate that benchmark designs perform well only if the assumed parameter is close to true values, which is rarely the case, otherwise there is no need to implement the experiment. On the other hand, our worst-case designs perform well under a variety of scenarios and are more robust to misspecification of parameters. • Essay 3 contributes with a method to estimate consideration sets which are endogenous to respondent preferences. Consideration sets arise when consumers use decision rules to simplify difficult choices, for example when evaluating a wide assortment of complex products. This happens because rationally bounded respondents often skip potentially interesting options, for example due to lack of information (brand unawareness), perceptual limitations (low attention or low salience), or halo effect. Research in consumer behaviour established that consumers choose in two stages: first they screen off products whose attributes do not satisfy certain criteria, and then select the best alternative according to their preference order (over the considered options). Traditional CA focuses on the second step, but more recently methods incorporating both steps were developed. However, they are always considered to be independent, while the halo effect clearly leads to endogeneity. If the cognitive process is influenced by the overall affective impression of the product, we cannot assume that the screening-off is independent from the evaluative step. To test this behavior we conduct an online experiment of lunch menu entrees using Amazon MTurk sample.

A lo largo de los años, el “Análisis Conjunto” se ha convertido en una de las herramientas más extendidas entre los profesionales y académicos de marketing. Se trata de un método experimental para estudiar la función de utilidad que representa las preferencias de los consumidores sobre productos o servicios definidos mediante diversos atributos. Su enorme popularidad se basa en la validez y utilidad de los resultados obtenidos en multitud de estudios aplicados a todo tipo de industrias. Se utiliza regularmente para problemas tales como diseño de nuevos productos, análisis de segmentación, predicción de cuotas de mercado, o fijación de precios. En el análisis conjunto, se mide la utilidad que uno o varios consumidores asocian a diversos productos, y se estima un modelo paramétrico de la función de utilidad a partir de dichos datos usando métodos de regresión en sus diversas variantes. Uno de los principales retos del análisis conjunto es estimar eficientemente los parámetros de la función de utilidad del consumidor hacia productos cada vez más complejos, y hacerlo a partir de una muestra relativamente pequeña de observaciones debido a que en experimentos prolongados la fatiga de los encuestados contamina la calidad de los datos. La eficiencia de los estimadores es esencial para ello, y dicha eficiencia depende de los productos evaluados. Por tanto, la elección de los productos de la muestra que serán evaluados por el encuestado (el diseño) es clave para el éxito del estudio. La primera parte de esta tesis contribuye al diseño óptimo de experimentos (ensayos uno y dos, que se centran respectivamente en modelos lineales en parámetros, y modelos no lineales). Pero la función de utilidad puede presentar discontinuidades. A menudo el consumidor simplifica la decisión aplicando reglas heurísticas, que de facto introducen una discontinuidad. Estas reglas se denominan conjuntos de consideración: los productos que cumplen la regla son evaluados con la función de utilidad usual, el resto son descartados o evaluados con una utilidad diferente (especialmente baja) que tiende a descartarlos. La literatura ha estudiado la estimación de este tipo de modelos suponiendo que la decisión de consideración está dada exógenamente. Pero sin embargo, las reglas heurísticas pueden ser endógenas. Hay sesgos de percepción que relacionan utilidad y la forma en se perciben los atributos. El tercer estudio de esta tesis considera modelos con conjuntos v de consideración endógenos. Cada uno de los ensayos cubre problemas de investigación relevantes y puede resultar de interés tanto para managers de marketing como para académicos. Las principales aportaciones de esta tesis pueden resumirse en lo siguiente: • El primer ensayo presenta una metodología general y flexible para generar diseños experimentales óptimos exactos para modelos lineales, con aplicación a multitud de variantes dentro del análisis conjunto. Se presentan algoritmos para calcular los diseños óptimos mediante métodos de Newton, minimizando el tamaño (traza o determinante) de la matriz de covarianzas de los estimadores asociados. En la mayoría de los ejemplos comparativos nuestro enfoque resulta más rápido que los softwares existentes para Análisis Conjunto, al tiempo que alcanza la misma eficiencia de los diseños. Nuestro enfoque es también más flexible que la metodología de diseño tradicional: maneja tipos de atributos continuos, discretos y mixtos. Demostramos la validez de este enfoque para el análisis conjunto con datos de rango de preferencias y valoraciones (un caso de un encuestado individual y un panel). Bajo ciertos supuestos, este enfoque puede también ser aplicado en el contexto de experimentos de elección discreta. • En el segundo ensayo nos centramos en modelos de preferencia cuyos estimadores tienen matrices de covarianzas no pivotales (dependientes del parámetro a estimar). Esto sucede por ejemplo en modelos de preferencia no lineales en parámetros, así como modelos de elección como el popular Logit Multinomial. En tal caso la minimización de la matriz de covarianzas no es posible. La literatura ha considerado algunas soluciones como suponer una hipótesis acerca de este valor a fin de poder minimizar en el diseño la traza o determinante de la matriz de covarianzas. Pero estos diseños de referencia funcionan bien solo si el parámetro asumido es cercano a los valores reales (esto raramente sucede en la práctica, o de lo contrario no hay necesidad de implementar el experimento). En este ensayo proponemos un método para construir diseños robustos basados en algoritmos minimax, y los comparamos con los que normalmente se aplican en una gran variedad de escenarios. Nuevi stros diseños funcionan son más robustos a errores de los parámetros, reduciendo el riesgo de estimadores altamente ineficientes (que en cambio está presente en los otros métodos). • El ensayo 3 aporta un método para estimar conjuntos de consideración que son endógenos a las preferencias de los encuestados. Conjuntos de consideración surgen cuando los consumidores usan reglas de decisión para simplificar la dificultad de las elecciones, lo cual requiere una significativa búsqueda de información y esfuerzos cognitivos (por ejemplo, evaluar una amplia variedad de productos complejos). Esto ocurre porque racionalmente limitados consumidores a menudo pasan por alto opciones potencialmente interesantes, por ejemplo, debido a una falta de información (desconocimiento de la marca), limitaciones de percepción (baja atención o prominencia), o efecto de halo. La investigación en el comportamiento de los consumidores establece que los consumidores eligen en dos fases: primero eliminan productos que no satisfacen ciertos criterios y luego seleccionan las mejores alternativas de acuerdo a su orden de preferencia (de acuerdo a las opciones consideradas). El Análisis Conjunto convencional, se centra en el segundo paso, pero recientemente, se han desarrollado métodos incorporando ambos pasos. Sin embargo, son siempre considerados independientes, mientras que el efecto de halo claramente lleva a la endogeneidad del proceso de consideración. Si el proceso cognitivo está influenciado por una impresión general afectiva del producto, no podemos asumir que la eliminación sea independiente del proceso evaluativo. Para probar este comportamiento llevamos a cabo un experimento online sobre entrantes en menús de comida usando una muestra desde Amazon MTurk.