Publication:
Nuevos sistemas hápticos para la evocación de emociones en eventos audiovisuales en personas con discapacidad auditiva

Loading...
Thumbnail Image
Identifiers
Publication date
2022-06
Defense date
2022-07-28
Journal Title
Journal ISSN
Volume Title
Publisher
Impact
Google Scholar
Export
Research Projects
Organizational Units
Journal Issue
Abstract
Day by day the current society is more aware of the existing barriers to impaired people. The difficulties they face are not only architectural, such as stairs, traffic lights without acoustic warning or information panels without Braille writing, but also cultural, such as the lack of subtitles, audio description and sign language in regular television programming, including on-demand television. All these obstacles limit access to culture and prevent the full enjoyment of both culture and information. The performing arts also suffer from this lack of accessibility. Incorporating greater accessibility in the performing arts for the hearing-impaired will favour access to cultural material, fostering the integration of the group and raising awareness among the population. The auditory channel is fundamental for the emotional activation caused by audio-visual stimuli. In particular, music, a basic support in any medium to reinforce the evocation of the desired emotion, is a purely auditory channel. If this channel is lost, there is a loss of information that causes the emotional activation contained in the music not to occur and, therefore, an alternative channel is needed. Tactile stimulation has been found to be a viable means of replacing the auditory channel due to their psychophysical similarities, both sound and vibration are perceived as vibratory stimuli, the receptors of these senses being sensitive to pressure and able to distinguish their frequencies. For years, the entertainment industry has been developing devices that, with the support of haptic stimuli, offer an augmented experience of, for example, video games. Likewise, 4D cinemas also use haptic stimulation, among other stimuli, to make the viewer feel immersed in the projection. None of these ways take the music into account, and that is where our research begins. The focus of this project is the design of devices, aimed at people with hearing impairment, which can transmit the emotions evoked by music. In this way, in the future, we will achieve, the total inclusion of impaired people in any social activity. As this topic has a wider scope than a pure engineering research, this work has been divided into three main sections that are presented in detail, providing a basis for the whole subject. The first section covers the theoretical basis on which this research is based, explaining what are the emotions, what generates them and where their processing is located in the cerebral cortex. To record these activations, measured as electrical potentials, the different techniques used are presented, with their pros and cons. Here we will link to the power of music to generate emotions, and the scientific databases that serve for standardization in the comparison of measurements of emotions evoked by audio-visual media. As the focus of this work is people with hearing impairment, music, which has a clear auditory component, will have to be transmitted through an alternative channel, such as touch, a sense with psychophysical characteristics similar to the auditory one. Therefore, we will delve into the physiology of this sense, the current technology for its stimulation and examples of devices that have been used in different investigations. In the second section we will explain the design process of the tools, both hardware and software, used in this work, which purpose is the evocation of emotions through haptic stimulation. As the path of this research has been long, the designed devices have evolved along the work itself and therefore the development of the different systems is presented. In the last section, we present the different clinical tests performed, the process of recording brain activation and the results for of each of them. Every device is discussed in depth and related to the tests performed, facilitating the understanding of the previous section and helping the global vision of the work. In view of the achieved results, we will conclude that the integration of simple multimodal stimuli, visual and vibro-tactile, helps to enhance the activation of emotional processes similar to the activation by musical stimulation in normal-hearing people. It has also been concluded that multimodal visual and vibro-tactile stimulation reinforces both attentional and emotional processes. This paves the way to a future implementation of simple systems that can help the hearing-impaired people to fully enjoy an audio-visual event, a result with a huge impact in this community.
Día a día la sociedad actual es más consciente de las barreras existentes a personas con discapacidad. Las dificultades a las que se enfrentan no son sólo arquitectónicas, como pueden escaleras, semáforos sin aviso acústico o paneles informativos sin escritura en Braille, sino también culturales, como puede ser la falta de subtítulos, Audiodescripción y lengua de signos en la programación habitual de la televisión, incluida la televisión bajo demanda. Todas estas trabas limitan el acceso a la cultura e impiden que se pueda disfrutar plenamente tanto de la cultura como de la información. Las artes escénicas, por su lado, también adolecen de esta falta de accesibilidad. Incorporando una mayor accesibilidad en las artes escénicas para las personas con deficiencias auditivas se favorecerá el acceso al material cultural fomentando la integración del colectivo y sensibilizando a la población. El canal auditivo es fundamental para la activación emocional provocada por estímulos audiovisuales. En concreto la música, apoyo básico en cualquier medio para reforzar la evocación de la emoción deseada, es un canal meramente auditivo. Si se pierde este canal, se produce una pérdida de información que provoca que la activación emocional contenida en la música no llegue a producirse y, por lo tanto, se necesite un canal alternativo. Se ha comprobado que la estimulación táctil es un medio viable para sustituir el canal auditivo debido a sus similitudes psicofísicas, tanto el sonido como la vibración se perciben como estímulos vibratorios, siendo los receptores de estos sentidos sensibles a presión y capaces de distinguir sus frecuencias. La industria del ocio lleva años desarrollando dispositivos que, bajo el apoyo de estímulos hápticos, ofrezcan una experiencia aumentada de, por ejemplo, los video juegos. Así mismo, los cines 4D, también emplean estimulación háptica, entre otros estímulos, para conseguir que el espectador se vea inmerso en la proyección. Ninguna de estas vías, tienen en cuenta la música, y es ahí donde comienza nuestra investigación. La idea que fundamenta este proyecto es el diseño de dispositivos, dirigidos a personas con discapacidad auditiva, que puedan transmitir las emociones que evocan la música. De esta forma, en un futuro, conseguiremos, entre todos, la inclusión total de las personas con discapacidad a cualquier actividad social. Como este tema excede el alcance de una mera investigación de ingeniería, se ha divido este trabajo en tres secciones principales que se exponen en detalle, dando base a toda la temática. En la primera de las secciones se abarca la base teórica en la que se sustenta esta investigación, se explica qué son las emociones, que las genera y dónde se localiza su procesamiento en la corteza cerebral. Para medir estas activaciones, medidas como potenciales eléctricos, se exponen las diferentes técnicas empleadas, con sus pros y contras. Aquí enlazaremos con el poder de la música para generar emociones, y las bases de datos científicas que sirven para la estandarización en la comparación de las mediciones de las emociones evocadas por los medios audiovisuales. Como el enfoque de este trabajo son las personas con discapacidad auditiva, la música, que tiene un claro componente auditivo, habrá que transmitirla a través de un canal alternativo, como es el tacto, sentido con características psicofísicas similares al auditivo. Por ello profundizaremos en la fisiología de este sentido, la tecnología actual para su estimulación y ejemplos de dispositivos que se han empleado en diferentes investigaciones. En la segunda sección se explicará el proceso del diseño de las herramientas, tanto hardware como software, empleadas en este trabajo cuyo fin es la evocación emociona a través de estimulación háptica. Como el camino de esta investigación ha sido largo, los dispositivos diseñados han evolucionado a lo largo del propio trabajo y se presenta el desarrollo de los diferentes sistemas. En la última sección, presentamos las diferentes pruebas clínicas realizadas, el proceso de registro de la activación cerebral y los resultados de cada una de estas. Se profundiza y relaciona cada dispositivo con las pruebas realizadas, facilitando la comprensión de la sección anterior y ayudando a visión global del trabajo. A la vista de los resultados alcanzados, podemos concluir que la integración estímulos simples multimodales, visual y vibro-táctil, ayudan a potenciar la activación de procesos emocionales similares a la activación ante estimulación musical. También se ha llegado a la conclusión que la estimulación multimodal, visual y vibro-táctil, refuerza tanto los procesos atencionales como los procesos emocionales. Estos resultados abren el camino para futuros desarrollos que permitan que una persona con discapacidad auditiva pueda disfrutar plenamente de un evento audiovisual, lo que generará un gran impacto para este colectivo.
Description
Keywords
Personas discapacitadas, Discapacidad auditiva, Emociones, Estimulación táctil, Audiovisuales
Bibliographic citation
Collections