RT Dissertation/Thesis
T1 A comprehensive framework for the rapid prototyping of ubiquitous interaction
A1 Bellucci, Andrea
AB In the interaction between humans and computational systems, many advances havebeen made in terms of hardware (e.g., smart devices with embedded sensors andmulti-touch surfaces) and software (e.g., algorithms for the detection and tracking oftouches, gestures and full body movements). Now that we have the computationalpower and devices to manage interactions between the physical and the digital world,the question is—what should we do? For the Human-Computer Interaction researchcommunity answering to this question means to materialize Mark Weiser’s vision ofUbiquitous Computing.In the desktop computing paradigm, the desktop metaphor is implemented by a graphicaluser interface operated via mouse and keyboard. Users are accustomed to employing artificialcontrol devices whose operation has to be learned and they interact in an environmentthat inhibits their faculties. For example the mouse is a device that allows movementsin a two dimensional space, thus limiting the twenty three degrees of freedom of thehuman’s hand. The Ubiquitous Computing is an evolution in the history of computation:it aims at making the interface disappear and integrating the information processing intoeveryday objects with computational capabilities. In this way humans would no morebe forced to adapt to machines but, instead, the technology will harmonize with thesurrounding environment. Conversely from the desktop case, ubiquitous systems makeuse of heterogeneous Input/Output devices (e.g., motion sensors, cameras and touchsurfaces among others) and interaction techniques such as touchless, multi-touch, andtangible. By reducing the physical constraints in interaction, ubiquitous technologiescan enable interfaces that endow more expressive power (e.g., free-hand gestures) and,therefore, such technologies are expected to provide users with better tools to think,create and communicate.It appears clear that approaches based on classical user interfaces from the desktopcomputing world do not fit with ubiquitous needs, for they were thought for a single userwho is interacting with a single computing systems, seated at his workstation and lookingat a vertical screen. To overcome the inadequacy of the existing paradigm, new modelsstarted to be developed that enable users to employ their skills effortlessly and lowerthe cognitive burden of interaction with computational machines. Ubiquitous interfacesare pervasive and thus invisible to its users, or they become invisible with successiveinteractions in which the users feel they are instantly and continuously successful.All the benefits advocated by ubiquitous interaction, like the invisible interface and a morenatural interaction, come at a price: the design and development of interactive systemsraise new conceptual and practical challenges. Ubiquitous systems communicate with the real world by means of sensors, emitters and actuators. Sensors convert real worldinputs into digital data, while emitters and actuators are mostly used to provide digital orphysical feedback (e.g., a speaker emitting sounds). Employing such variety of hardwaredevices in a real application can be difficult because their use requires knowledge ofunderneath physics and many hours of programming work. Furthermore, data integrationcan be cumbersome, for any device vendor uses different programming interfaces andcommunication protocols. All these factors make the rapid prototyping of ubiquitoussystems a challenging task.Prototyping is a pivoting activity to foster innovation and creativity through the explorationof a design space. Nevertheless, while there are many prototyping tools andguidelines for traditional user interfaces, very few solutions have been developed for aholistic prototyping of ubiquitous systems. The tremendous amount of different input devices,interaction techniques and physical environments envisioned by researchers producesa severe challenge from the point of view of general and comprehensive developmenttools. All of this makes it difficult to work in a design and development space wherepractitioners need to be familiar with different related subjects, involving software andhardware. Moreover, the technological context is further complicated by the fact thatmany of the ubiquitous technologies have recently grown from an embryonic stage and arestill in a process of maturation; thus they lack of stability, reliability and homogeneity. Forthese reasons, it is compelling to develop tools support to the programming of ubiquitousinteraction. In this thesis work this particular topic is addressed.The goal is to develop a general conceptual and software framework that makes useof hardware abstraction to lighten the prototyping process in the design of ubiquitoussystems. The thesis is that, by abstracting from low-level details, it is possible to provideunified, coherent and consistent access to interacting devices independently of theirimplementation or communication protocols. In this dissertation the existing literature isrevised and is pointed out that there is a need in the art of frameworks that provide sucha comprehensive and integrate support. Moreover, the objectives and the methodology tofulfill them, together with the major contributions of this work are described. Finally, thedesign of the proposed framework, its development in the form of a set of software libraries,its evaluation with real users and a use case are presented. Through the evaluation andthe use case it has been demonstrated that by encompassing heterogeneous devices intoa unique design it is possible to reduce user efforts to develop interaction in ubiquitousenvironments. --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
AB En la interacción entre personas y sistemas de computación se han realizado muchosadelantos por lo que concierne el hardware (p.ej., dispositivos inteligentes con sensoresintegrados y superficies táctiles) y el software (p.ej., algoritmos para el reconocimientoy rastreo de puntos de contactos, gestos de manos y movimientos corporales). Ahora quese dispone del poder computacional y de los dispositivos para proporcionar una interacciónentre el mundo fisico y el mundo digital, la pregunta es—que se debería hacer? Contestara esta pregunta, para la comunidad de investigación en la Interacción Persona-Ordenador,significa hacer realidad la visión de Mark Weiser sobre la Computación Ubicua.En el paradigma de computación de escritorio, la metáfora del escritorio se implementaa través de la interfaz gráfica de usuario con la que se interactúa a través de teclado yratón. En este paradigma, los usuarios se adaptan a utilizar dispositivos artificiales, cuyasoperaciones deben ser aprendidas, y a interactuar en un entorno que inhibe sus capacidades.Por ejemplo, el ratón es un dispositivo que permite movimientos en dos dimensiones,por tanto limita los veintitrés grados de libertad de una mano. La Computación Ubicuase considera como una evolución en la historia de la computación: su objetivo es hacerque la interfaz desaparezca e integrar el procesamiento de la información en los objetoscotidianos, provistos de capacidad de computo. De esta forma, el usuario no se veríaforzado a adaptarse a la maquinas sino que la tecnología se integrarían directamentecon el entorno. A diferencia de los sistemas de sobremesa, los sistemas ubicuos utilizandispositivos de entrada/salida heterogéneos (p.ej., sensores de movimiento, cameras ysuperficies táctiles entre otros) y técnicas de interacción como la interacción sin tocar,multitáctil o tangible. Reduciendo las limitaciones físicas en la interacción, las tecnologíasubicuas permiten la creación de interfaces con un mayor poder de expresión (p.ej.,gestos con las manos) y, por lo tanto, se espera que proporcionen a los usuarios mejoresherramientas para pensar, crear y comunicar.Parece claro que las soluciones basadas en las interfaces clásicas no satisfacen las necesidadesde la interacción ubicua, porque están pensadas por un único usuario que interactúacon un único sistema de computación, sentado a su mesa de trabajo y mirando unapantalla vertical. Para superar las deficiencias del paradigma de escritorio, se empezarona desarrollar nuevos modelos de interacción que permitiesen a los usuarios emplear sinesfuerzo sus capacidades innatas y adquiridas y reducir la carga cognitiva de las interfacesclásicas. Las interfaces ubicuas son pervasivas y, por lo tanto, invisibles a sus usuarios, odevienen invisibles a través de interacciones sucesivas en las que los usuarios siempre sesienten que están teniendo éxito. Todos los beneficios propugnados por la interacciónubicua, como la interfaz invisible o una interacción mas natural, tienen un coste: el diseño y el desarrollo de sistemas de interacción ubicua introducen nuevos retos conceptualesy prácticos. Los sistemas ubicuos comunican con el mundo real a través de sensores yemisores. Los sensores convierten las entradas del mundo real en datos digitales, mientrasque los emisores se utilizan principalmente para proporcionar una retroalimentación digitalo física (p.ej., unos altavoces que emiten un sonido). Emplear una gran variedad dedispositivos hardware en una aplicación real puede ser difícil, porque su uso requiereconocimiento de física y muchas horas de programación. Además, la integración de losdatos puede ser complicada, porque cada proveedor de dispositivos utiliza diferentesinterfaces de programación y protocolos de comunicación. Todos estos factores hacenque el prototipado rápido de sistemas ubicuos sea una tarea que constituye un difícil retoen la actualidad.El prototipado es una actividad central para promover la innovación y la creatividad através de la exploración de un espacio de diseño. Sin embargo, a pesar de que existanmuchas herramientas y líneas guías para el prototipado de las interfaces de escritorio, adía de hoy han sido desarrolladas muy pocas soluciones para un prototipado holístico de lainteracción ubicua. La enorme cantidad de dispositivos de entrada, técnicas de interaccióny entornos físicos concebidos por los investigadores supone un gran desafío desde el puntode vista de un entorno general e integral. Todo esto hace que sea difícil trabajar en unespacio de diseño y desarrollo en el que los profesionales necesitan tener conocimiento dediferentes materias relacionadas con temas de software y hardware. Además, el contextotecnológico se complica por el hecho que muchas de estas tecnologías ubicuas acabande salir de un estadio embrionario y están todavía en un proceso de desarrollo; por lotanto faltan de estabilidad, fiabilidad y homogeneidad. Por estos motivos es fundamentaldesarrollar herramientas que soporten el proceso de prototipado de la interacción ubicua.Este trabajo de tesis doctoral se dedica a este problema.El objetivo es desarrollar una arquitectura conceptual y software que utilice un nivel deabstracción del hardware para hacer mas fácil el proceso de prototipado de sistemas deinteracción ubicua. La tesis es que, abstrayendo de los detalles de bajo nivel, es posibleproporcionar un acceso unificado, consistente y coherente a los dispositivos de interacciónindependientemente de su implementación y de los protocolos de comunicación. En estatesis doctoral se revisa la literatura existente y se pone de manifiesto la necesidad deherramientas y marcos que proporcionen dicho soporte global e integrado. Además, sedescriben los objetivos propuestos, la metodología para alcanzarlos y las contribucionesprincipales de este trabajo. Finalmente, se presentan el diseño del marco conceptual,así como su desarrollo en forma de un conjunto de librerías software, su evaluación conusuarios reales y un caso de uso. A través de la evaluación y del caso de uso se hademostrado que considerando dispositivos heterogéneos en un único diseño es posiblereducir los esfuerzos de los usuarios para desarrollar la interacción en entornos ubicuos.
YR 2013
FD 2013-10
LK https://hdl.handle.net/10016/18410
UL https://hdl.handle.net/10016/18410
LA eng
DS e-Archivo
RD 21 may. 2024