Publication: Enhancing the programmability and energy efficiency of storage in hpc and virtualized environments
Loading...
Identifiers
Publication date
2016-05
Defense date
2016-07-13
Authors
Tutors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
A decade ago computing systems hit a clock and power ceiling that places the energetic challenge among the most relevant issues in High Performance Computing
(HPC). Motivated by the fact that computation is increasingly becoming cheaper than data movement in terms of power, our work studies and optimizes data movement across different levels of the software stack. We propose novel methodologies for analyzing, modeling, and optimizing the energy efficiency of data movement.
More precisely, we propose methodologies to enhance the understanding of power consumption in the software I/O stack, and optimize the I/O energy efficiency in the operating system’s I/O stack, low-level CPU device drivers, and virtualized environments.
Our experimental results show that through the understanding of the different operating system layers and their interaction, it is possible to develop novel coordination techniques that optimize the energy consumption and increase performance of I/O workloads.
First, we develop a methodology for data collection, power and performance characterization, and modeling power usage in the I/O stack. Our work presents a detailed study of power and energy usage across all system components during various I/O-intensive workloads. We propose a data gathering methodology that combines software and hardware-based instrumentation in order to study I/O data movement, and develop novel power prediction models employing data analysis techniques.
Second, this thesis presents novel CPU-level optimizations that improve the energy efficiency of I/O workloads. We address two issues present in modern processors: thermal imbalance causing performance variation and an inefficient use of CPU resources during I/O workloads. We develop novel techniques for power optimization and thermal efficiency through cross-layer coordination of CPU and I/O management.
Third, we also focus on optimizing data sharing among virtual domains. In our work we refer to this as virtualized data sharing, which mainly differs from existing solutions by coordinating data flows through the software I/O stack. We develop a virtualized data sharing solution in order to reduce data movement among virtual environments, introducing new abstractions and mechanisms to more efficiently coordinate storage I/O.
Hace una dĂ©cada, los computadores alcanzaron el lĂmite fĂsico de la frecuencia y potencia disipada, estableciendo el consumo energĂ©tico como uno de los principales obstáculos en el campo de la computaciĂłn de alto rendimiento. Motivados por el hecho de que la computaciĂłn resulta cada vez menos costosa que el movimiento de datos en tĂ©rminos de energĂa, nuestro trabajo estudia y optimiza el movimiento de datos en varios niveles de la arquitectura software. En este trabajo proponemos nuevas metodologĂas para analizar, modelar y optimizar la eficiencia energĂ©tica del movimiento de datos. Concretamente, proponemos metodologĂas para mejorar el análisis del consumo de potencia en la arquitectura software de E/S, asĂ como optimizar la eficiencia energĂ©tica de: la pila de E/S del sistema operativo, controladores de la CPU y entornos virtuales de E/S. Los resultados experimentales muestran que, mediante la comprensiĂłn de la interacciĂłn de las capas del sistema operativo, es posible desarrollar nuevas tĂ©cnicas de coordinaciĂłn que optimicen el consumo energĂ©tico e incrementen el rendimiento de las cargas de trabajo de E/S. En primer lugar desarrollamos una metodologĂa para la recolecciĂłn de datos y la caracterizaciĂłn del rendimiento y consumo de potencia en la pila de E/S. Nuestro trabajo presenta un estudio detallado del consumo energĂ©tico y de potencia de cada uno de los componentes del sistema durante la ejecuciĂłn de cargas de trabajo de E/S. Concretamente proponemos una metodologĂa de captura de datos que combina instrumentaciĂłn hardware y software para estudiar el movimiento de datos, con el fin de desarrollar nuevos modelos de predicciĂłn de consumo empleando tĂ©cnicas de análisis de datos. En segundo lugar, esta Tesis Doctoral presentamos nuevas optimizaciones a nivel de CPU que mejoran la eficiencia energĂ©tica de las cargas de trabajo de E/S. Para ello consideramos dos problemas fundamentales en los procesadores modernos: el desequilibrio tĂ©rmico que causa variablidad de rendimiento y el uso ineficiente de los recursos de la CPU durante cargas de trabajo de E/S. Además desarrollamos nuevas tĂ©cnicas que optimizan la eficiencia energĂ©tica a travĂ©s de la coordinaciĂłn entre las distintas capas del sistema operativo que gestionan CPU y la E/S. En tercer lugar, tambiĂ©n centramos este trabajo en la optimizaciĂłn del intercambio de datos entre dominios virtuales. En nuestro trabajo nos referimos a esto como el intercambio de datos virtualizado, que se diferencia principalmente de las soluciones existentes mediante la coordinaciĂłn de los flujos de datos mediante la cooperaciĂłn entre distintos dominios virtuales. Para ello desarrollamos una soluciĂłn de intercambio de datos que minimiza la copia de datos con el fin de reducir el movimiento de datos, e introducimos nuevas abstracciones y mecanismos para coordinar de manera más eficiente el almacenamiento de E/S en entornos virtuales.
Hace una dĂ©cada, los computadores alcanzaron el lĂmite fĂsico de la frecuencia y potencia disipada, estableciendo el consumo energĂ©tico como uno de los principales obstáculos en el campo de la computaciĂłn de alto rendimiento. Motivados por el hecho de que la computaciĂłn resulta cada vez menos costosa que el movimiento de datos en tĂ©rminos de energĂa, nuestro trabajo estudia y optimiza el movimiento de datos en varios niveles de la arquitectura software. En este trabajo proponemos nuevas metodologĂas para analizar, modelar y optimizar la eficiencia energĂ©tica del movimiento de datos. Concretamente, proponemos metodologĂas para mejorar el análisis del consumo de potencia en la arquitectura software de E/S, asĂ como optimizar la eficiencia energĂ©tica de: la pila de E/S del sistema operativo, controladores de la CPU y entornos virtuales de E/S. Los resultados experimentales muestran que, mediante la comprensiĂłn de la interacciĂłn de las capas del sistema operativo, es posible desarrollar nuevas tĂ©cnicas de coordinaciĂłn que optimicen el consumo energĂ©tico e incrementen el rendimiento de las cargas de trabajo de E/S. En primer lugar desarrollamos una metodologĂa para la recolecciĂłn de datos y la caracterizaciĂłn del rendimiento y consumo de potencia en la pila de E/S. Nuestro trabajo presenta un estudio detallado del consumo energĂ©tico y de potencia de cada uno de los componentes del sistema durante la ejecuciĂłn de cargas de trabajo de E/S. Concretamente proponemos una metodologĂa de captura de datos que combina instrumentaciĂłn hardware y software para estudiar el movimiento de datos, con el fin de desarrollar nuevos modelos de predicciĂłn de consumo empleando tĂ©cnicas de análisis de datos. En segundo lugar, esta Tesis Doctoral presentamos nuevas optimizaciones a nivel de CPU que mejoran la eficiencia energĂ©tica de las cargas de trabajo de E/S. Para ello consideramos dos problemas fundamentales en los procesadores modernos: el desequilibrio tĂ©rmico que causa variablidad de rendimiento y el uso ineficiente de los recursos de la CPU durante cargas de trabajo de E/S. Además desarrollamos nuevas tĂ©cnicas que optimizan la eficiencia energĂ©tica a travĂ©s de la coordinaciĂłn entre las distintas capas del sistema operativo que gestionan CPU y la E/S. En tercer lugar, tambiĂ©n centramos este trabajo en la optimizaciĂłn del intercambio de datos entre dominios virtuales. En nuestro trabajo nos referimos a esto como el intercambio de datos virtualizado, que se diferencia principalmente de las soluciones existentes mediante la coordinaciĂłn de los flujos de datos mediante la cooperaciĂłn entre distintos dominios virtuales. Para ello desarrollamos una soluciĂłn de intercambio de datos que minimiza la copia de datos con el fin de reducir el movimiento de datos, e introducimos nuevas abstracciones y mecanismos para coordinar de manera más eficiente el almacenamiento de E/S en entornos virtuales.
Description
MenciĂłn Internacional en el tĂtulo de doctor
Keywords
Software stack, Data movement, Energy efficiency, Virtual environments