Uma Análise Multicamadas do Consumo de Energia em Cargas Big Data
Resumo
Datacenters consomem 1% de toda a energia mundial. Este trabalho estudou os fatores que compõem o consumo de energia ao processar big data sobre Spark. Caracterizou os fatores mais significativos a partir de um conjunto de testes em cargas big data, que foram processadas com a energia medida fim a fim agregada a métricas da infraestrutura. Um estudo multifatorial sobre os resultados, demonstrou que: (i) nem sempre o acréscimo de recursos acelera o processamento a ponto se economizar energia; (ii) a forma como o recurso é ofertado (tamanho de VM) também altera o desempenho e o consumo; (iii) uma monitoração integrada a uma abordagem multicamada é fundamental para elencar fatores que podem ser a chave na economia de energia.Referências
Abts, D., Marty, M. R., Wells, P. M., Klausler, P., and Liu, H. (2010). Energy proportional datacenter networks. SIGARCH Comput. Archit. News, 38(3):338–347.
Anand, V., Xie, Z., Stolet, M., De Viti, R., Davidson, T., Karimipour, R., Alzayat, S., and Mace, J. (2022). The odd one out: Energy is not like other metrics. In HotCarbon 2022: 1st Workshop on Sustainable Computer Systems Design and Implementation.
Armbrust, M., Fox, A., Griffith, R., Joseph, A. D., Katz, R., Konwinski, A., Lee, G., Patterson, D., Rabkin, A., Stoica, I., and Zaharia, M. (2010). A view of cloud computing. Commun. ACM, 53(4):50–58.
Assunção, M. D., Calheiros, R. N., Bianchi, S., Netto, M. A., and Buyya, R. (2015). Big data computing and clouds: Trends and future directions. Journal of Parallel and Distributed Computing, 79-80:3 – 15. Special Issue on Scalable Systems for Big Data Management and Analytics.
Asyabi, E., Sharifi, M., and Bestavros, A. (2018). ppxen: A hypervisor cpu scheduler for mitigating performance variability in virtualized clouds. Future Generation Computer Systems, 83:75–84.
Baker, T., Al-Dawsari, B., Tawfik, H., Reid, D., and Ngoko, Y. (2015). Greedi: An energy efficient routing algorithm for big data on cloud. Ad Hoc Networks, 35:83–96.
Bernardo, F., Ferro, M., Vieira, V., Silva, G., and Schulze, B. (2020). Em busca de uma inteligência artificial ecologicamente viável: Um estudo de caso do consumo energético de algoritmos de íarvore de decisão. In Simpósio em Sistemas Computacionais de Alto Desempenho (SSCAD), pages 179–190. SBC.
Bernardo, F., Yokoyama, A., Schulze, B., and Ferro, M. (2021). Avaliação do consumo de energia para o treinamento de aprendizado de máquina utilizando single-board computers baseadas em arm. In Simpósio em Sistemas Computacionais de Alto Desempenho (SSCAD), pages 60–71. SBC.
Berral, J. L., Goiri, Í., Nguyen, T. D., Gavalda, R., Torres, J., and Bianchini, R. (2014). Building green cloud services at low cost. In Distributed Computing Systems (ICDCS), 2014 IEEE 34th International Conference on, pages 449–460. IEEE.
Conceição, V. S., Volpini, N. D. O., and Guedes, D. (2018). Seshat: uma arquitetura de monitoração escalável para ambientes em nuvem. In Anais do XVII Workshop em Desempenho de Sistemas Computacionais e de Comunicação, Natal-RN. Sociedade Brasileira de Computaçao (SBC).
Forte, C. H., Manacero, A., Lobato, R. S., and Spolon, R. (2018). An energy-aware task scheduler based in ownership fairness applied to federated grids. In 2018 IEEE Symposium on Computers and Communications (ISCC), pages 00030–00033. IEEE.
Gonçalves, T. d. S., Beck, A. C. S., and Lorenzon, A. F. (2023). Explorando a variabilidade de processo para otimizar a eficiência energética em servidores de nuvem. In Anais do XXIV Simpósio em Sistemas Computacionais de Alto Desempenho, pages 229–240. SBC.
Gu, X., Hou, R., Zhang, K., Zhang, L., and Wang, W. (2011). Application-driven energy-efficient architecture explorations for big data. In Proceedings of the 1st Workshop on Architectures and Systems for Big Data, pages 34–40. ACM.
Higgs, E. (2018). ehiggs/spark-terasort. [link].
IEA (2022). Data centres and data transmission networks. [link]. Acessado em Maio de 2023.
Kim, K. H., Beloglazov, A., and Buyya, R. (2009). Power-aware provisioning of cloud resources for real-time services. In Proceedings of the 7th International Workshop on Middleware for Grids, Clouds and e-Science, MGC ’09, pages 1:1–1:6, New York, NY, USA. ACM.
Leverich, J. and Kozyrakis, C. (2010). On the energy (in) efficiency of hadoop clusters. ACM SIGOPS Operating Systems Review, 44(1):61–65.
Li, H., Wang, H., Fang, S., Zou, Y., and Tian, W. (2020). An energy-aware scheduling algorithm for big data applications in spark. Cluster Computing, 23:593–609.
Li, M., Tan, J., Wang, Y., Zhang, L., and Salapura, V. (2015). Sparkbench: a comprehensive benchmarking suite for in memory data analytic platform spark. In Proceedings of the 12th ACM International Conference on Computing Frontiers, page 53. ACM.
Li, M., Tan, J., Wang, Y., Zhang, L., and Salapura, V. (2017). Sparkbench: a spark benchmarking suite characterizing large-scale in-memory data analytics. Cluster Computing, 20(3):2575–2589.
Mashayekhy, L., Nejad, M. M., Grosu, D., Zhang, Q., and Shi, W. (2015). Energy-aware scheduling of mapreduce jobs for big data applications. IEEE Trans. Parallel Distrib. Syst., 26(10):2720–2733.
Ousterhout, J. (2018). Always measure one level deeper. Communications of the ACM, 61(7):74–83.
Pesce, M. (2021). Cloud computing’s coming energy crisis-the cloud’s electricity needs are growing unsustainably. IEEE Spectr.
Saeed, M. M., Al Aghbari, Z., and Alsharidah, M. (2020). Big data clustering techniques based on spark: a literature review. PeerJ Computer Science, 6:e321.
Spark, A. (2015). Tuning spark. [link]. Acessado em Agosto de 2019.
Volpini, N. D. O., Conceição, V. S., Pontes, R. L., and Guedes, D. (2018). Uma análise do consumo de energia de ambientes de processamento de dados massivos em nuvem. In Anais do XVII Workshop em Desempenho de Sistemas Computacionais e de Comunicaç ao, Natal-RN. Sociedade Brasileira de Computaçao (SBC).
Whitney, J. and Delforge, P. (2014). Scaling up energy efficiency across the data center industry: Evaluating key drivers and barriers. [link]. Acessado em maio de 2015.
Anand, V., Xie, Z., Stolet, M., De Viti, R., Davidson, T., Karimipour, R., Alzayat, S., and Mace, J. (2022). The odd one out: Energy is not like other metrics. In HotCarbon 2022: 1st Workshop on Sustainable Computer Systems Design and Implementation.
Armbrust, M., Fox, A., Griffith, R., Joseph, A. D., Katz, R., Konwinski, A., Lee, G., Patterson, D., Rabkin, A., Stoica, I., and Zaharia, M. (2010). A view of cloud computing. Commun. ACM, 53(4):50–58.
Assunção, M. D., Calheiros, R. N., Bianchi, S., Netto, M. A., and Buyya, R. (2015). Big data computing and clouds: Trends and future directions. Journal of Parallel and Distributed Computing, 79-80:3 – 15. Special Issue on Scalable Systems for Big Data Management and Analytics.
Asyabi, E., Sharifi, M., and Bestavros, A. (2018). ppxen: A hypervisor cpu scheduler for mitigating performance variability in virtualized clouds. Future Generation Computer Systems, 83:75–84.
Baker, T., Al-Dawsari, B., Tawfik, H., Reid, D., and Ngoko, Y. (2015). Greedi: An energy efficient routing algorithm for big data on cloud. Ad Hoc Networks, 35:83–96.
Bernardo, F., Ferro, M., Vieira, V., Silva, G., and Schulze, B. (2020). Em busca de uma inteligência artificial ecologicamente viável: Um estudo de caso do consumo energético de algoritmos de íarvore de decisão. In Simpósio em Sistemas Computacionais de Alto Desempenho (SSCAD), pages 179–190. SBC.
Bernardo, F., Yokoyama, A., Schulze, B., and Ferro, M. (2021). Avaliação do consumo de energia para o treinamento de aprendizado de máquina utilizando single-board computers baseadas em arm. In Simpósio em Sistemas Computacionais de Alto Desempenho (SSCAD), pages 60–71. SBC.
Berral, J. L., Goiri, Í., Nguyen, T. D., Gavalda, R., Torres, J., and Bianchini, R. (2014). Building green cloud services at low cost. In Distributed Computing Systems (ICDCS), 2014 IEEE 34th International Conference on, pages 449–460. IEEE.
Conceição, V. S., Volpini, N. D. O., and Guedes, D. (2018). Seshat: uma arquitetura de monitoração escalável para ambientes em nuvem. In Anais do XVII Workshop em Desempenho de Sistemas Computacionais e de Comunicação, Natal-RN. Sociedade Brasileira de Computaçao (SBC).
Forte, C. H., Manacero, A., Lobato, R. S., and Spolon, R. (2018). An energy-aware task scheduler based in ownership fairness applied to federated grids. In 2018 IEEE Symposium on Computers and Communications (ISCC), pages 00030–00033. IEEE.
Gonçalves, T. d. S., Beck, A. C. S., and Lorenzon, A. F. (2023). Explorando a variabilidade de processo para otimizar a eficiência energética em servidores de nuvem. In Anais do XXIV Simpósio em Sistemas Computacionais de Alto Desempenho, pages 229–240. SBC.
Gu, X., Hou, R., Zhang, K., Zhang, L., and Wang, W. (2011). Application-driven energy-efficient architecture explorations for big data. In Proceedings of the 1st Workshop on Architectures and Systems for Big Data, pages 34–40. ACM.
Higgs, E. (2018). ehiggs/spark-terasort. [link].
IEA (2022). Data centres and data transmission networks. [link]. Acessado em Maio de 2023.
Kim, K. H., Beloglazov, A., and Buyya, R. (2009). Power-aware provisioning of cloud resources for real-time services. In Proceedings of the 7th International Workshop on Middleware for Grids, Clouds and e-Science, MGC ’09, pages 1:1–1:6, New York, NY, USA. ACM.
Leverich, J. and Kozyrakis, C. (2010). On the energy (in) efficiency of hadoop clusters. ACM SIGOPS Operating Systems Review, 44(1):61–65.
Li, H., Wang, H., Fang, S., Zou, Y., and Tian, W. (2020). An energy-aware scheduling algorithm for big data applications in spark. Cluster Computing, 23:593–609.
Li, M., Tan, J., Wang, Y., Zhang, L., and Salapura, V. (2015). Sparkbench: a comprehensive benchmarking suite for in memory data analytic platform spark. In Proceedings of the 12th ACM International Conference on Computing Frontiers, page 53. ACM.
Li, M., Tan, J., Wang, Y., Zhang, L., and Salapura, V. (2017). Sparkbench: a spark benchmarking suite characterizing large-scale in-memory data analytics. Cluster Computing, 20(3):2575–2589.
Mashayekhy, L., Nejad, M. M., Grosu, D., Zhang, Q., and Shi, W. (2015). Energy-aware scheduling of mapreduce jobs for big data applications. IEEE Trans. Parallel Distrib. Syst., 26(10):2720–2733.
Ousterhout, J. (2018). Always measure one level deeper. Communications of the ACM, 61(7):74–83.
Pesce, M. (2021). Cloud computing’s coming energy crisis-the cloud’s electricity needs are growing unsustainably. IEEE Spectr.
Saeed, M. M., Al Aghbari, Z., and Alsharidah, M. (2020). Big data clustering techniques based on spark: a literature review. PeerJ Computer Science, 6:e321.
Spark, A. (2015). Tuning spark. [link]. Acessado em Agosto de 2019.
Volpini, N. D. O., Conceição, V. S., Pontes, R. L., and Guedes, D. (2018). Uma análise do consumo de energia de ambientes de processamento de dados massivos em nuvem. In Anais do XVII Workshop em Desempenho de Sistemas Computacionais e de Comunicaç ao, Natal-RN. Sociedade Brasileira de Computaçao (SBC).
Whitney, J. and Delforge, P. (2014). Scaling up energy efficiency across the data center industry: Evaluating key drivers and barriers. [link]. Acessado em maio de 2015.
Publicado
23/10/2024
Como Citar
VOLPINI, Nestor D. O.; DIAS, Vinícius; GUEDES, Dorgival.
Uma Análise Multicamadas do Consumo de Energia em Cargas Big Data. In: SIMPÓSIO EM SISTEMAS COMPUTACIONAIS DE ALTO DESEMPENHO (SSCAD), 25. , 2024, São Carlos/SP.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2024
.
p. 324-335.
DOI: https://doi.org/10.5753/sscad.2024.244769.
