Comparative study of AI code generation tools: quality evaluation and performance analysis

Simple item page JFLF
dc.creatorFlórez Muñoz, Michael
dc.creatorJaramillo de la Torre, Juan
dc.creatorPareja López, Stefany
dc.creatorHerrera Sierra, Stiven
dc.creatorCandela-Uribe, Christian
dc.date2024-07-28
dc.date.accessioned2025-03-31T13:12:16Z
dc.date.available2025-03-31T13:12:16Z
dc.descriptionCode generation tools with artificial intelligence (AI) are crucial in software development, processing natural language to improve programming efficiency. This research was carried out with the purpose of determining the precision and quality of the code generated by (AI) tools. The study began with a systematic literature mapping to identify applicable AI tools. Databases such as ACM, Engineering Source and IEEE Xplore were consulted, from which 621 articles were initially extracted. After applying inclusion criteria: articles in English from areas of computing published between 2020 and 2024, 113 articles were selected. A screening process reduced this figure to 44 articles, which allowed the identification of 11 AI tools for code generation. The method used was a comparative study, ten programming exercises with various levels of difficulty were designed. The identified tools generated code for these exercises in different programming languages. The quality of the generated code was evaluated using the SonarQube static analyzer, considering aspects such as security, reliability and maintainability. The results showed significant variations in code quality between AI tools. Bing as a code generation tool showed slightly better performance compared to others, although none stood out as having noticeably superior AI. In conclusion, the research showed that, although AI tools for code generation are promising, they still require a pilot to reach their maximum potential, showing that there is still much to advance.en-US
dc.descriptionLas herramientas de generación de código con inteligencia artificial (IA) son cruciales en el desarrollo de software, procesando lenguaje natural para mejorar la eficiencia en programación. La presente investigación se realizó con el propósito de determinar la precisión y calidad del código generado por herramientas de (IA). El estudio comenzó con un mapeo sistemático de literatura para identificar las herramientas de IA aplicables. Se consultaron bases de datos como ACM, Engineering Source e IEEE Xplore, de donde se extrajeron inicialmente 621 artículos. Tras aplicar criterios de inclusión: artículos en inglés de áreas de la computación publicados entre 2020 y 2024, se seleccionaron 113 artículos. Un proceso de tamizaje redujo esta cifra a 44 artículos, que permitieron identificar 11 herramientas de IA para la generación de código. El método utilizado fue un estudio comparativo, se diseñaron diez ejercicios de programación con diversos niveles de dificultad. Las herramientas identificadas generaron código para estos ejercicios en diferentes lenguajes de programación. La calidad del código generado fue evaluada mediante el analizador estático SonarQube, considerando aspectos como seguridad, fiabilidad y mantenibilidad. Los resultados mostraron variaciones significativas en la calidad del código entre las herramientas de IA. Bing como herramienta de generación de código mostró un rendimiento ligeramente superior en comparación con otras, aunque ninguna destacó como una IA notablemente superior. En conclusión, la investigación evidenció que, aunque las herramientas de IA para la generación de código son prometedoras, aún requieren de un piloto para alcanzar su máximo potencial, evidenciando que aún queda mucho por avanzar.es-ES
dc.formatapplication/pdf
dc.formattext/html
dc.formattext/xml
dc.identifierhttps://revistas.uniguajira.edu.co/rev/index.php/cei/article/view/e12809577
dc.identifier.urihttps://ciencianacional.co/handle/123456789/255710
dc.journalCiencia e Ingeniería
dc.languagespa
dc.publisherUnivrersidad de La Guajiraes-ES
dc.relationhttps://revistas.uniguajira.edu.co/rev/index.php/cei/article/view/e12809577/pdf
dc.relationhttps://revistas.uniguajira.edu.co/rev/index.php/cei/article/view/e12809577/html
dc.relationhttps://revistas.uniguajira.edu.co/rev/index.php/cei/article/view/e12809577/xml
dc.relationhttps://revistas.uniguajira.edu.co/rev/index.php/cei/article/view/e12809577/2118
dc.relation.institutionUniversidad de La Guajira
dc.rightsDerechos de autor 2024 Michael Flórez Muñoz, Juan Jaramillo de la Torre, Stefany Pareja López, Stiven Herrera Sierra, Christian Candela-Uribees-ES
dc.rightshttps://creativecommons.org/licenses/by-nc-nd/4.0es-ES
dc.sourceCiencia e Ingeniería; Vol. 11 No. 2 (2024): Ciencia e Ingeniería - ISSN 2389-9484 (July-December 2024); e12809577en-US
dc.sourceCiencia e Ingeniería; Vol. 11 Núm. 2 (2024): Ciencia e Ingeniería: ISSN 2389-9484 (julio-diciembre de 2024); e12809577es-ES
dc.source2389-9484
dc.subjectinteligencia artificiales-ES
dc.subjectasistentes de códigoes-ES
dc.subjectgeneración de códigoes-ES
dc.subjectartificial intelligenceen-US
dc.subjectcode assistantsen-US
dc.subjectcode generationen-US
dc.titleComparative study of AI code generation tools: quality evaluation and performance analysisen-US
dc.titleEstudio comparativo de herramientas de generación de código por IA: evaluación de calidad y análisis de desempeñoes-ES
dc.typeinfo:eu-repo/semantics/article
dc.typeinfo:eu-repo/semantics/publishedVersion
dc.typeArtículo revisado por pareses-ES

Files

Collections

vol. 11 núm. 2 (2024): ciencia e ingeniería: issn 2389-9484 (julio-diciembre de 2024)