Creíamos que ChatGPT era genial para programar: han hecho un estudio y la mitad de sus respuestas son incorrectas
- ChatGPT falla en programación: el 52% de respuestas son incorrectas
- Estudio revela errores en las respuestas de programación de ChatGPT
- Programadores deben tener cuidado: ChatGPT comete muchos errores
Un estudio de la Universidad de Purdue revela que el 52% de las respuestas de ChatGPT en programación contienen errores. Aunque el 77% de las respuestas son más detalladas que las humanas, la precisión sigue siendo un problema. Este análisis se basó en 517 preguntas de Stack Overflow, destacando la necesidad de verificar la información obtenida.
Un grupo de investigadores de la Universidad de Purdue realizó un estudio motivado por la creciente popularidad de ChatGPT en programación. Analizaron 517 preguntas de programación de Stack Overflow y evaluaron la corrección, coherencia, exhaustividad y concisión de las respuestas proporcionadas por ChatGPT basado en GPT-3.5. Los resultados mostraron que el 52% de las respuestas contenían información errónea. Aunque el 77% de las respuestas eran más detalladas que las respuestas humanas, esto no garantizaba su precisión, ya que el 78% de ellas presentaban diferentes grados de inconsistencia. Los investigadores también realizaron pruebas paralelas con GPT-4, concluyendo que, aunque este modelo funciona ligeramente mejor, ambos presentan una alta tasa de inexactitud. Estos hallazgos subrayan la importancia de verificar la información obtenida a través de herramientas de IA, especialmente en el ámbito de la programación.
Noticia elaborada a partir del artículo original publicado en Xataka.
