Los desarrolladores de software que tienen una dependencia excesiva de chatbots de inteligencia artificial para la creación de aplicaciones pueden acabar utilizando paquetes alucinados.
Así lo pone de manifiesto un nuevo informe que ha hecho público la startup de seguridad de IA generativa Lasso Security.
Una vez más la empresa ha hecho hincapié en que las herramientas de grandes modelos de lenguaje (LLM) se pueden usar para difundir paquetes de software que en realidad no existen.
El año pasado Bar Lanyado, de Lasso, ya advirtió de que los actores de amenazas podrían aprender los nombres de dichos paquetes alucinados y generar otros maliciosos con la misma denominación. El fin es que los developers descarguen estos últimos tras seguir las recomendaciones realizadas por chatbots de IA.
En su investigación Lanyado puso a prueba a cuatro famosas herramientas de IA generativa: GPT-3.5-Turbo, GPT-4, Gemini Pro (anteriormente Bard) y Coral (Cohere), sirviéndose del framework Langchain para la interacción.
El investigador usó una veintena de preguntas para comprobar la repetitividad de las alucinaciones y notó como todas los chatbots citados generaron más del 20% de las alucinaciones. La palma se la llevó Gemini, que alcanzó el 64,5%. La repetitividad llegó al 15%, con Cohere mostrando un máximo del 24,2% en este valor.
Demasiada confianza en las IAs generativas
No obstante, el aspecto que más inquieta de la investigación realizada es que se subió un paquete vacío que llegó a ser descargado en más de 30.000 ocasiones por las recomendaciones de la IA. Asimismo, se descubrió que varias grandes empresas usan o sugieren el mismo paquete.
En definitiva, se pone de manifiesto la necesidad de una verificación cruzada cuando se reciban respuestas inciertas de un LLM, especialmente en lo respectivo a los paquetes de software.
El experto sugiere a los desarrolladores que sean cautelosos al confiar en software de código abierto, especialmente cuando se encuentran con paquetes desconocidos. Además, les insta a verificar el repositorio de dicho paquete y evaluar su comunidad y su participación antes de usarlo.
Al mismo tiempo aconseja comprobar la fecha en la que se publicó. "Esté atento a cualquier cosa que parezca sospechosa. Antes de integrar el paquete en un entorno de producción, es prudente realizar un análisis de seguridad exhaustivo”, apunta Lanyado.