LUK
06-10-2023, 09:53
A principios del verano salió la primera versión preliminar del OWASP TOP 10 para LLM Apps, pero a finales de Agosto, se publicó la que es Versión 1.0.1 de esta guía (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf), y como ha cambiado un poco, voy a aprovechar para hablaros de ella, con referencias a papers académicos y ejemplos, para que se entienda un poco mejor.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgAsImK-4QD8u4fIeIFU0tNlWKz1XQ62octpn3pPOgxcMMD6vNMtxLF0UH ztP07zExBzAC0xOyuRqT8fZ087zAklEe-UTs2hdv0wALuoqkrVuPlFlaGgvTBkkp40WPhIO5uYtnq9HzKn8 GL1TdcCjVje9-vFK5d8nm5DmnNiMTlErmqOu7LHnJn/w640-h450/OWASP_0.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 1: Los 10 problemas de seguridad más importantes de
ChatGPT, Bard, Llama y apps que usan LLMs.
OWASP Top 10 para LLM Apps version 1.0.1. (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Una explicación con ejemplos y referencias
La guía la tienes disponible en la siguiente URL: OWASP Top 10 para LLM Apps version 1.0.1 (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf), y la lista de los fallos de seguridad más peligrosos son los siguientes.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhmhYvsDgCuwvP-k0qPmTBqvL2Y1l5eXgX6T3RQDC76pLUtL3Xe-0ufbpKWZ9R2w__5Cnot-mjVzFWIeVy9biSBcDuBU_mucSRT-N8Dv3WXDPLgY2Ob34bbciIUCmjy6_FqYN1zpj-g7eGxozUUt1yQ4sCwTZW30Onp7j7j7sBqO3quQEfOL1Ps/s16000/owasp_1.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 2: LLM01 - Prompt Injection (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
No es de extrañar que este sea el más importante de los fallos de seguridad en LLM Apps. La gestión de lo que puede devolver o no es muy compleja aún en estos modelos, así que jugar con las palabras puede llevar a que se consiga el objetivo. Ejemplos de estos, ya os he contado muchos. Se trata de saltarse las protecciones jugando con las palabras.
Dame ideas para matar al presidente de USA (https://www.elladodelmal.com/2023/03/chatgpt-me-das-ideas-para-como-matar-al.html)
A quién debe fichar el Real Madrid para ganar la Champions (https://www.elladodelmal.com/2023/06/chatgpt-quien-debe-fichar-el-real.html)
Cómo destruir la humanidad (https://www.elladodelmal.com/2023/08/como-lograr-que-llama-2-bard-ai-chatgpt.html)
Prompt Injection en LLM e Identidad (https://www.elladodelmal.com/2023/08/el-hacker-del-gorro-y-otros-retos-de-la.html)
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiC84Lg5IG_nqvZ6ACUltIJ1fMVeI7T4rhAgVtwv1ur5N ignsytYs8iD70bV3ynG7ygPsHYybG9hGN0TsQw4JlcGNFDocLU KrrVedL3B7E4KUJU9vCmQzS1T0Z1mZGza7qNbT3oPkY_Kii2YI zrSOVyogsR75aR5I4S5F_hZSQARhWp8nzNVGNt/s16000/OWASP_2.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 3: LLM02 - Insecure Output Handling (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Aquí el problema es mucho más sencillo de lo que te imaginas, y es que los LLM también pueden escribir código. Código que vendría en la respuesta, y si no estás sanitizando los datos que te entrega correctamente , te podrían inyectar vía Prompt Injection comandos en el cliente para hacer un XSS, un CRSF, un SSRF, o cualquier Clien-Side Attack (https://0xword.com/es/libros/97-hacking-web-applications-client-side-attacks.html).
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhZ7v3UoHd7-rSiscLaaVO7EgFIAb4kHFCxd0eKVlxYgY8BrmS63p_q6UnIswa mnjGWG2J61NnisAHiGeArQJjiCbfxrba2VoRZUe0F0qXjZERAR WlNxw20tSeS3YIwSagCYiDp4kARk0WH2r-7SAz0kV2tvozR3VOVop3DVC2Yflzwslfq4LrL/w640-h428/chat_codigoXX.jpg (https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhZ7v3UoHd7-rSiscLaaVO7EgFIAb4kHFCxd0eKVlxYgY8BrmS63p_q6UnIswa mnjGWG2J61NnisAHiGeArQJjiCbfxrba2VoRZUe0F0qXjZERAR WlNxw20tSeS3YIwSagCYiDp4kARk0WH2r-7SAz0kV2tvozR3VOVop3DVC2Yflzwslfq4LrL/s1182/chat_codigoXX.jpg)
Figura 4: Los LLMs pueden escribir exploits que se ejecuten Client-Side (https://0xword.com/es/libros/97-hacking-web-applications-client-side-attacks.html)
Así que, si tienes una app que escupe la salida de un LLM, más vale que lo trates pensando que él puede ser el atacante de tu sistema.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhQRyMEmiJYfZ2vJLZ0Mv-Nqknu0PK7tXKUkJUUH8SJ-ZabH2XLDyOAhfnsYZISv-6d0IMavsmrj8XDSVHbKq9VwgmXhOHn7HpHZSTKIckav9NLRMDK ii0CSqNJarjJt6omxsj-OcgSYa3RhXuP2j-qmedcDJHASdhki6z9AP9bXdEiCKGJQQha/s16000/OWASP_3.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 5: LLM03 - Training Data Poisoning (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Si no se "curan" los datos por error, o por intención maliciosa, en el proceso de entrenamiento de un LLM puede dar respuestas que introduzcan vulnerabilidades, que tengan sesgos, o que hagan que no sea eficiente en su función. Hay que evitar el entrenamiento con datos no filtrados.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEikHiEC9wxYldJEiw-_MMHD9_RgxKge3cg8RhY35gWJJI1XOYxzMddesnKU5HIsXVGch J76FSdo6-MNwOVUZzlrVv3uLm0dNln7XTeL_B6b3Z4N2NAPlhmW2w6PWa0V ZiKVh6Hdepb1kMww09sW9ZY6QK0rvWjBkDIoOMVDYIwo1jjxsK Vzuw/w620-h640/AI_2.jpg (https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEikHiEC9wxYldJEiw-_MMHD9_RgxKge3cg8RhY35gWJJI1XOYxzMddesnKU5HIsXVGch J76FSdo6-MNwOVUZzlrVv3uLm0dNln7XTeL_B6b3Z4N2NAPlhmW2w6PWa0V ZiKVh6Hdepb1kMww09sW9ZY6QK0rvWjBkDIoOMVDYIwo1jjxsK Vzuw/s971/AI_2.jpg)
Figura 6: Código PHP con bug de SQL Injection (http://0xword.com/es/libros/25-libro-hacking-aplicaciones-web-sql-injection.html) generado por ChatGPT
Como ejemplos de esto:
ChatGPT hace código con SQL Injection, CoPilot mete Security Bugs y los programadores que usan Asistentes AI hacen más "Buggy Code" (https://www.elladodelmal.com/2022/12/chatgpt-hace-codigo-con-sql-injection.html)
Do users write more insecure code with AI assistants? (https://arxiv.org/pdf/2211.03622.pdf)
ChatGPT y el "Sesgo de Género" en las traducciones #BIAS (https://www.elladodelmal.com/2023/01/chatgpt-y-el-sesgo-de-genero-en-las.html)
ChatGPT: "Los hackers malos, los tenistas hombres y no sé qué es ChatGPT" (https://www.elladodelmal.com/2022/12/chatgpt-los-hackers-malos-los-tenistas.html)
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiF0dBqE-O4w-lTNMbDcMr0HrcI2EL_wfS2ZjK-llf6_DwrLaCMdxawCify5Fulq-O0v8TfdS37NodiVaZACthY2w73ucP7nTKswIXg7_4pMtI3eDZA iCXyhywVf6Z-3PI8nRKsf9FI0bbjA9M-pGwUIAckC1Q1urF1ujb1Rcbm_y0G2wGHKGKc/s16000/OWASP_4.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 7: LLM04 - Model Denial of Service (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
En este caso no hay que desestimar para nada el consumo de recursos de los modelos, así que atacantes pueden hacer ataques de DoS que fuercen a consumir mucho computo en cloud e incluso degradar el servicio.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgVGJpV00vhEZKfvkeT1gV-5kO-5G-MVBjIoyei1H2IxsWf-vedGmTlBoNGOq-BsNrT5EZjgQduoOHwK_irwdBUXRTjTDpRfSQOyJqRtwsxl4X61 mUlXNenC-nmPtsNRg21gAJ-wQ8lxoCTS2fqUCScz9mW33-kV-Xs9A9SIS8XtXlzTYDMuS8I/w400-h214/chatgpt_lleno.jpg (https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgVGJpV00vhEZKfvkeT1gV-5kO-5G-MVBjIoyei1H2IxsWf-vedGmTlBoNGOq-BsNrT5EZjgQduoOHwK_irwdBUXRTjTDpRfSQOyJqRtwsxl4X61 mUlXNenC-nmPtsNRg21gAJ-wQ8lxoCTS2fqUCScz9mW33-kV-Xs9A9SIS8XtXlzTYDMuS8I/s378/chatgpt_lleno.jpg)
Figura 8: ChatGPT a tope de capacidad
No es raro ver que el propio ChatGPT está colapsado, y fue por esa necesidad de computo que Microsoft pudo entrar en la compañía de OpenAI con créditos de consumos de Azure Cloud (https://www.elladodelmal.com/2023/01/chatgpt-openai-y-los-creditos-de-azure.html).
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgdDc3cUOX5V0Qr0W-eLzX4PPXnuC3iIWEX_xo_NBvEJwYIEZzvRoxiz59PUJKNQGKDR UxhnCW8kwoFNQ_7iGHGOMSA8skNCLD2_N4ML_BFTNpWKB3wXBu yznbo5Bk5Ei_Z6EBy0fFQh3xeZyKz5Z-RP-X4VctIiPBxnfMohmnIOeD_RrcKtRPD/s16000/owasp_5.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 9: LLM05 - Supply Chain Vulnerabilities (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Si haces una aplicación utilizando un LLM que viene entrenado, puede venir con sus propios bugs, y fallos, que pueden explotarse en tus apps, como por ejemplo el Universal Prompt Injection que este verano permitía sacar de ChatGPT, Bard y Llama cómo acabar con la humanidad (https://www.elladodelmal.com/2023/08/como-lograr-que-llama-2-bard-ai-chatgpt.html).
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhZOMyif_jXqTeSVWiGsxg0q15AdLYNDkMGbtRQBqjUSu VYhjzqsRUZAJa8aWWDNXRBvvMAVtS5uhw5NAeTSncTxH-isVlIxFP_5rPNCWFoXovVrCJ0pWJ6Kvw4eo-TtoZKs0IhbJ1E4BDzlzcq1kjFlIA6yCKnvrM-WFx-y7XtBjSoABEQkMhK/w640-h582/Adv_1.jpg (https://arxiv.org/pdf/2307.15043.pdf)
Figura 10: "Universal and Transferable Adversarial Attacks on Aligned Language Model (https://arxiv.org/pdf/2307.15043.pdf)s"
Si haces una App usando componentes o LLMs de terceros, podrás acabar siendo afectado por sus bugs, así que hay que asegurarse de gestionar esos posibles incidentes.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiBQ9S3AC2wN4Pu4XYifDg4ae-WH51EVSmwkTLsbTQ-u_CiAGarOCDXejSpHYep6ezEGUGUJaJOQjRprkSh7PIywfzYDX dBk4gVpfmoBgWsSPEsNmnaCeh1YZBF-R2PO4F98bXbdPw3iLlbI1q04NdHMo2duR0W6d-rTEml6a0ATO-6Opvw8Kif/s16000/OWASP_6.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 11: LLM06 - Sensitive Information Disclosure (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Los datos que se utilizan para entrenar los modelos LLM pueden llevar información personal, API Keys, Secrets, y otro tipo de información que habría que evitar que el modelo filtrara en contestaciones.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjfl30TCtpYSVQime3nvtt0sO1NAZxImsBBLWZKO1OHTM OGHcMLeP5zurbJToOTnobNWLQ0dl4L_UFfq80idD0n9wo_X90L rPyPIMR5XijbQE6nzv8N1tbSWDgbnhDlbr2Lcq9YJ_lu3UydbS fdAOivFSYL5-QPhYCg8oCO0cZbGswiGe2FGt19/w640-h368/paper4_process.jpg (https://arxiv.org/pdf/2309.07639.pdf)
Figura 12: Ataque mediante Prompt-Injecton de RegEx (https://www.elladodelmal.com/2023/09/github-copilot-amazon-codewhisperer.html)
para extraer API KEys & Secrets de GitHub Copilot (https://www.elladodelmal.com/2023/09/github-copilot-amazon-codewhisperer.html)
y de Amazon Code Whisperer (https://www.elladodelmal.com/2023/09/github-copilot-amazon-codewhisperer.html)
Sin embargo hemos visto trabajos que muestran cómo es posible hacer que GitHub Copilot o Amazon Code Whisperer filtren API Keys & Secrets (https://www.elladodelmal.com/2023/09/github-copilot-amazon-codewhisperer.html), o como es posible, utilizando Inferencia y Perplejidad sacar información personal de los modelos LLM entrenados con datos personales que indentifican a personas (https://www.elladodelmal.com/2023/06/analisis-de-filtracion-de-informacion.html).
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEj_KWd0aGWzcDo9WxsiqNao0PDT_LAhhsaNaEdrllEkYJ vloWLETa4I2M7bylyaCxdeE6UfWJfu7iqaYAFEwq_id0QZCpqt SxlxPhDV9omZB80j7dFn2lwHvonOAJ3AOgJB1meN8Ojoybmkip UyaQs7F1eu5s12dtEMrH7OzwEaU4jj8N20NQ/w640-h180/paper_6.jpg (https://arxiv.org/pdf/2302.00539.pdf)
Figura 13: Proceso de reconstrucción e inferencia de PII en LLMs (https://arxiv.org/pdf/2302.00539.pdf)
Así que, si en los datos de entrenamiento hay datos personales, privados o confidenciales, a día de hoy no hay muchas herramientas para garantizar que no se acabarán filtrando en ataques de Prompt Injection.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjJcYIrieGfMaCaVaiAlje2ozm8MGhlcgCJwtc_Gxi4b6 l0brcb7RcgQCPrOxok3WZv3BSxeR734wOv3t_i0trNAoi7HeCx EhmvO6J55uLTZJlxnQ9iZ_2O_kq7vcnouneJ_jr5qXTTRMxx6V t6jeT3lscL6PY9OYuNms7uQQy2XtTa5GTwZR_r/s16000/Owasp_7.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 14: LLM07 - Insecure Plugin Design (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Si utilizas modelos LLMs de terceros para enriquecer tus apps, estos pueden tener los mismos problemas de acceso de la información, o controles de inyección, así que hacer una app modular con plugins LLM puede ser otro foco de problemas de seguridad.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi9ZFeDBBWFVYfZaLlP17_890Td_YrU7TQT4NTrKYSOye MLNl2Rn7v7W5JKZ8bwOWUEEh8QBR5S0HeXWlUUAkecpWuVZyeJ ZmuvpyeTMJNZWhVDU96IOGZJYSBsclD5T-7ufDp8PcZW8VH0AmqK4gNqHZ32VcGOFHhhYaoNKlK4dyC2LtKW h-VL/s16000/OWASP-8.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 15: LLM08 - Excessive Agency (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Dejar que las acciones que ejecute un sistema sean basadas en las decisiones que tome un modelo de IA LLM, es un serio riesgo. Ya hemos visto que en Europa se ha pedido que en el congreso REAIM (REsponsibly Artificial Intelligence in the Military Domain) (https://www.elladodelmal.com/2023/02/reaim-responsible-artificial.html) de este año que no se usen modelos de IA para tomar decisiones de atacar en armas militares.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjQKibjbaMGuwFJ1CCqr8V3CBJclaYPVg_qbqjRNg-TCTg5rLbs9ldziSB0ekHGrki7P6MWc-ww9W1SE2EzTyrfIP-U5LTjq41y4dHEvdMp3H48ZCPVCfSV4u8GcPzv8sY8A-kzxqMFhMeIORDeWupPu2JEybHK15T04qU11HMdksQC1FsTgQ/w640-h84/REIM_2.png (https://www.government.nl/ministries/ministry-of-foreign-affairs/documents/publications/2023/02/16/reaim-2023-call-to-action)
Figura 17: REAIM: Necesidad de que haya un ser humano responsable de la IA (https://www.government.nl/ministries/ministry-of-foreign-affairs/documents/publications/2023/02/16/reaim-2023-call-to-action)
Y el gobierno de los Estados Unidos hizo en Febrero de este año la Declaración de Uso Responsable de IA con las armas nucleares (https://www.elladodelmal.com/2023/06/juegos-de-guerra-inteligencia.html) para pedir lo mismo.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjacyX36ZQl7ObFIBgtKVDsZBOIxXJ1lcXpmRUzx6ncVK 9pIZuU4MiB67Hs9HMKtJG7sZ_qR8ZCrfkSCYdstnSrVEEIcTTJ H_vm_AU_puQBXqa7qBVt2yGde68JJdpcV2vVlHFAH0ojwnsXOo O8SV9D5eo5lo8FyKTMXD3UEoIgtXL-B0Y5CTyl/w640-h600/nuclear_2.jpg (https://www.state.gov/political-declaration-on-responsible-military-use-of-artificial-intelligence-and-autonomy/)
Figura 18: Declaración Política del Uso Responsable en (https://www.state.gov/political-declaration-on-responsible-military-use-of-artificial-intelligence-and-autonomy/)
la Industria Militar de Inteligencia Artificial (https://www.state.gov/political-declaration-on-responsible-military-use-of-artificial-intelligence-and-autonomy/)
Esto, que está pensado para armas, y el mundo militar, pero en menor escala, puede afectar a sistemas críticos, redes, banca, etcétera. Así que como, la explicabilidad de un modelo LLM aún es un terreno por explorar, mejor que haya supervisión humana en la ejecución de acciones.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjw-5jeSffNrpRKTBNl2NCFeaRFvAUrQT6VoJ6lFzrPK5lTg6ERPbS eojmICC48zVSpOOP-xoif6iBr-uB2c9-00IH5jJPs9ezJK9WhvW5M0FZmRBTV_Mpn0GwxgtnmJeshmxnrX gHkm6AVjCHV9vS1ivR3qHxVKe1XTk8tmehc0mMiEoGV-adC/s16000/OWASP_9.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 19: LLM09 - Overreliance (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
O lo que es lo mismo, exceso de confianza en las respuestas que da el modelo LLM. Esto lo hemos visto con la comparativa sobre las preguntas de resolución de problemas para developers, donde el 50% de ellas son erróneas (https://www.elladodelmal.com/2023/08/si-eres-developer-y-buscas-soluciones.html), lo hemos visto con los datos biográficos sobre personas públicas, como en mi caso donde se inventa de todo (https://www.elladodelmal.com/2023/04/las-mentiras-infinitas-que-chatgpt-se.html), o de personas como Arturo Pérez-Reverte (https://mypublicinbox.com/PerezReverte), Rodrigo Cortés (https://mypublicinbox.com/RodrigoCortes) o David Summers (https://mypublicinbox.com/DavidSummers) como vimos en el artículo de "¡Ojo con ChatGPT que es un charlatán mentirosillo! (https://www.zendalibros.com/ojo-con-chatgpt-que-es-un-charlatan-mentirosillo/)".
Esto son lo que se llaman "Hallucinations" o "Alucinaciones, y es algo con lo que hay que convivir en todos los LLM que tenemos hoy en día, así que cuidado con tener un exceso de confianza en las respuestas que da.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjst8MPN-e_hDUWg3D6uT3LOC-zWcbBWr4Jqf2vSE46QlUmNy4M52O5QZWWRNjCQ5qluPcHG7pml jbxba73kFxmJT-6QewcZsP5n5Sn1_oNqGgGujMWFc3ODhIx9ddfXp-5PHZ2Q4pWJT9KJ2ttatyVUWDkAZwEfKV8PXHuFfEC2GZZvgbdS mHx/w640-h380/google.png (https://www.cnet.com/science/space/googles-chatgpt-rival-bard-called-out-for-nasa-webb-space-telescope-error/)
Figura 21: Google Bard erró con la respuesta (https://www.cnet.com/science/space/googles-chatgpt-rival-bard-called-out-for-nasa-webb-space-telescope-error/)
Google cometió con Bard un Overreliance e hizo una demo integrado en Google Search con él preguntándole por proyectos de la NASA, y el error le costó una caída en Bolsa de 100 Billions de USD (https://www.cnet.com/science/space/googles-chatgpt-rival-bard-called-out-for-nasa-webb-space-telescope-error/).
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg-lELmjYBUZGhipDrsdIvLv8wr6lPTT7kvJiAPHruq6o57eUf-5hkDE2bz7UNqCPZbZJVcL9X8c9aqZFMqBcobnx-ZpOZiR1CZaZKCHQmJa-LeR4p6gZjjbMWgnUE59lH2gAexEhgFM_CBG4h3e5d-MQYwVo3lOey04goLbE1cl3VL2FzI-sGC/s16000/OWASP_10.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 22: LLM10 . Model Theft (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Si te roban el modelo LLM, se llevan todo el conocimiento de todos los datos con los que haya sido entrenado. Se llevan la base de datos completa en forma de modelo conversacional, y en lugar de usar consultas SQL o NoSQL para extraer los datos, tienen que conversar con él.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEidX-13XzgdN-vte8i9OkAuUjVu41uBFQpyKi5ejyd3pOizRypS-XLf30LLGLxnGLlgGvjKUGP8tvd2MvX3mvsfMW0QKCYihwF0FXg oSFowP4O0eCRuomEzfdx_AuPGLvjkICAWxonvSd8XNwVD1gB1l wn7gjuSSByXrrZj6U6AszqZEEaw2ohD/w482-h640/llama_leaked.jpg (https://decrypt.co/143638/senators-question-meta-ceo-mark-zuckerberg-over-llama-ai-model-leak)
Figura 23: Filtración del modelo LLama (https://decrypt.co/143638/senators-question-meta-ceo-mark-zuckerberg-over-llama-ai-model-leak)
Esto es lo que preocupó tanto al gobierno de los EEUU cuando se filtró a disposición pública el modelo entrenado con los Tokens de LLama en la red (https://decrypt.co/143638/senators-question-meta-ceo-mark-zuckerberg-over-llama-ai-model-leak). Querían saber exactamente con qué datos había sido entrenado para saber qué podía filtrarse de ellos.
Documento OWASP Top 10 forLLM Applications: https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf
¡Saludos Malignos!
Autor: Chema Alonso (Contactar con Chema Alonso (https://www.mypublicinbox.com/chemaalonso)) en https://www.elladodelmal.com/2023/10/los-10-problemas-de-seguridad-mas.html
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgAsImK-4QD8u4fIeIFU0tNlWKz1XQ62octpn3pPOgxcMMD6vNMtxLF0UH ztP07zExBzAC0xOyuRqT8fZ087zAklEe-UTs2hdv0wALuoqkrVuPlFlaGgvTBkkp40WPhIO5uYtnq9HzKn8 GL1TdcCjVje9-vFK5d8nm5DmnNiMTlErmqOu7LHnJn/w640-h450/OWASP_0.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 1: Los 10 problemas de seguridad más importantes de
ChatGPT, Bard, Llama y apps que usan LLMs.
OWASP Top 10 para LLM Apps version 1.0.1. (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Una explicación con ejemplos y referencias
La guía la tienes disponible en la siguiente URL: OWASP Top 10 para LLM Apps version 1.0.1 (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf), y la lista de los fallos de seguridad más peligrosos son los siguientes.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhmhYvsDgCuwvP-k0qPmTBqvL2Y1l5eXgX6T3RQDC76pLUtL3Xe-0ufbpKWZ9R2w__5Cnot-mjVzFWIeVy9biSBcDuBU_mucSRT-N8Dv3WXDPLgY2Ob34bbciIUCmjy6_FqYN1zpj-g7eGxozUUt1yQ4sCwTZW30Onp7j7j7sBqO3quQEfOL1Ps/s16000/owasp_1.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 2: LLM01 - Prompt Injection (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
No es de extrañar que este sea el más importante de los fallos de seguridad en LLM Apps. La gestión de lo que puede devolver o no es muy compleja aún en estos modelos, así que jugar con las palabras puede llevar a que se consiga el objetivo. Ejemplos de estos, ya os he contado muchos. Se trata de saltarse las protecciones jugando con las palabras.
Dame ideas para matar al presidente de USA (https://www.elladodelmal.com/2023/03/chatgpt-me-das-ideas-para-como-matar-al.html)
A quién debe fichar el Real Madrid para ganar la Champions (https://www.elladodelmal.com/2023/06/chatgpt-quien-debe-fichar-el-real.html)
Cómo destruir la humanidad (https://www.elladodelmal.com/2023/08/como-lograr-que-llama-2-bard-ai-chatgpt.html)
Prompt Injection en LLM e Identidad (https://www.elladodelmal.com/2023/08/el-hacker-del-gorro-y-otros-retos-de-la.html)
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiC84Lg5IG_nqvZ6ACUltIJ1fMVeI7T4rhAgVtwv1ur5N ignsytYs8iD70bV3ynG7ygPsHYybG9hGN0TsQw4JlcGNFDocLU KrrVedL3B7E4KUJU9vCmQzS1T0Z1mZGza7qNbT3oPkY_Kii2YI zrSOVyogsR75aR5I4S5F_hZSQARhWp8nzNVGNt/s16000/OWASP_2.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 3: LLM02 - Insecure Output Handling (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Aquí el problema es mucho más sencillo de lo que te imaginas, y es que los LLM también pueden escribir código. Código que vendría en la respuesta, y si no estás sanitizando los datos que te entrega correctamente , te podrían inyectar vía Prompt Injection comandos en el cliente para hacer un XSS, un CRSF, un SSRF, o cualquier Clien-Side Attack (https://0xword.com/es/libros/97-hacking-web-applications-client-side-attacks.html).
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhZ7v3UoHd7-rSiscLaaVO7EgFIAb4kHFCxd0eKVlxYgY8BrmS63p_q6UnIswa mnjGWG2J61NnisAHiGeArQJjiCbfxrba2VoRZUe0F0qXjZERAR WlNxw20tSeS3YIwSagCYiDp4kARk0WH2r-7SAz0kV2tvozR3VOVop3DVC2Yflzwslfq4LrL/w640-h428/chat_codigoXX.jpg (https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhZ7v3UoHd7-rSiscLaaVO7EgFIAb4kHFCxd0eKVlxYgY8BrmS63p_q6UnIswa mnjGWG2J61NnisAHiGeArQJjiCbfxrba2VoRZUe0F0qXjZERAR WlNxw20tSeS3YIwSagCYiDp4kARk0WH2r-7SAz0kV2tvozR3VOVop3DVC2Yflzwslfq4LrL/s1182/chat_codigoXX.jpg)
Figura 4: Los LLMs pueden escribir exploits que se ejecuten Client-Side (https://0xword.com/es/libros/97-hacking-web-applications-client-side-attacks.html)
Así que, si tienes una app que escupe la salida de un LLM, más vale que lo trates pensando que él puede ser el atacante de tu sistema.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhQRyMEmiJYfZ2vJLZ0Mv-Nqknu0PK7tXKUkJUUH8SJ-ZabH2XLDyOAhfnsYZISv-6d0IMavsmrj8XDSVHbKq9VwgmXhOHn7HpHZSTKIckav9NLRMDK ii0CSqNJarjJt6omxsj-OcgSYa3RhXuP2j-qmedcDJHASdhki6z9AP9bXdEiCKGJQQha/s16000/OWASP_3.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 5: LLM03 - Training Data Poisoning (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Si no se "curan" los datos por error, o por intención maliciosa, en el proceso de entrenamiento de un LLM puede dar respuestas que introduzcan vulnerabilidades, que tengan sesgos, o que hagan que no sea eficiente en su función. Hay que evitar el entrenamiento con datos no filtrados.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEikHiEC9wxYldJEiw-_MMHD9_RgxKge3cg8RhY35gWJJI1XOYxzMddesnKU5HIsXVGch J76FSdo6-MNwOVUZzlrVv3uLm0dNln7XTeL_B6b3Z4N2NAPlhmW2w6PWa0V ZiKVh6Hdepb1kMww09sW9ZY6QK0rvWjBkDIoOMVDYIwo1jjxsK Vzuw/w620-h640/AI_2.jpg (https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEikHiEC9wxYldJEiw-_MMHD9_RgxKge3cg8RhY35gWJJI1XOYxzMddesnKU5HIsXVGch J76FSdo6-MNwOVUZzlrVv3uLm0dNln7XTeL_B6b3Z4N2NAPlhmW2w6PWa0V ZiKVh6Hdepb1kMww09sW9ZY6QK0rvWjBkDIoOMVDYIwo1jjxsK Vzuw/s971/AI_2.jpg)
Figura 6: Código PHP con bug de SQL Injection (http://0xword.com/es/libros/25-libro-hacking-aplicaciones-web-sql-injection.html) generado por ChatGPT
Como ejemplos de esto:
ChatGPT hace código con SQL Injection, CoPilot mete Security Bugs y los programadores que usan Asistentes AI hacen más "Buggy Code" (https://www.elladodelmal.com/2022/12/chatgpt-hace-codigo-con-sql-injection.html)
Do users write more insecure code with AI assistants? (https://arxiv.org/pdf/2211.03622.pdf)
ChatGPT y el "Sesgo de Género" en las traducciones #BIAS (https://www.elladodelmal.com/2023/01/chatgpt-y-el-sesgo-de-genero-en-las.html)
ChatGPT: "Los hackers malos, los tenistas hombres y no sé qué es ChatGPT" (https://www.elladodelmal.com/2022/12/chatgpt-los-hackers-malos-los-tenistas.html)
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiF0dBqE-O4w-lTNMbDcMr0HrcI2EL_wfS2ZjK-llf6_DwrLaCMdxawCify5Fulq-O0v8TfdS37NodiVaZACthY2w73ucP7nTKswIXg7_4pMtI3eDZA iCXyhywVf6Z-3PI8nRKsf9FI0bbjA9M-pGwUIAckC1Q1urF1ujb1Rcbm_y0G2wGHKGKc/s16000/OWASP_4.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 7: LLM04 - Model Denial of Service (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
En este caso no hay que desestimar para nada el consumo de recursos de los modelos, así que atacantes pueden hacer ataques de DoS que fuercen a consumir mucho computo en cloud e incluso degradar el servicio.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgVGJpV00vhEZKfvkeT1gV-5kO-5G-MVBjIoyei1H2IxsWf-vedGmTlBoNGOq-BsNrT5EZjgQduoOHwK_irwdBUXRTjTDpRfSQOyJqRtwsxl4X61 mUlXNenC-nmPtsNRg21gAJ-wQ8lxoCTS2fqUCScz9mW33-kV-Xs9A9SIS8XtXlzTYDMuS8I/w400-h214/chatgpt_lleno.jpg (https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgVGJpV00vhEZKfvkeT1gV-5kO-5G-MVBjIoyei1H2IxsWf-vedGmTlBoNGOq-BsNrT5EZjgQduoOHwK_irwdBUXRTjTDpRfSQOyJqRtwsxl4X61 mUlXNenC-nmPtsNRg21gAJ-wQ8lxoCTS2fqUCScz9mW33-kV-Xs9A9SIS8XtXlzTYDMuS8I/s378/chatgpt_lleno.jpg)
Figura 8: ChatGPT a tope de capacidad
No es raro ver que el propio ChatGPT está colapsado, y fue por esa necesidad de computo que Microsoft pudo entrar en la compañía de OpenAI con créditos de consumos de Azure Cloud (https://www.elladodelmal.com/2023/01/chatgpt-openai-y-los-creditos-de-azure.html).
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgdDc3cUOX5V0Qr0W-eLzX4PPXnuC3iIWEX_xo_NBvEJwYIEZzvRoxiz59PUJKNQGKDR UxhnCW8kwoFNQ_7iGHGOMSA8skNCLD2_N4ML_BFTNpWKB3wXBu yznbo5Bk5Ei_Z6EBy0fFQh3xeZyKz5Z-RP-X4VctIiPBxnfMohmnIOeD_RrcKtRPD/s16000/owasp_5.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 9: LLM05 - Supply Chain Vulnerabilities (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Si haces una aplicación utilizando un LLM que viene entrenado, puede venir con sus propios bugs, y fallos, que pueden explotarse en tus apps, como por ejemplo el Universal Prompt Injection que este verano permitía sacar de ChatGPT, Bard y Llama cómo acabar con la humanidad (https://www.elladodelmal.com/2023/08/como-lograr-que-llama-2-bard-ai-chatgpt.html).
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhZOMyif_jXqTeSVWiGsxg0q15AdLYNDkMGbtRQBqjUSu VYhjzqsRUZAJa8aWWDNXRBvvMAVtS5uhw5NAeTSncTxH-isVlIxFP_5rPNCWFoXovVrCJ0pWJ6Kvw4eo-TtoZKs0IhbJ1E4BDzlzcq1kjFlIA6yCKnvrM-WFx-y7XtBjSoABEQkMhK/w640-h582/Adv_1.jpg (https://arxiv.org/pdf/2307.15043.pdf)
Figura 10: "Universal and Transferable Adversarial Attacks on Aligned Language Model (https://arxiv.org/pdf/2307.15043.pdf)s"
Si haces una App usando componentes o LLMs de terceros, podrás acabar siendo afectado por sus bugs, así que hay que asegurarse de gestionar esos posibles incidentes.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiBQ9S3AC2wN4Pu4XYifDg4ae-WH51EVSmwkTLsbTQ-u_CiAGarOCDXejSpHYep6ezEGUGUJaJOQjRprkSh7PIywfzYDX dBk4gVpfmoBgWsSPEsNmnaCeh1YZBF-R2PO4F98bXbdPw3iLlbI1q04NdHMo2duR0W6d-rTEml6a0ATO-6Opvw8Kif/s16000/OWASP_6.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 11: LLM06 - Sensitive Information Disclosure (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Los datos que se utilizan para entrenar los modelos LLM pueden llevar información personal, API Keys, Secrets, y otro tipo de información que habría que evitar que el modelo filtrara en contestaciones.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjfl30TCtpYSVQime3nvtt0sO1NAZxImsBBLWZKO1OHTM OGHcMLeP5zurbJToOTnobNWLQ0dl4L_UFfq80idD0n9wo_X90L rPyPIMR5XijbQE6nzv8N1tbSWDgbnhDlbr2Lcq9YJ_lu3UydbS fdAOivFSYL5-QPhYCg8oCO0cZbGswiGe2FGt19/w640-h368/paper4_process.jpg (https://arxiv.org/pdf/2309.07639.pdf)
Figura 12: Ataque mediante Prompt-Injecton de RegEx (https://www.elladodelmal.com/2023/09/github-copilot-amazon-codewhisperer.html)
para extraer API KEys & Secrets de GitHub Copilot (https://www.elladodelmal.com/2023/09/github-copilot-amazon-codewhisperer.html)
y de Amazon Code Whisperer (https://www.elladodelmal.com/2023/09/github-copilot-amazon-codewhisperer.html)
Sin embargo hemos visto trabajos que muestran cómo es posible hacer que GitHub Copilot o Amazon Code Whisperer filtren API Keys & Secrets (https://www.elladodelmal.com/2023/09/github-copilot-amazon-codewhisperer.html), o como es posible, utilizando Inferencia y Perplejidad sacar información personal de los modelos LLM entrenados con datos personales que indentifican a personas (https://www.elladodelmal.com/2023/06/analisis-de-filtracion-de-informacion.html).
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEj_KWd0aGWzcDo9WxsiqNao0PDT_LAhhsaNaEdrllEkYJ vloWLETa4I2M7bylyaCxdeE6UfWJfu7iqaYAFEwq_id0QZCpqt SxlxPhDV9omZB80j7dFn2lwHvonOAJ3AOgJB1meN8Ojoybmkip UyaQs7F1eu5s12dtEMrH7OzwEaU4jj8N20NQ/w640-h180/paper_6.jpg (https://arxiv.org/pdf/2302.00539.pdf)
Figura 13: Proceso de reconstrucción e inferencia de PII en LLMs (https://arxiv.org/pdf/2302.00539.pdf)
Así que, si en los datos de entrenamiento hay datos personales, privados o confidenciales, a día de hoy no hay muchas herramientas para garantizar que no se acabarán filtrando en ataques de Prompt Injection.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjJcYIrieGfMaCaVaiAlje2ozm8MGhlcgCJwtc_Gxi4b6 l0brcb7RcgQCPrOxok3WZv3BSxeR734wOv3t_i0trNAoi7HeCx EhmvO6J55uLTZJlxnQ9iZ_2O_kq7vcnouneJ_jr5qXTTRMxx6V t6jeT3lscL6PY9OYuNms7uQQy2XtTa5GTwZR_r/s16000/Owasp_7.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 14: LLM07 - Insecure Plugin Design (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Si utilizas modelos LLMs de terceros para enriquecer tus apps, estos pueden tener los mismos problemas de acceso de la información, o controles de inyección, así que hacer una app modular con plugins LLM puede ser otro foco de problemas de seguridad.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi9ZFeDBBWFVYfZaLlP17_890Td_YrU7TQT4NTrKYSOye MLNl2Rn7v7W5JKZ8bwOWUEEh8QBR5S0HeXWlUUAkecpWuVZyeJ ZmuvpyeTMJNZWhVDU96IOGZJYSBsclD5T-7ufDp8PcZW8VH0AmqK4gNqHZ32VcGOFHhhYaoNKlK4dyC2LtKW h-VL/s16000/OWASP-8.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 15: LLM08 - Excessive Agency (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Dejar que las acciones que ejecute un sistema sean basadas en las decisiones que tome un modelo de IA LLM, es un serio riesgo. Ya hemos visto que en Europa se ha pedido que en el congreso REAIM (REsponsibly Artificial Intelligence in the Military Domain) (https://www.elladodelmal.com/2023/02/reaim-responsible-artificial.html) de este año que no se usen modelos de IA para tomar decisiones de atacar en armas militares.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjQKibjbaMGuwFJ1CCqr8V3CBJclaYPVg_qbqjRNg-TCTg5rLbs9ldziSB0ekHGrki7P6MWc-ww9W1SE2EzTyrfIP-U5LTjq41y4dHEvdMp3H48ZCPVCfSV4u8GcPzv8sY8A-kzxqMFhMeIORDeWupPu2JEybHK15T04qU11HMdksQC1FsTgQ/w640-h84/REIM_2.png (https://www.government.nl/ministries/ministry-of-foreign-affairs/documents/publications/2023/02/16/reaim-2023-call-to-action)
Figura 17: REAIM: Necesidad de que haya un ser humano responsable de la IA (https://www.government.nl/ministries/ministry-of-foreign-affairs/documents/publications/2023/02/16/reaim-2023-call-to-action)
Y el gobierno de los Estados Unidos hizo en Febrero de este año la Declaración de Uso Responsable de IA con las armas nucleares (https://www.elladodelmal.com/2023/06/juegos-de-guerra-inteligencia.html) para pedir lo mismo.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjacyX36ZQl7ObFIBgtKVDsZBOIxXJ1lcXpmRUzx6ncVK 9pIZuU4MiB67Hs9HMKtJG7sZ_qR8ZCrfkSCYdstnSrVEEIcTTJ H_vm_AU_puQBXqa7qBVt2yGde68JJdpcV2vVlHFAH0ojwnsXOo O8SV9D5eo5lo8FyKTMXD3UEoIgtXL-B0Y5CTyl/w640-h600/nuclear_2.jpg (https://www.state.gov/political-declaration-on-responsible-military-use-of-artificial-intelligence-and-autonomy/)
Figura 18: Declaración Política del Uso Responsable en (https://www.state.gov/political-declaration-on-responsible-military-use-of-artificial-intelligence-and-autonomy/)
la Industria Militar de Inteligencia Artificial (https://www.state.gov/political-declaration-on-responsible-military-use-of-artificial-intelligence-and-autonomy/)
Esto, que está pensado para armas, y el mundo militar, pero en menor escala, puede afectar a sistemas críticos, redes, banca, etcétera. Así que como, la explicabilidad de un modelo LLM aún es un terreno por explorar, mejor que haya supervisión humana en la ejecución de acciones.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjw-5jeSffNrpRKTBNl2NCFeaRFvAUrQT6VoJ6lFzrPK5lTg6ERPbS eojmICC48zVSpOOP-xoif6iBr-uB2c9-00IH5jJPs9ezJK9WhvW5M0FZmRBTV_Mpn0GwxgtnmJeshmxnrX gHkm6AVjCHV9vS1ivR3qHxVKe1XTk8tmehc0mMiEoGV-adC/s16000/OWASP_9.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 19: LLM09 - Overreliance (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
O lo que es lo mismo, exceso de confianza en las respuestas que da el modelo LLM. Esto lo hemos visto con la comparativa sobre las preguntas de resolución de problemas para developers, donde el 50% de ellas son erróneas (https://www.elladodelmal.com/2023/08/si-eres-developer-y-buscas-soluciones.html), lo hemos visto con los datos biográficos sobre personas públicas, como en mi caso donde se inventa de todo (https://www.elladodelmal.com/2023/04/las-mentiras-infinitas-que-chatgpt-se.html), o de personas como Arturo Pérez-Reverte (https://mypublicinbox.com/PerezReverte), Rodrigo Cortés (https://mypublicinbox.com/RodrigoCortes) o David Summers (https://mypublicinbox.com/DavidSummers) como vimos en el artículo de "¡Ojo con ChatGPT que es un charlatán mentirosillo! (https://www.zendalibros.com/ojo-con-chatgpt-que-es-un-charlatan-mentirosillo/)".
Esto son lo que se llaman "Hallucinations" o "Alucinaciones, y es algo con lo que hay que convivir en todos los LLM que tenemos hoy en día, así que cuidado con tener un exceso de confianza en las respuestas que da.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjst8MPN-e_hDUWg3D6uT3LOC-zWcbBWr4Jqf2vSE46QlUmNy4M52O5QZWWRNjCQ5qluPcHG7pml jbxba73kFxmJT-6QewcZsP5n5Sn1_oNqGgGujMWFc3ODhIx9ddfXp-5PHZ2Q4pWJT9KJ2ttatyVUWDkAZwEfKV8PXHuFfEC2GZZvgbdS mHx/w640-h380/google.png (https://www.cnet.com/science/space/googles-chatgpt-rival-bard-called-out-for-nasa-webb-space-telescope-error/)
Figura 21: Google Bard erró con la respuesta (https://www.cnet.com/science/space/googles-chatgpt-rival-bard-called-out-for-nasa-webb-space-telescope-error/)
Google cometió con Bard un Overreliance e hizo una demo integrado en Google Search con él preguntándole por proyectos de la NASA, y el error le costó una caída en Bolsa de 100 Billions de USD (https://www.cnet.com/science/space/googles-chatgpt-rival-bard-called-out-for-nasa-webb-space-telescope-error/).
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg-lELmjYBUZGhipDrsdIvLv8wr6lPTT7kvJiAPHruq6o57eUf-5hkDE2bz7UNqCPZbZJVcL9X8c9aqZFMqBcobnx-ZpOZiR1CZaZKCHQmJa-LeR4p6gZjjbMWgnUE59lH2gAexEhgFM_CBG4h3e5d-MQYwVo3lOey04goLbE1cl3VL2FzI-sGC/s16000/OWASP_10.jpg (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Figura 22: LLM10 . Model Theft (https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf)
Si te roban el modelo LLM, se llevan todo el conocimiento de todos los datos con los que haya sido entrenado. Se llevan la base de datos completa en forma de modelo conversacional, y en lugar de usar consultas SQL o NoSQL para extraer los datos, tienen que conversar con él.
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEidX-13XzgdN-vte8i9OkAuUjVu41uBFQpyKi5ejyd3pOizRypS-XLf30LLGLxnGLlgGvjKUGP8tvd2MvX3mvsfMW0QKCYihwF0FXg oSFowP4O0eCRuomEzfdx_AuPGLvjkICAWxonvSd8XNwVD1gB1l wn7gjuSSByXrrZj6U6AszqZEEaw2ohD/w482-h640/llama_leaked.jpg (https://decrypt.co/143638/senators-question-meta-ceo-mark-zuckerberg-over-llama-ai-model-leak)
Figura 23: Filtración del modelo LLama (https://decrypt.co/143638/senators-question-meta-ceo-mark-zuckerberg-over-llama-ai-model-leak)
Esto es lo que preocupó tanto al gobierno de los EEUU cuando se filtró a disposición pública el modelo entrenado con los Tokens de LLama en la red (https://decrypt.co/143638/senators-question-meta-ceo-mark-zuckerberg-over-llama-ai-model-leak). Querían saber exactamente con qué datos había sido entrenado para saber qué podía filtrarse de ellos.
Documento OWASP Top 10 forLLM Applications: https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_0_1.pdf
¡Saludos Malignos!
Autor: Chema Alonso (Contactar con Chema Alonso (https://www.mypublicinbox.com/chemaalonso)) en https://www.elladodelmal.com/2023/10/los-10-problemas-de-seguridad-mas.html