Deepseek, con sus modelos de idiomas grandes (LLM) rentables, ha tomado Internet por tormenta y ha enviado ondas de choque en toda la industria tecnológica. Sin embargo, los investigadores de ciberseguridad han expresado preocupaciones sobre los servicios de chatbot de IA de la startup de la startación china explotados por los actores de amenaza para generar «contenido malicioso».
Los actores de amenaza están abusando de la tecnología AI de Deepseek a través de técnicas avanzadas de jailbreaking para desarrollar robadores de información, evitar protocolos de seguridad bancaria y ejecutar campañas de distribución de spam masivo, según un informe de la firma de ciberseguridad Check Point.
La serie Qwen de modelos de IA desarrollados por el gigante tecnológico chino Alibaba también ha mostrado potencial para el uso indebido con restricciones mínimas, según el informe.
Desde el ascenso meteórico de Deepseek, los expertos han expresado su preocupación por la seguridad y la mitigación de riesgos en la carrera de alto riesgo por la supremacía de IA. En octubre del año pasado, Operai había confirmado que su popular AI Chatbot, ChatGPT, fue utilizado por los actores de amenaza para escribir un nuevo malware y hacer que los existentes sean más eficientes.
Hallazgos clave
Presentando capturas de pantalla borrosas como evidencia, el informe destacó las siguientes formas en que los modelos de IA desarrollados por Deepseek y Alibaba se han utilizado para fines maliciosos.
Desarrollo de infantes de infantes: «Se ha informado que los actores de amenazas crean infantes de infantes utilizando QWEN, centrándose en capturar información confidencial de usuarios desprevenidos».
Pasar por alto las protecciones bancarias: «Se han encontrado múltiples discusiones y técnicas compartidas sobre el uso de Deepseek para evitar las protecciones anti-fraude del sistema bancario, lo que indica el potencial de un robo financiero significativo».
La historia continúa debajo de este anuncio
Distribución de spam de masa: «Los ciberdelincuentes están utilizando tres modelos de IA (chatgpt, qwen y profundo juntos) para solucionar los problemas y optimizar los scripts para la distribución de spam masivo».
Sin embargo, el informe de Punto de Check no especificó la metodología de investigación utilizada para descubrir estos incidentes o divulgar la escala de las operaciones y otros detalles.
Después de encontrar formas de manipular modelos Deepseek y Qwen para mostrar contenido sin censura, los actores de amenaza también compartieron la información con otros en línea, según el informe.
Esta información incluyó indicaciones de jailbreak como los métodos «Do Anything Now Now» y «Sobrevivientes de choque de aviones» para manipular las respuestas de los modelos AI de Deepseek.
La historia continúa debajo de este anuncio
Jailbreaking es un término general, pero en este contexto, se refiere a las diversas técnicas que permiten a los usuarios manipular modelos de IA para generar contenido sin sentido o sin restricciones. «Esta táctica se ha convertido en una técnica preferida para los ciberdelincuentes, lo que les permite aprovechar las capacidades de IA para la intención maliciosa», dijo el informe.
Señaló que los modelos de IA más nuevos han atraído el interés de los diferentes niveles de atacantes, especialmente los que son capaces de explotar guiones o herramientas sin una comprensión profunda de la IA. El informe no mencionó las identidades de los actores de amenaza o su país de origen.
Nos hemos comunicado con Deepseek, Openai y Alibaba para hacer comentarios. Este informe se actualizará con sus respuestas si recibimos noticias.
