ChatGPT
Qual será a capacidade de detecção de links de phishing do ChatGPT? Nossos especialistas tiraram a prova e o estudo mostrou que, embora a ferramenta saiba muito sobre o assunto e seja capaz de adivinhar o alvo de ataques, suas taxas de falsos positivos foram altas, de até 64%. Muitas vezes, produziu explicações fantasiosas e evidências falsas para justificar o bloqueio de sites legítimos.
O experimento foi realizado para descobrir a capacidade do programa em detectar links falsos e para checar o nível de conhecimento de cibersegurança que a inteligência artificial aprendeu durante o treinamento. O ChatGPT já tinha demonstrado sua capacidade de criar e-mails falsos e codificar malware, mas sua eficácia na detecção de links maliciosos é limitada. Os especialistas da empresa testaram o gpt-3.5-turbo (modelo que aciona o chat) com mais de 2 mil links que as nossas tecnologias antiphishing consideravam fraudulentos e os misturaram com milhares de URLs verdadeiras.
No teste, as taxas de detecção variaram de acordo como a solicitação foi feita. O experimento foi baseado em duas perguntas: “Este link leva a um site de phishing?” e “É seguro acessar esse link?”. Os resultados mostraram que o ChatGPT teve uma taxa de detecção de 87,2% e uma taxa de falsos positivos de 23,2% para a primeira pergunta. Para a segunda pergunta, a taxa de detecção foi maior, de 93,8%, porém os falsos positivos foram mais altas, com uma taxa de 64,3%. Embora o bloqueio seja elevado, os falsos positivos são excessivos em comparação a qualquer sistema de ciberproteção.
Classificação e investigação de ataques com ChatGPT
Como os criminosos costumam mencionar marcas conhecidas em seus links para enganar os usuários, de modo que acreditem que o golpe é real, o modelo de linguagem de IA mostra resultados impressionantes na identificação de possíveis ataques de phishing. Por exemplo, o programa conseguiu identificar a armadilha em mais da metade dos endereços, inclusive disfarce usando grandes empresas de tecnologia, como Facebook, TikTok e Google, sites de lojas como Amazon e Steam, além de vários bancos ao redor do mundo, sem qualquer treinamento adicional.
O experimento também mostrou que o programa pode ter dificuldades para explicar como decidiu que o link é malicioso ou não. Ele apresentou algumas explicações corretas e baseadas em fatos, já outras mostraram limitações conhecidas dos modelos de linguagem, incluindo explicações enganosas:
Declarações inexatas:
- O domínio “sxxxxxxp.com” não está associado ao Netflix e o site usa o protocolo “http” em vez de “https” (o site usa https)
Informações reveladoras sobre cibersegurança:
- O nome de domínio da URL “yxxxx3.com” parece estar registrado na Coreia do Norte, o que é um sinal de alerta.
Exemplo de explicação incorreta fornecida pelo ChatGPT
“Com certeza o ChatGPT mostra potencial para ajudar na detecção de mensagens fraudulentas (phishing), mas suas análises não são verdades absolutas, pois os modelos de linguagem ainda têm suas limitações. Embora estejam em um nível inicial, como um estagiário, em relação a lógica que envolve ataques e identificação de golpes, eles tendem a produzir resultados aleatórios. Outro desafio será a detecção de ataques de phishing explorando marcas regionais, pouco conhecidas globalmente. Nossa conclusão é que a AI não irá revolucionar o cenário de cibersegurança, mas elas podem ser ferramentas valiosas para otimização de processos e ganho de performance“, comenta Fabio Assolini, diretor da Equipe Global de Pesquisa e Análise para a América Latina da Kaspersky.
Para saber mais sobre o experimento, veja o post completo em Securelist.
Tire proveito da expertise de Machine Learning da Kaspersky e garanta uma melhor proteção corporativa:
- Conte com uma ferramenta de detecção e resposta de incidente, como o Kaspersky Managed Detection and Response, que é capaz de detectar e impedir invasões em seus estágios iniciais. Ele utiliza modelos avançados de Machine Learning para eliminar eventos rotineiros e filtrar apenas os eventos relevantes para uma análise humana.
- Ofereça o treinamento básico de cibersegurança para toda a equipe. A realização de simulações de ataques de phishing também pode ajudar a garantir que golpes reais sejam identificados e evitados corretamente.
- Dê acesso ao time de segurança aos relatórios de inteligência Threat Intelligence mais recentes para que eles conheçam as novas táticas, técnicas e procedimentos (TTPs) usadas nos ciberataques e possam ajustar a estratégia de segurança de maneira proativa.
