Avaliar resultados e relatórios do Sophos Phish Threat

Sophos Phish Threat fornece resultados em três níveis: o Dashboard mostra tendências em toda a organização, a visão da campanha explica uma única simulação e Reports acompanha o comportamento ou o status de treinamento ao longo das campanhas. Só a combinação desses níveis responde se as mensagens foram entregues, como os usuários reagiram e qual ação de acompanhamento é apropriada.

Este procedimento destina-se a administradores autorizados no tenant correto do Sophos Fusion (anteriormente Sophos Central). Trata os dados dos relatórios como dados pessoais relacionados com a segurança: o facto de um utilizador ser enganado pela simulação é um sinal de formação e risco, não uma atribuição de culpa nem uma prova de comprometimento real.

Preparar o escopo da avaliação

Antes da análise, são documentados o locatário, a campanha, o público-alvo, o tipo de campanha, a data de início e de término, a questão e a base de comparação desejada. Em uma comparação de tendências, o tipo de campanha, o grau de dificuldade e o público-alvo devem ser suficientemente semelhantes. Caso contrário, diferentes taxas não podem ser comparadas de forma significativa entre si.

Para uma avaliação confiável, esta é a ordem:

1. Verificar a situação geral e as campanhas em andamento no Phish Threat Dashboard.
2. Na campanha, verificar a entrega, os eventos e a cronologia.
3. Avaliar o comportamento do usuário ou treinamento entre campanhas em Reports.
4. Rastrear irregularidades até o evento do usuário e o status de entrega.
5. Só depois definir os públicos-alvo para treinamento, uma campanha de acompanhamento ou correções de entrega.

Ler corretamente os indicadores do painel

O acesso é feito através de My Products > Phish Threat. Active campaigns mostra campanhas ativas e futuras. O painel exibe, quando há mais de duas campanhas ativas, apenas as duas campanhas com conclusão mais próxima; See all leva à visualização completa. Uma campanha ausente, portanto, não é automaticamente excluída ou finalizada.

Organization summary mostra os valores médios das últimas cinco campanhas: a porcentagem média de usuários pegos e a porcentagem média de usuários que denunciaram.

• Caught-to-open ratio indica quantos usuários foram pegos em relação aos usuários que abriram o e-mail de phishing. Caught ratio representa esse valor graficamente.
• Report-to-open ratio indica quantos usuários relataram em relação aos usuários que abriram o e-mail de phishing. Threat reported ratio representa esse valor graficamente.
• Caught users prioriza os usuários que foram mais frequentemente enganados por simulações.
• Threat reporters mostra usuários que relataram e-mails de phishing.

O denominador de ambas as taxas são as aberturas, não todas as mensagens endereçadas ou entregues. Um alto Caught-to-open ratio deve, portanto, ser avaliado de maneira diferente de um grande número absoluto de usuários pegos. Da mesma forma, um baixo número de aberturas não prova automaticamente bom comportamento de segurança: erros de entrega ou rastreamento de imagens/aberturas podem influenciar os dados. Como diferenciar imagens ausentes, pixels de rastreamento e eventos de abertura adicionados após um clique é explicado em Verificar imagens ausentes e rastreamento de aberturas.

Awareness factors complementa quatro indicadores do programa:

• Users tested: Proporção da base de usuários que foi exposta a uma simulação.
• Last campaign: Indicação de quão recente é a última verificação.
• Users caught: taxa de erro agregada de simulações de ataque.
• Passed training: Taxa de conclusão dos treinamentos de conscientização atribuídos.

A Sophos recomenda como orientação testar todos os usuários pelo menos uma vez a cada três meses. Isso não substitui seu próprio planejamento de risco, privacidade e treinamento. Export to PDF exporta dados do painel e relatórios de campanhas em PDF. A função documentada não fornece qualquer informação sobre quanto tempo a Sophos mantém arquivos gerados ou dados de relatórios.

Analisar uma campanha em detalhes

A campanha é aberta sob My Products > Phish Threat > Campaigns. O resumo contém a data de início e término, bem como gráficos de pizza sobre entrega de e-mails, eventos de usuários e ações no e-mail.

As seguintes áreas respondem a diferentes perguntas:

• Campaign response timeline mostra nas primeiras horas e dias quando e-mails foram enviados, usuários foram pegos e e-mails foram relatados. Isso permite avaliar a velocidade de resposta.
• Device breakdown mostra os tipos de dispositivos nos quais os e-mails foram abertos ou os usuários foram pegos. Isso é uma indicação de investigação, não uma prova de um dispositivo inseguro.
• User Behavior mostra as reações aos e-mails das campanhas.
• Email mostra, dependendo do tipo de campanha, e-mails de ataque, registro de treinamento e lembrete.
• Training mostra o curso escolhido para esta campanha.
• Paused mostra os dados de pausa e retomada dependendo do status. No caso de múltiplas pausas, apenas os últimos dados de pausa e retomada estão visíveis.

Com Export é possível exportar dados de campanhas como PDF ou CSV. A exportação só é gerada depois que a campanha e a visualização desejada forem verificadas. A documentação disponível não indica nem um prazo geral de retenção nem um envio automático ou cronograma para essas exportações; tais características não devem ser presumidas.

Verificar resultados e eventos da campanha

Os resultados da campanha podem ser visualizados com By User, By Group ou By Attack. By Attack lista todos os modelos que fazem ou já fizeram parte da campanha. Em By User aparecem carimbos de data e hora; em By Group aparece, por evento, o número de usuários. Valores de grupo e carimbos de data/hora dos usuários, portanto, não são exatamente o mesmo tipo de representação.

Em caso de Failed ou Blocklisted, corrija primeiro a causa do problema de entrega. Depois, selecione as linhas afetadas e reenvie o e-mail da campanha. Uma nova entrega bem-sucedida remove automaticamente o ID de e-mail do destinatário de Bounced Mailboxes. Sem corrigir o erro, as campanhas posteriores também podem não chegar a esse utilizador.

Importante: Pending não é uma prova de entrega. Uma taxa baixa de interação não deve ser avaliada, desde que os destinatários relevantes sejam Failed, Blocklisted ou ainda Pending.

Analisar o comportamento do usuário em várias campanhas

Os seguintes filtros estão disponíveis em My Products > Phish Threat > Reports > User Behavior:

• All users: todos os usuários registrados para campanhas de ataque simuladas,
• Caught users: usuários pegos pelo menos uma vez,
• Repeat users: usuários pegos várias vezes,
• Reported threats: Usuários que relataram ameaças simuladas,
• Failed to report threats: Usuários que abriram um e-mail de ataque simulado, mas não o reportaram,
• Entered credentials: usuários que inseriram credenciais em uma simulação,
• Opened attachments: Usuários que abriram um anexo simulado.

O campo de data limita o relatório; o período selecionado será aplicado com Apply. Para uma verificação repetível, filtros, período de datas e momento da avaliação são documentados juntos. Export to CSV exporta a visualização atual. Antes de compartilhar, verifica-se se o arquivo contém de fato apenas o período pretendido e o grupo de pessoas.

Caught users, Repeat users e Entered credentials servem para a priorização baseada em risco. Passos subsequentes razoáveis são um treinamento apropriado, uma campanha de acompanhamento controlada e, em caso de padrões recorrentes, uma conversa dentro do processo organizacional previsto para isso. Reported threats é comportamento positivo; Failed to report threats significa apenas “aberto, mas não reportado” e não deve ser equiparado a “pego” ou “dados de acesso inseridos”.

Com Create campaign with these users é possível iniciar uma nova campanha pré-preenchida a partir do público-alvo atual do relatório filtrado. Antes de prosseguir, são verificados destinatários, finalidade, base legal ou liberação interna, treinamento e horário de envio. Um filtro de relatório não é uma autorização automática para envio.

Acompanhar o status do treinamento

Sob My Products > Phish Threat > Reports > Training, o relatório mostra o status de registro e conformidade. Estão disponíveis:

• Enrolled in Trainings para usuários com registro de treinamento,
• Incomplete Trainings para usuários que não concluíram pelo menos um curso.

Aqui também é escolhido um intervalo de datas e aplicado com Apply. Export to CSV exporta a visualização atual; Create campaign with these users transfere os usuários filtrados para uma nova campanha.

Um treinamento incompleto não é automaticamente uma recusa. Antes de uma escalada, são verificados o término da campanha, o momento do registro, o e-mail de lembrete, a entrega e possíveis ausências. Para o controle de sucesso, Finished training é comparado na campanha com o relatório de treinamento entre campanhas.

Realizar ações de acompanhamento de forma controlada

A avaliação gera uma lista de medidas rastreável:

1. Resolver problemas de entrega antes da avaliação de comportamento.
2. Priorizar Entered credentials, incidentes repetidos e treinamentos não concluídos de acordo com o modelo de risco interno.
3. Reconhecer o comportamento positivo de comunicação e observar a taxa de comunicação como um objetivo do programa.
4. Para a campanha subsequente, escolher públicos-alvo e modelos comparáveis.
5. Após o início, validar novamente entrega, eventos e treinamento.

O ciclo de vida da campanha influencia o que pode ser alterado: Active Campaign e Upcoming Campaign podem ser editados, excluídos e clonados; Past Campaigns não podem ser editados. Delete não pode ser desfeito. Clone gera uma entrada em Campaign Drafts, adota os detalhes do original e adiciona a data de criação no nome. Antes de reutilizar, os destinatários, o modelo, o treinamento e o cronograma ainda precisam ser revisados.

Validar resultados

Antes da publicação ou escalonamento, pelo menos esses controles serão realizados:

• O painel menciona a mesma campanha relevante que Campaigns; em caso de mais de duas campanhas ativas, See all foi verificado.
• As taxas relacionadas à abertura não são descritas como uma proporção de todos os destinatários.
• Na campanha, os destinatários, o modelo e o período correspondem à tarefa de avaliação.
• A soma ou amostra em By Group é plausibilizada com entradas em By User.
• Pending, Failed e Blocklisted são apresentados separadamente de Delivered.
• O CSV ou PDF é aberto após a exportação; título, campanha, período, filtro e colunas são verificados.
• Uma amostra de usuários notáveis é verificada com base nos carimbos de data/hora dos eventos e não apenas com base em uma lista do painel.
• As medidas de acompanhamento são documentadas com a pessoa responsável, prazo e critério de sucesso.

Diferenças entre o painel e a visualização detalhada devem-se inicialmente a diferentes referências de base: Organization summary mostra valores médios das últimas cinco campanhas, enquanto a página da campanha avalia um único objeto e Reports avalia um intervalo de datas escolhido.

Proteção de dados, exclusão e auditoria

Relatórios e exportações contêm nomes, endereços de e-mail, reações, status de treinamento e dados de comportamento potencialmente relevantes para riscos. O acesso e a divulgação são limitados ao pessoal necessário. As exportações são armazenadas em um local de armazenamento aprovado, excluídas de acordo com a regra interna de retenção e não distribuídas por e-mail de forma desprotegida. Funções, vínculo de finalidade, retenção e liberações são regulados no Runbook de Privacidade e Governança. As funções da Sophos aqui descritas não estabelecem um período de retenção de produto geral; este não é derivado do comportamento de exportação.

Com Clear campaign events é possível excluir eventos de um usuário dos resultados da campanha. Email sent permanece, e a ação é registrada no Audit Log. Anteriormente, devem ser esclarecidos o propósito, a liberação e a preservação de provas. A função não é nem uma exclusão completa de usuário nem um substituto para um processo de proteção de dados regulamentado.

O Phish Threat envia dados de uso a cada 30 dias para o Sophos Fusion. Se um usuário for excluído, que tenha sido registrado em uma campanha nos últimos 30 dias, o Sophos Fusion poderá recriá-lo devido a essa atividade. Portanto, antes de uma exclusão permanente, o período é definido como os últimos 30 dias em Phish Threat > Reports > User Behavior > All enrolled > All users e verificado por Export to CSV com Last Targeted ou Last Enrolled. A exclusão permanente só deve ocorrer após 30 dias sem atividade. As demais fontes de identidade e diretório são consideradas adicionalmente de acordo com o procedimento Excluir um usuário com segurança no Sophos Fusion.

Atribuir link de campanha a um processo

Quando várias campanhas, treinamentos ou lembretes estão ativos ao mesmo tempo, o token contido em um link de exemplo pode ajudar na correspondência. Um administrador autorizado extrai o token de um padrão seguro após o primeiro sinal de igual e decodifica seu payload JWT. O campo campaign_token é então comparado com o ID da campanha, que é visível ao passar o cursor sobre um link da campanha ou em sua URL.

Regras rigorosas se aplicam: Um link de produção ou token não deve ser enviado a decodificadores públicos, tíquetes ou sistemas de chat quaisquer. Ele pode conter dados de rastreamento, de campanha e de expiração. Um procedimento local aprovado internamente é utilizado ou a liberação explícita de privacidade e segurança é obtida. Decodificar significa apenas ler a carga útil; isso não substitui a validação de assinatura ou a verificação de confiança. O link completo não será publicado no relatório nem no comentário de auditoria.

Solucionar erros frequentes

• Campanha não aparece no painel: Verifique See all ou Campaigns; o painel mostra apenas as duas campanhas com data de término mais próxima quando há mais de duas campanhas ativas.
• A taxa parece inesperadamente alta ou baixa: verifique o denominador. Caught-to-open ratio e Report-to-open ratio referem-se a aberturas, não a todos os destinatários.
• Nenhum ou poucos eventos: verificar Delivery Status, o público-alvo, o modelo e o período; tratar Pending, Failed e Blocklisted separadamente.
• Outras campanhas não alcançam um usuário: Corrigir o erro em Settings > Bounced Mailboxes e só depois enviar novamente.
• Relatório e campanha diferem: Filtrar por data com Apply, comparar o escopo da campanha e os valores médios mostrados em Organization summary das últimas cinco campanhas.
• A exportação contém pessoas inesperadas: Antes de usar, verifique a exibição atual, os filtros e o intervalo de datas; Export to CSV assume a exibição atual.
• Usuário reaparece após exclusão: Verificar a atividade dos últimos 30 dias, bem como Last Targeted e Last Enrolled, e controlar as fontes de diretório/sincronização.
• O link da campanha não pode ser atribuído: token completo, mas sem compartilhamento, decodifique localmente e compare campaign_token exatamente com o ID da campanha.

Para uma escalada de suporte, são registrados o ID do tenant, o nome e o ID da campanha, o tipo de campanha, o período com fuso horário, o filtro selecionado, o status de entrega afetado, usuários de exemplo anonimizados, horários dos eventos e a diferença entre a quantidade esperada e a visível. Tokens, credenciais de acesso e links completos de rastreamento não são copiados para a documentação normal do caso.