O Microsoft Defender usa o ML.NET para deter malware

A Proteção Avançada contra Ameaças do Microsoft Defender (ATP) é a plataforma de segurança unificada da Microsoft para proteção preventiva inteligente, detecção pós-violação, investigação automatizada e resposta; a plataforma protege os pontos de extremidade contra ameaças cibernéticas, detecta violações de dados e ataques avançados, automatiza incidentes de segurança e aprimora a postura de segurança usando uma combinação entre o poder da nuvem, a análise de comportamentos e aprendizado de máquina.

Problema de negócios

O Microsoft Defender ATP processa trilhões de sinais a cada dia e encontra cerca de 5 bilhões de novas ameaças todo mês. Essas ameaças variam de PDFs que tentam fazer phishing de credenciais do usuário e arquivos de documento que contêm macros mal-intencionadas para arquivos zip protegidos por senha que contêm executáveis de malware polimórficos.

A capacidade de prever e parar essas ameaças à primeira vista é essencial para a segurança do cliente. No entanto, os seres humanos podem examinar e armazenar um limite de informações em suas mentes de uma vez. Percorrer manualmente cada um desses atributos é uma tarefa demorada e não é rápida o suficiente para se defender de ameaças chegando. Com o aumento de novas ameaças vistas a cada mês, um processo manual feito por um humano nunca seria escalonável, tornando o aprendizado de máquina não apenas bom, mas necessário para proteger os usuários. Além disso, alguém pode examinar uma parte do malware e encontrar alguns atributos que o tornam mal-intencionado, mas, na realidade, o malware pode ter centenas de milhares de outros atributos que indicam uma ameaça que um humano não pode ter tempo para descobrir.

Os computadores, por outro lado, têm uma capacidade muito maior e um tempo de resposta muito mais rápido; podem examinar instantaneamente todos (possivelmente centenas de milhares) os atributos de uma possível ameaça e selecionar todos os atributos que qualificam a ameaça como um malware. Em seguida, os computadores podem usar os atributos encontrados para descobrir um novo malware que um humano pode não ter previsto usando apenas um pequeno número de atributos.

Portanto, o Microsoft defender ATP decidiu utilizar o Machine Learning e o ML.NET (tecnicamente, ele usa um derivativo de ML.NET chamado TLC, que é a estrutura interna do Machine Learning usada na Microsoft por mais de 10 anos), para melhorar a proteção em tempo real contra malware para que eles possam manter as máquinas de seus usuários seguras.

Impacto do ML.NET

O Microsoft Defender ATP usa algoritmos de classificação para sinalizar e exibir ameaças, incluindo ameaças não vistas anteriormente, que, de outra forma, permaneceriam desconhecidas entre os bilhões de eventos normais e a incapacidade dos sensores de primeira geração de reagir a ataques sutis e desconhecidos. Os modelos do Microsoft Defender ATP otimizam o uso das grandes quantidades de dados e recursos computacionais disponíveis para o Microsoft Defender ATP. Além disso, com base na análise de alertas reais do Microsoft Defender ATP, as tecnologias de aprendizado de máquina que estão sendo usadas são pelo menos 20% mais precisas do que a heurística criada manualmente. Os algoritmos de aprendizado de máquina supervisionados do ML.NET interrompem 35% das ameaças no nível de pré-violação, que protege contra malware contra URLs mal-intencionadas, anexos de email e outras ameaças emergentes.

Arquitetura da solução

Processamento de dados e seleção de recursos

Para o Microsoft Defender ATP, é essencial ter um excelente conjunto de dados de treinamento rotulados que incluam dados de limpeza e malware no conjunto de dados de treinamento para que ele possa imitar cenários da vida real e demonstrar o que um cliente real vê todos os dias. Em um ciclo de treinamento médio, um modelo no Microsoft Defender ATP pode consumir cerca de 100 milhões de linhas de dados com 190 mil recursos cada uma.

A seleção de recursos é muito importante ao treinar modelos que detectam malware. Há dois tipos de recursos que os pesquisadores e computadores pesquisam: propriedades de arquivo estáticos e componentes comportamentais. As propriedades de arquivo estático incluem itens como se um arquivo está assinado ou não, quem assinou o arquivo e vários hashes difusos. Os atributos comportamentais incluem coisas como se o arquivo estiver relacionado a outro arquivo, se esse arquivo injetado foi de outro arquivo, a quais IPs o arquivo está conectado e o que altera o arquivo feito no sistema. Um conjunto de dados de treinamento pode incluir milhares a milhões de recursos.

Treinamento do modelo

O Microsoft Defender ATP tem uma variedade de modelos para atender a vários objetivos. Por exemplo, eles têm modelos que focam em ameaças PE vistas pela primeira vez, ameaças de macro e ataques baseados em script. Há também modelos que estão focados nos dados subjacentes; por exemplo, alguns modelos são treinados exclusivamente em hashes difusos de arquivos. Além disso, eles têm outra camada de modelos preparados que extraem sinais desses classificadores individuais para verificar novamente se a atividade do sistema é mal-intencionada.

A Proteção Avançada contra Ameças do Microsoft Defender treina esses modelos diariamente com base nos dados mais recentes. Depois que o modelo é treinado, ele é salvo e o pipeline de engenharia o carrega para a infraestrutura de nuvem do Defender, onde é consultado pelos clientes.

A diversidade [de modelos] é realmente essencial para ter um sistema de aprendizado de máquina resistente a adulterações."

Usando os algoritmos do ML. NET, a Proteção Avançada contra Ameaças do Microsoft Defender tem sido capaz de produzir uma infinidade de modelos de modelo de machine learning para proteger mais efetivamente seus usuários contra ameaças potenciais, mantendo meio bilhão de computadores de pessoas a salvo de malware.