Microsoft Defender는 ML.NET을 사용하여 맬웨어를 차단함

Microsoft Defender ATP(Advanced Threat Protection)는 지능형 예방 보호, 침해 후 감지, 자동 조사 및 대응을 위한 Microsoft의 통합 보안 플랫폼입니다. 사이버 위협으로부터 엔드포인트를 보호하고, 지능형 공격 및 데이터 침해를 탐지하고, 보안 사고를 자동화하고, 클라우드, 행동 분석 및 기계 학습의 조합을 사용하여 보안 태세를 개선합니다.

비즈니스 문제

Microsoft Defender ATP는 매일 수조 개의 신호를 처리하고 매달 약 50억 개의 새로운 위협을 찾습니다. 이러한 위협은 사용자 자격 증명을 피싱하려는 PDF 및 무기화된 매크로가 포함된 문서 파일부터 다형 맬웨어 실행 파일이 포함된 암호로 보호된 zip 파일에 이르기까지 다양합니다.

이러한 위협을 한 눈에 예측하고 차단할 수 있는 능력은 클라이언트의 안전과 보안에 매우 중요합니다. 그러나 인간은 한 번에 너무 많은 정보를 보고 기억할 수 있습니다. 이러한 각 속성을 수동으로 살펴보는 것은 시간이 많이 소요되는 작업이며 들어오는 위협으로부터 방어할 만큼 빠르지 않습니다. 매달 새로운 위협의 규모가 커짐에 따라 사람이 수행하는 수동 프로세스는 확장할 수 없으므로 기계 학습은 있으면 좋을 뿐만 아니라 사용자를 보호하는 데 필요합니다. 또한 누군가가 맬웨어를 보고 악성으로 만드는 몇 가지 속성을 찾을 수 있지만 실제로 맬웨어에는 사람이 알아낼 시간을 할애할 수 없는 위협을 나타내는 수십만 개의 다른 속성이 있을 수 있습니다.

반면에 기계는 훨씬 더 큰 용량과 훨씬 빠른 응답 시간을 가지고 있습니다. 그들은 잠재적인 위협의 모든 속성(아마도 수십만)을 즉시 보고 위협에 맬웨어라는 레이블을 지정하는 모든 속성을 선택할 수 있습니다. 그런 다음 컴퓨터는 발견한 속성을 사용하여 인간이 소수의 속성만 사용하여 예측하지 못한 새로운 악성코드를 발견할 수 있습니다.

따라서 Microsoft Defender ATP는 실시간 보호를 개선하기 위해 기계 학습 및 ML.NET(기술적으로 TLC라는 ML.NET의 파생물을 사용하며 Microsoft에서 10년 넘게 사용된 내부 기계 학습 프레임워크임)을 활용하기로 결정했습니다. 신호가 악의적인지 보다 쉽고 정확하게 예측하고 들어오는 위협을 차단하여 사용자의 컴퓨터를 안전하게 보호할 수 있습니다.

ML.NET의 영향

Microsoft Defender ATP는 분류 알고리즘을 사용하여 이전에 확인하지 않은 위협을 비롯하여, 1세대 센서가 익숙하지 않고 미세한 자극에 반응할 수 없도록 하여 십억 개의 일반 이벤트 중에서 눈에 띄지 않게 유지되는 위협을 플래그 지정하고 노출합니다. Microsoft Defender ATP의 모델은 Microsoft Defender ATP에서 사용할 수 있는 막대한 양의 데이터 및 계산 리소스의 사용을 최적화합니다. 또한 Microsoft Defender ATP의 실제 경고 분석에 따르면 사용 중인 기계 학습 기술이 수동으로 조작된 추론보다 20% 더 정확합니다. ML. NET의 감독된 기계 학습 알고리즘은 사전 위반 수준에서 위협의 35%를 중지하며, 악의적인 URL, 전자 메일 첨부 파일 및 기타 새로운 위협으로부터 맬웨어를 방지합니다.

솔루션 아키텍처

데이터 처리 및 기능 선택

Microsoft Defender ATP의 경우 실제 시나리오를 모방하고 실제 고객이 매일 보는 것을 보여 줄 수 있도록 교육 데이터 세트에 깨끗한 데이터와 맬웨어를 포함하는 레이블이 지정된 교육 데이터 세트가 있어야 합니다. 평균 학습 주기에서 Microsoft Defender ATP의 모델은 각각 190,000개의 기능이 있는 최대 1억 행의 데이터를 사용할 수 있습니다.

맬웨어를 검색하는 모델을 교육할 때는 기능 선택이 매우 중요합니다. 연구원과 기계가 찾는 기능에는 정적 파일 속성과 동작 구성 요소의 두 가지 유형이 있습니다. 정적 파일 속성에는 파일 서명 여부, 파일 서명자 및 다양한 퍼지 해시와 같은 항목이 포함됩니다. 행동 속성에는 파일이 다른 파일과 관련되어 있는지, 주입된 이 파일이 다른 파일에서 온 것인지, 파일이 연결된 IP, 시스템에 적용된 파일 변경 사항과 같은 항목이 포함됩니다. 훈련 데이터 세트에는 수천에서 수백만 개의 기능이 포함될 수 있습니다.

모델 학습

Microsoft Defender ATP에는 여러 용도로 사용할 수 있는 다양한 모델이 있습니다. 예를 들어 처음 본 PE 위협, 매크로 위협 및 스크립트 기반 공격에 초점을 맞춘 모델이 있습니다. 기본 데이터에 초점을 맞춘 모델도 있습니다. 예를 들어 일부 모델은 파일의 퍼지 해시에서만 학습합니다. 또한 이러한 개별 분류자의 신호를 받아 시스템 활동이 악의적인지 다시 한 번 확인하는 또 다른 계층의 앙상블 모델이 있습니다.

Microsoft Defender ATP는 이러한 모델을 매일 최신 데이터에 대해 학습합니다. 모델이 학습되면 저장되고 엔지니어링 파이프라인은 클라이언트에서 쿼리하는 Defender 클라우드 인프라에 로드합니다.

[모델의] 다양성은 변조에 탄력적인 기계 학습 시스템을 갖추는 데 정말 중요합니다."

Microsoft Defender ATP는 ML.NET 알고리즘을 사용하여 잠재적 위협으로부터 사용자를 보다 효과적으로 보호하기 위해 다양한 기계 학습 모델을 생성하여 맬웨어로부터 5억명의 컴퓨터를 안전하게 보호할 수 있었습니다.