<div dir="ltr"><div>&gt; An important detail that many people in &quot;machine learning for &gt;security&quot; neglect is that the vast majority of ML algorithms were not <br></div><div>&gt; designed for (and will not function well) in an adversarial model.<br><br><div>[TL;DR alert :]<br></div><div><br></div>There is definitely a need to design MLA for security with the “adaptable adversary” assumption in mind to better align with the security attack detection domain challenges, particularly in terms of its game-theoretic aspects.</div><div><br></div><div>[obvious mode=on] In my experience, as part of developing good long-term ML defense, it can be critical to understand how attackers act, TTPs they use, their motivation, and also the semantic/behavioral attack invariants and constraints involved (elements/features that are harder/impossible for attackers to modify to blend-in with normal). [obvious mode=off]<br><br></div><div>[axed]</div><div>&gt; attackers haven&#39;t felt the need to adapt to anything but AV signatures &gt; and DNS blacklisting yet<br><br>Hmm. This may not be the case for most/basic attacks, but for more advanced attacks/post-ex activity, Get-NetTCPConnection -State *, Msf::Payload-&gt;badchars,compatible_encoders, Veil Evasion/Artifact-specific evasion, and other types of fairly basic ad hoc blending based on the local network profiling/baselining to evade ML (see background work below) may no longer be sufficient, so more complex techniques may need to be used to evade anomaly IDS/BDS, including meta-behavior baselining based on MLA insights, MLA constraints probing, sampling resolution exploits, user behavior / model drift change exploits etc.<br><br>It is also important to take into account the target level of “attack stealth” and the cost-benefit analysis of the attack activity<br>e.g. does the AML case involve an implant designed for a high-stealth-level deployment with an avg. beaconing interval of weeks/months<br>with the expected MTTD of months/years vs. MITB/with basic ICMP/DNS asynchronous C2 vs. a quick drive-by reflective DLL in-memory stager that does not involve a lot of LM/persistence/beaconing behavior and happens within seconds/minutes. The first two examples may potentially involve more advanced adversarial blending activity given the timeframe/amount of learning data available (and potentially more interested in adapting to ML to blend in) than the last example.<br><br>Some relevant background work in this area that might be worth reading:<br>- MIT Editorial (relatively good summary of background work on AML) - <a href="https://www.ll.mit.edu/mission/cybersec/publications/publication-files/full_papers/2010_10_25_Lippmann_MLJ_FP.pdf">https://www.ll.mit.edu/mission/cybersec/publications/publication-files/full_papers/2010_10_25_Lippmann_MLJ_FP.pdf</a><br>- Mimicry - <a href="https://www.cs.berkeley.edu/~daw/papers/mimicry.ps">https://www.cs.berkeley.edu/~daw/papers/mimicry.ps</a> (classic paper from 2002)<br>- Polymorphic Blending -  <a href="https://smartech.gatech.edu/handle/1853/6485">https://smartech.gatech.edu/handle/1853/6485</a>, <a href="https://www.usenix.org/legacy/events/sec06/tech/full_papers/fogla/fogla.pdf">https://www.usenix.org/legacy/events/sec06/tech/full_papers/fogla/fogla.pdf</a></div><div>- Pattern Classifiers/Attacked - <a href="http://www.mediafire.com/download/86iw2nadavzggwj/JPJ1425+-+Security+Evaluation+of+Pattern.pdf">http://www.mediafire.com/download/86iw2nadavzggwj/JPJ1425+-+Security+Evaluation+of+Pattern.pdf</a><br>- Evasion/Counter-evasion -  <a href="http://www.cs.utsa.edu/~shxu/socs/cns.pdf">http://www.cs.utsa.edu/~shxu/socs/cns.pdf</a> <br><br>Cheers,<br>Oleg<br><br></div></div>