Применение технологий искусственного интеллекта и машинного обучения для поиска угроз информационной безопасности

Автоматизация аналитической деятельности для поиска фактов несанкционированного доступа

2-3 часа в неделю, 8 семестр

Рекомендуемые источники

1. Data Mining Tools for Malware Detection
2. Изучаем Adversarial Tactics, Techniques & Common Knowledge (ATT@CK). Enterprise Tactics
3. The Matrix has you: обзор проектов, использующих MITRE ATT&CK
4. Cyber Wardog Lab by Roberto Rodriguez
5. Data Driven Security

Материалы к практическим занятиям

1. План отчета
2. Шпаргалка по Docker
3. Требования

Список используемого ПО

1. Docker
2. OpenCTI (через docker)
3. Интерпретатор R 4.1
4. RStudio Desktop
5. пакеты R:
   • tidyverse
   • vroom
   • iptools

Data Science

1. Схема знаний современных аналитических средств

Обработка больших данных

Данные можно считать большими (BigData) когда они не помещаются в оперативную память Вашего компьютера.

В зависимости от характеристик Вашего компьютера, Вы можете достаточно скоро встретиться с ситуацией, когда память (ОЗУ, она же RAM) исчерпана.

Для решения этой проблемы можно рассмотреть следующие направления:

1. Использование СУБД, например, Clickhouse от Yandex.
2. Использование подхода lazy-loading для данных:
   • Apache Arrow
   • R vroom
3. Аренда виртуальной машины – например Yandex.Cloud. Учитывая продолжительность данного курса, аренда высокопроизводительной машины на время выполнения задания потребует от Вас затрат сравнимых со стоимостью чашки кофе (и не из Starbucks!). При этом, Вы получите хороший опыт и удовольствие от мощной высокопроизводительной техники. Главное – не забывайте выключать виртуальную машину, когда не занимаетесь решением задач.