Модуль 1 - Школа анализа инженерных данных

Модуль 1. Инженерные данные и сигналы (1 ч 36 минут)

Добро пожаловать! Перед вами учебный комплект к первому модулю Школы анализа инженерных данных. Он состоит из:

1. Лекции
2. Контрольных материалов
3. Короткого практического семинара
4. Домашнего задания

Что вы узнаете из этого модуля:

• В чем состоит природа инженерных данных, и почему для их анализа нужна своя интуиция, отличная от других областей;
• Как открывать любые файлы и объединять их в один набор для анализа;
• Какие неожиданные проблемы поджидают нас на пути к созданию хорошего набора данных, особенно при работе с цифровыми сигналами.

1. Инженерные данные и сигналы. Введение

Готовы вместе с нами навести порядок в хаосе инженерных данных? Начнем со знакомства - вот, из чего состоит наш курс.

2. Откуда берутся инженерные данные

Где прячутся полезные сигналы среди горы логов и файлов? В этом видео вы научитесь видеть источники данных и понимать, с чего начинается любой анализ.

3. Julia за пять минут

Готовы продвинуться в освоении языка математического моделирования, который работает со скоростью C, но в понимании прост как Python и MATLAB? В этом видео вы научитесь создавать переменные, функции и массивы — и всё это за 5 минут!

4. Работа со строками

Учимся парсить текстовые файлы, извлекать нужные данные и превращать хаос в структуру!

5. Как читать ошибки Julia

Вы уже получили первые красные сообщения в консоли? В этом видео мы разберём самые частые ошибки и покажем, как понимать их с первого взгляда.

6. Чтение файлов и логов

Следующий шаг - открываем любые файлы, будь то логи или просто поток символов. В этом видео вы научитесь читать и обрабатывать неструктурированные данные.

7. Работа с бинарными файлами в Julia

Готовы заглянуть во внутреннее устройство бинарных протоколов? Ведь в логах можно встретить всё что угодно, даже сырые данные из памяти контроллеров - взять хотя бы протокол MODBUS. Изучаем как читать бинарную информацию интерпретировать байты, HEX-коды и извлекать смысл из этого машинного языка!

8. Работа с датой и временем в Julia

Нас ждет событие. Много событий. Мы будем анализировать временные ряды, состоящие из событий. Поэтому нужно научиться работать с годами, месяцами, днями, часами, минутами и секундами, прежде чем искать закономерности в данных. В этом видео вы научитесь работать с временными метками и фильтровать данные по времени.

9. Работа с табличными данными DataFrames в Julia

В этом видео вы научитесь фильтровать, группировать, объединять и агрегировать данные, пользуясь таблицами.

10. Работа со структурированными файлами

Прочитать в программе форматы JSON, XML и TOML так же легко, как и обычный текст. В этом видео вы научитесь открывать и парсить любые структурированные форматы.

11. Работа с мультимедиа файлами в Julia

Сейчас мы расскажем, что скрывается в аудиофайлах, и как открыть изображение и разобрать его на части. В этом видео вы научитесь работать с WAV и PNG, превращая звук в массив чисел, а картинку — в матрицу пикселей!

12. Первичный анализ данных

Пора поговорить о том, с чего начинается любой серьёзный анализ данных. Первые шаги для создания пайплайна, которые сложно целиком автоматизировать, но намного полезнее решать при помощи программирования, чем при помощи ручного труда в табличном редакторе.

13. Технические проблемы при обработке сигналов

Готовы победить шум, пропуски и выбросы? В этом видео вы научитесь сглаживать сигналы, заполнять пропуски и находить аномалии, чтобы данные заиграли по-новому!

14. Заключение

Резюмируем пройденное и обсуждаем, куда двигаться дальше.

Для того чтобы пройти тестирование, перейдите по ссылке.

Материал для практической подготовки к выполнению и сдачи домашнего задания по первой главе курса.

Если вы смотрите курс в Сообществе, откройте его в Engee (кнопка Открыть в Engee наверху страницы)

1. Откройте в файловом браузере папку, где расположен учебный комплект.

2. Решите практическую работу на платформе Engee и сопоставьте ваши результаты с ожидаемыми.

3. Чтобы сдать результаты домашней работы, перейдите по этой ссылке и скопируйте код из специально выделенных кодовых ячеек в проверочную систему Etude.