Сравнительный анализ A/B

Назначение

Сравнительный анализ отвечает на вопрос: «Изменилось ли поведение параметра значимо, или разница случайна?» Это ключевой инструмент для оценки эффекта изменений: ремонта, замены оборудования, изменения настроек, сезонных переходов.

Модуль сравнивает два набора данных и даёт статистически обоснованный ответ: различие реально или это случайное совпадение.

Возможности

► Сравнение двух периодов одного тега (до/после события)

► Сравнение двух разных тегов (два единицы оборудования)

► Оценка статистической значимости различий

► Расчёт размера эффекта: насколько сильно изменился параметр

► Визуализация обоих наборов данных на одном графике

► Текстовая интерпретация результатов

Режимы работы

Режим 1: Сравнение периодов (до/после)

Когда использовать: вы провели изменение (ремонт, замена, настройка) и хотите понять, дало ли оно эффект.

Примеры: - Давление в системе до замены насоса и после - Потребление энергии до установки частотного привода и после - Температура в серверной до и после модернизации охлаждения - Уровень шума до и после установки виброизоляции

Режим 2: Сравнение тегов (оборудование)

Когда использовать: вы хотите сравнить поведение двух единиц однотипного оборудования.

Примеры: - Насос №1 и Насос №2: одинаково ли они работают? - Вентиляционная установка А и Б: есть ли разница в производительности? - Датчик температуры в цехе №1 и цехе №2: одинаковые ли условия? - Контур отопления левого и правого крыла: сбалансированы ли они?

Как пользоваться

Сценарий 1: Оценить эффект ремонта

Откройте модуль «Глубокий анализ».
Выберите тег параметра, который должен был измениться после ремонта.
Выберите тип анализа: «Сравнительный анализ».
Укажите два периода:
Период А (до): 30 дней до ремонта
Период Б (после): 30 дней после ремонта
Нажмите «Запустить».
Результат покажет:
Средние значения в обоих периодах
Статистическую значимость различия
Размер эффекта

Сценарий 2: Сравнить два насоса

Выберите тип анализа: «Сравнительный анализ».
Выберите два тега: Насос №1 и Насос №2.
Укажите общий период: 30 дней.
Нажмите «Запустить».
Результат покажет:
Средние значения для каждого насоса
Различаются ли они статистически значимо
Насколько сильно различаются (размер эффекта)

Сценарий 3: Интерпретировать результат

Результат содержит три ключевых показателя:

1. Средние значения - Среднее в периоде А: 3.2 бар - Среднее в периоде Б: 3.5 бар - Разница: +0.3 бар

2. Статистическая значимость - Система отвечает на вопрос: «Может ли такая разница возникнуть случайно?» - Результат: «Значимо» или «Не значимо» - Если значимо — различие реальное, не случайное - Если не значимо — различие могло возникнуть случайно, нельзя утверждать, что изменение произошло

3. Размер эффекта - Показывает, насколько сильно изменился параметр - Интерпретация: - Малый эффект: изменение есть, но оно незначительное - Средний эффект: изменение заметное, стоит обратить внимание - Большой эффект: изменение существенное, точно повлияло на процесс

Сценарий 4: Принять решение

На основе результата: - Если различие значимое и эффект большой → изменение дало результат - Если различие значимое, но эффект малый → изменение дало результат, но он невелик - Если различие не значимое → нельзя утверждать, что изменение повлияло; возможно, нужно больше данных или изменение не дало эффекта

Что вы видите на экране

Структура результата сравнительного анализа:

График сравнения - Два набора данных на одном графике: - Период А (или тег А) — один цвет - Период Б (или тег Б) — другой цвет - Средние значения отмечены горизонтальными линиями - Область разброса (мин-макс) для каждого набора

Таблица результатов | Показатель | Период А | Период Б | Разница | |-----------|----------|----------|---------| | Среднее значение | 3.2 бар | 3.5 бар | +0.3 бар | | Минимум | 2.8 бар | 3.1 бар | +0.3 бар | | Максимум | 3.6 бар | 3.9 бар | +0.3 бар | | Стандартное отклонение | 0.2 бар | 0.2 бар | 0 |

Статистический вердикт - Значимость: Значимо / Не значимо - Размер эффекта: Малый / Средний / Большой - Вывод: текстовое описание результата

Текстовая интерпретация - Пример:

«После замены насоса среднее давление в системе выросло с 3.2 до 3.5 бар. Различие статистически значимо (не может быть объяснено случайностью). Размер эффекта: средний. Замена насоса привела к заметному увеличению давления в системе.»

Практические советы

Используйте равные периоды для сравнения. Период А и период Б должны быть одинаковой длительности (например, оба по 30 дней). Это обеспечивает честное сравнение.

Не сравнивайте слишком короткие периоды. Период менее 7 дней может не содержать достаточно данных для статистически значимого вывода. Оптимально: 30 дней.

Учитывайте сезонность. Если вы сравниваете январь и июль, разница может быть обусловлена сезоном, а не вашим изменением. Выбирайте периоды в одном сезоне или используйте сезонный анализ для поправки.

Сравнивайте однотипное оборудование. Сравнение двух насосов одной модели корректно. Сравнение насоса и вентилятора — некорректно, это разные типы оборудования.

Статистическая значимость ≠ практическая значимость. Различие может быть статистически значимым, но практически неважным (например, температура изменилась на 0.1 °C). Всегда смотрите на размер эффекта.

Проводите анализ после стабилизации. После ремонта или изменения дайте системе 2-3 дня на стабилизацию перед тем, как начинать период Б. Иначе переходные процессы исказят результат.

Частые вопросы и ответы

Вопрос: Результат показывает «Не значимо». Значит ли это, что изменение не дало эффекта? Не обязательно. Это означает, что на имеющихся данных нельзя утверждать, что эффект есть. Возможные причины: - Период слишком короткий (мало данных) - Эффект слишком мал на фоне естественных колебаний - Данные зашумлены Попробуйте увеличить период анализа или подождать больше данных.

Вопрос: Что делать, если различие значимое, но эффект малый? Это означает, что изменение дало результат, но он невелик. Решение зависит от контекста: - Если цель была достигнута (например, давление выросло на нужную величину) — всё в порядке - Если эффект недостаточен — возможно, нужны дополнительные изменения

Вопрос: Можно ли сравнивать больше двух периодов? В текущей версии поддерживается сравнение только двух наборов данных. Если нужно сравнить три периода (до, во время, после), проведите два сравнения: А с Б, затем Б с В.

Вопрос: Как понять, какой период выбрать для «до» и «после»? Период «до» должен отражать нормальное поведение до изменения. Период «после» должен начинаться после того, как система стабилизировалась после изменения. Избегайте включать в период «после» переходные процессы (первые 2-3 дня после ремонта).

Вопрос: Можно ли использовать сравнительный анализ для прогнозирования? Нет. Сравнительный анализ оценивает уже произошедшие изменения. Для прогнозирования используйте модуль «Аналитика» с функцией экстраполяции трендов.

Вопрос: Что означает «размер эффекта: большой»? Это означает, что различие между двумя наборами данных существенно по сравнению с естественной изменчивостью параметра. На практике: изменение заметно без статистических расчётов, просто по взгляду на график.