Протоколы сравнительных экспериментов
Что проверяем в исследовании
Сначала — моделирование, затем ограниченный пилот в реальной организации. Сравниваем протокол с хорошо настроенным обычным процессом при одинаковых задачах, данных, ресурсах и сопоставимой поддержке ИИ. Отдельно оцениваем вклад содержательных подтверждений и связанных обязательств: долю принятых результатов, нарушения, время восстановления после изменений, ошибки и споры, время участников и полные затраты. Польза должна оправдывать дополнительную работу. Пороги успеха, правила остановки и оценивания задаются до испытаний; отрицательный или неопределённый результат тоже фиксируется.
Как работает протоколПроекты протоколов: распределение полномочий и механизм координации — разные факторы.
Сопоставимость условий
Внутри каждой структуры сравниваются ObliNet и явно описанный базовый процесс без ObliNet. Участникам доступны сопоставимые исходные сведения, ресурсы и поддержка ИИ. Дополнительное получение информации и обучение учитываются как затраты. ObliNet не получает привилегированный доступ к истине симулятора.
Что измерять во всех запусках
Учитываются все запущенные случаи: успешные, неудачные, отказы и незавершённая деятельность на фиксированном горизонте. Измеряются достижение общих целей, качество, использованные ресурсы, длительность, труд всех ролей, вычисления, обучение, сопровождение и переделки. Затраты на успешный результат — дополнительная метрика, не замена полному учёту.
Механизмы и причинный вклад
Расхождения интерпретаций, видимость зависимостей и задержка пересогласования — промежуточные показатели. По отдельности отключаются проверки условий, отображение зависимостей и пересмотр. Их вклад оценивается по независимому общесистемному результату, а не числу предупреждений. Снижение расхождений само по себе не доказывает пользу.
До начала проверки
Фиксируются версии модели и базовых процессов, сценарии, правила полномочий, основная метрика, пороги качества, затрат и самостоятельности, горизонт и остановка, обоснование числа прогонов, случайные состояния, обработка пропусков и план анализа. Оцениваются взаимодействие двух факторов и неопределённость, публикуются нулевые и отрицательные результаты. Численные параметры пока не утверждены.
Адаптивность после изменения
После сопоставимого внешнего изменения измеряются время до допустимого пересмотренного плана, восстановление достижения общих целей и дополнительные затраты. Быстрый пересмотр не считается улучшением, если ухудшает качество или самостоятельность. Правила генерации событий и оценки адаптации фиксируются до запуска.
| Распределение полномочий | Без ObliNet | С ObliNet |
|---|---|---|
| Иерархическое | Базовый процесс внутри иерархии | Те же полномочия + механизмы ObliNet |
| Децентрализованное | Базовый процесс самостоятельных участников | Те же полномочия + механизмы ObliNet |