Вернуться на главную

О точности алгоритмов СППРП «Сокол» (2025 год)

 

Для обучение и валидизации алгоритмов классификации полиграмм ТВС (тестов вопросов сравнения) с использованием метрических данных использовано 456 полиграмм с известным решением. Полиграмма с известным решением – это полиграмма теста, ответ на задачу, которую он решал (лгал/не лгал проверяемый на Пв, причастен/непричастен, значим стимул/незначим Пв) стал известен из независимых достоверных источников.

Алгоритм «Сокол» и алгоритм Combi Calc v.2 на январь 2025 года переобучение не проходили.

 

456 полиграмм с известным решением, представляли различные ТВС с различным количеством повторов/предъявлений, с различным количеством проверочных и контрольных вопросов. Кроме того, полиграммы были записаны с использованием различных наборов физиологических каналов.

Поэтому признаку полиграммы разбивались на подмножества, некоторые из которых получались с исключением каналов (например, Манжеты и ФПГ), обучение и валидация алгоритмов производилась для каждого подмножества полиграмм.

LOO (Leave-One-Out) – метод кросс-валидации, при котором из обучающей выборки с N элементами исключается один элемент. На оставшихся N-1 элементах производится обучение модели машинного обучения, и на исключенном элементе проверяется результат обучения. Процесс повторяется N раз и каждый элемент выборки участвует в тестировании. Таким образом тестовая выборка содержит в себе N элементов.

 

ИОТ - исключение элементов одного теста, обучение на остальных, проверка на исключенном тесте

 

При обучении алгоритмов из выборки исключалось не по одному элементу, который соответствовал одному проверочному вопросу, а все элементы, которые соответствовали одному тесту. Так повторялось столько раз сколько имелось тестов в выборке. Таким образом все элементы, соответствующие одному тесту, участвовали и в обучении, и в тестировании – в тестовой выборке.

Далее, в случае алгоритма «Правдоруб», путем удаления элементов, которые соответствовали случайно выбранным тестам, производилось выравнивание классов. Обучение производилось на оставшихся элементах.

На тестовой выборке – валидация производилась на тестовой выборке, ни один элемент которой не участвовали в обучение

 

Д – Дыхание, К – КГР, М – Манжета, Ф – размах ФПГ

ППЦ – положительная прогностическая ценность (оценка вероятности того, что ОЛ действительно лгал, при условии, что решение алгоритма «диагностирована ложь»)

ОПЦ – отрицательная прогностическая ценность (оценка вероятности того, что ОЛ действительно отвечал правду, при условии, что решение алгоритма «диагностирована правда»)

 

 

 

 

(здесь и далее показатели вычислены с балансировкой при помощи коэффициента пропорциональности)