Ложный отказ (False Reject Rate, FRR) при верификации: что это и как считать

Ложный отказ (false reject rate, FRR) — это доля честных пользователей, которых система верификации ошибочно отклонила. В России метрика закреплена в ГОСТ Р 71414.1-2024 как «вероятность ложного недопуска», а допустимые ошибки биометрического сравнения с ЕБС задаёт приказ Минцифры № 453. Применяется в удалённой идентификации, KYC-онбординге, антифроде и санкционном скрининге.

Кратко:

• FRR = отклонённые легитимные попытки / все легитимные попытки: 5 отказов на 100 честных клиентов — FRR 5%.
• FRR и FAR связаны порогом: чем строже проверка, тем меньше пропущенных мошенников и больше отказов честным.
• Приказ Минцифры № 453 допускает при сравнении лица с векторами ЕБС ложное несовпадение до 0,01 и ложное совпадение до 0,0001.
• Прямые потери = поток × FRR × CPA: при 10 000 заявок, FRR 4% и CPA 1 500 руб. — 600 000 руб. в месяц.
• По ст. 16 152-ФЗ полностью автоматический отказ требует согласия или основания в законе, а возражение клиента рассматривается в течение 30 дней.

Любая проверка ошибается двумя способами: пропускает мошенника или не пускает настоящего клиента. За первую ошибку бизнес отвечает перед регулятором и платит из своего кармана, поэтому её видно сразу. Вторая заметна хуже: клиент закрывает приложение, а в отчёте это выглядит как обычный отток. Разбираем, как считается ложный отказ, из чего складывается и почему его нельзя обнулить.

Что такое ложный отказ (False Reject Rate)

В национальном стандарте ГОСТ Р 71414.1-2024 (ИСО/МЭК 19795-1:2021) эта метрика называется вероятностью ложного недопуска (ВЛНД, FRR): доля транзакций с подлинными биометрическими заявлениями, которые система ошибочно отклонила. Стандарт действует с 1 января 2025 года и заменил ГОСТ Р ИСО/МЭК 19795-1-2007, хотя приказ Минцифры № 453 в требованиях к испытаниям по-прежнему ссылается на стандарт 2007 года.

Формула простая:

Пример: из 100 честных клиентов отказ получили пятеро, FRR = 5%. Эти пятеро ничего не нарушили — ошиблась система.

Чаще всего путают знаменатель: FRR делят на число честных пользователей, а не на все отказы или весь поток. Если из 50 отказов 10 пришлись на честных клиентов, это не «FRR 20%». Это доля ложных среди отказов — другая метрика, о ней ниже.

Парная метрика — вероятность ложного допуска (ВЛД, false accept rate, FAR): доля чужих попыток, которые система приняла. Метрики связаны порогом: чем он строже, тем меньше FAR и больше FRR. Это свойство любого порогового решения, а не недоработка продукта.

Чем ложный отказ отличается от ложного несовпадения и false positive

Ситуацию «честного клиента не пустили» системы называют по-разному, отсюда споры команд и поставщика.

Биометрия. Алгоритм сравнивает селфи с фото в документе и не признаёт совпадение. На уровне алгоритма это ложное несовпадение (ВЛНС, false non-match rate, FNMR), на уровне транзакции — ложный недопуск, FRR. В русскоязычных источниках FRR иногда называют ошибкой второго рода. Если же принять за нулевую гипотезу «пользователь подлинный», это ошибка первого рода. Надёжнее называть метрику, а не род ошибки.

Антифрод-модель. Здесь «положительный» класс антифрод-модели — мошенничество. Если модель пометила честного клиента как мошенника, это false positive, ложноположительный результат. По смыслу это тот же ложный отказ.

Скрининг по перечням. Совпадение ФИО с фигурантом списка при санкционном скрининге даёт ложный хит. Обычно это ещё не отказ: заявка уходит на ручной разбор. Клиент получает задержку, и отказом она станет, только если он не дождётся решения.

Отсюда главное различие для бизнеса: FRR модели и FRR процесса — разные числа. Первое показывает, как часто ошибается алгоритм сравнения на пригодных данных. Второе — сколько честных клиентов в итоге не прошли онбординг по любой причине. FRR процесса обычно выше: к ошибкам сравнения добавляются отказы сбора данных, правила антифрода и скрининг. Повторные попытки работают в обратную сторону, поэтому без указания политики попыток эти числа сравнивать нельзя.

Как легко подменить одну метрику другой, видно по кейсу Finbridge: анализ цифрового следа устройства блокировал 98% подозрительных регистраций, ложные срабатывания составили около 5% от заблокированных. Эти 5% — доля ложных среди блокировок, а не FRR. Иллюстрация: 10 000 заявок, 3,5% фрода (в Finbridge — 3–4%), 98% фрода заблокировано. Под блокировку попадут около 18 честных клиентов из 9 650 — FRR около 0,2%, на порядок меньше.

Из каких ошибок складывается ложный отказ

FRR процесса складывается из ошибок на разных шагах. Удобнее разбирать их по метрикам: у каждой своя причина и способ измерения.

Отказ сбора данных (ВОСД, failure to acquire, FTA) часто не попадает в отчёты по биометрии, хотя клиент видит то же «не удалось подтвердить личность». Здесь же работает проверка живости: если она требует действий в плохих условиях съёмки, растёт доля неудачных попыток.

Ложное несовпадение зависит от порога оценки сходства. Сервис сравнения лица с фото в документе возвращает оценку, а решение «похож или нет» принимает порог. Оценка — величина конкретной модели, поэтому порог 90% у двух поставщиков означает разное. 

Отказы по правилам растут, когда антифрод-системы работают на статичных условиях без контекста.

Ложные хиты снижают за счёт нечёткого сопоставления имён с учётом транслитерации и дополнительных атрибутов.

Как посчитать потери от ложных отказов

Прямые потери от FRR считаются так:

Иллюстрация: 10 000 честных заявок в месяц, FRR 4%, CPA 1 500 рублей — за месяц теряется 400 потенциальных клиентов и 600 000 рублей. Если CPA не считается отдельно, можно взять стоимость привлечения клиента (CAC) как верхнюю оценку. Выручка в расчёт не входит.

Вторая статья расходов — поддержка: обращения = поток × FRR × доля обратившихся. Долю берите из собственной статистики, в разных продуктах она отличается в разы.

У ложного отказа есть и правовая сторона. Часть 1 статьи 16 Федерального закона № 152-ФЗ запрещает принимать решения, которые порождают юридические последствия для человека или иным образом затрагивают его права и законные интересы, на основании исключительно автоматизированной обработки персональных данных. Исключения — письменное согласие или случаи, предусмотренные федеральными законами. Но и тогда оператор обязан разъяснить порядок решения и его последствия, принять возражение и рассмотреть его в течение 30 дней. Полностью автоматический отказ без канала для возражения — вопрос уже не только конверсии.

Смотреть на FRR в отрыве от уровня фрода нельзя: падение одной метрики почти всегда оплачено ростом другой. Как держать три метрики на одной панели, разобрано отдельно.

Почему ложный отказ нельзя обнулить

Если сдвигать порог решения от мягкого к строгому, получится линия, которую ГОСТ Р 71414.1-2024 называет компромиссным определением ошибки (КОО, DET-кривая). Каждая её точка — пара значений FAR и FRR. На реальных данных точки, где обе ошибки равны нулю, на кривой нет. 

В точке равной вероятности ошибок (РВО, equal error rate, EER) FAR совпадает с FRR. По EER удобно сравнивать алгоритмы, но рабочей настройкой она бывает редко. Банку обычно важнее низкий FAR, массовому сервису — FRR.

Регулятор тоже выбирает точку на кривой. Приказ Минцифры № 453 от 12.05.2023 задаёт требования к технологиям, которые сравнивают изображение лица с векторами Единой биометрической системы. Вероятность ложного совпадения с вектором другого человека — не более 0,0001, одна ошибка на 10 000 сравнений. Вероятность ложного несовпадения с вектором того же человека — не более 0,01, одна на 100. Регулятор сознательно допускает в сто раз больше ложных несовпадений, чем ложных совпадений. Это требования к сравнению (FMR и FNMR), а FRR процесса зависит ещё от съёмки, политики попыток и других проверок.

На практике кривую обходят: задают пороги по сегментам риска и вместо отказа предлагают дополнительный шаг. Как это встроить, разобрано в статье о том, как перестроить онбординг, чтобы не терять клиентов. Компромисс с выявлением мошенничества описан в материале про баланс FRR и fraud capture rate.

Как зафиксировать FRR в договоре с поставщиком верификации

Поставщик под FRR алгоритма обычно имеет в виду FNMR на тестовом наборе: хорошие снимки, одна попытка, без антифрода и скрининга. Заказчик считает FRR по воронке.

Чтобы цифры можно было сравнивать, в договоре или методике отчётности стоит зафиксировать четыре вещи:

• знаменатель: все легитимные заявки или только дошедшие до конкретного шага;
• повторные попытки: отказ считается после первой неудачи или после исчерпания лимита;
• ручную проверку: заявка, одобренная оператором после автоматического отказа, — ложный отказ или нет;
• период и способ разметки: как подтверждается, что отклонённый клиент был честным.

Как IDX помогает снижать ложные отказы

IDX работает на шагах, где чаще всего возникает ложный отказ. Пассивная проверка живости анализирует короткое видеоселфи и не требует команд вроде «улыбнитесь» или «поверните голову», поэтому меньше неудачных попыток из-за условий съёмки. Сервис сравнения лиц возвращает процент схожести, и порог можно калибровать под сегмент риска. В санкционном скрининге и проверке публичных должностных лиц применяются несколько алгоритмов нечёткого сопоставления с учётом вариантов транслитерации. Правовая оценка такого процесса зависит от статуса организации, применимых перечней, нормативных актов и правил внутреннего контроля.

Читайте также: Мошенничество при регистрации: во что обходится бизнесу подмена личности на входе