이상 알림 — 임계값을 잘못 잡았던 두 달

반나절 만에 만들고 두 달을 고쳤다

측정값이 기준을 벗어나면 알림을 보내게 했습니다. 만드는 데 반나절 걸렸습니다.

그 뒤로 두 달이 걸렸습니다.

1주차   하루 평균 40건 발송
2주차   사람들이 알림을 끔
3주차   아무도 보지 않음
4주차   실제로 중요한 건 하나가 묻힘

마지막이 결정적이었습니다. 알림은 정상적으로 갔습니다. 아무도 열지 않았을 뿐입니다.

기능은 작동했고 목적은 완전히 실패했습니다.

왜 40건이나 나왔나

기준을 규격 한계값으로 잡았기 때문입니다.

규격 한계는 "이걸 넘으면 안 된다"는 선입니다. 그런데 현장 값은 원래 그 선 근처에서 오르내립니다. 온도가 오르면 조금 나빠지고, 내려가면 돌아옵니다.

규격 한계    -24.0 dBm
실제 측정    -23.8  -24.1  -23.9  -24.2  -23.7  ...
                    ↑알림        ↑알림

한계선 근처에서 진동하는 값에 고정 임계값을 걸면 정상 진동이 전부 알림이 됩니다.

기술적으로는 맞는 알림입니다. 실무적으로는 소음입니다.

세 개의 문을 세웠다

첫째, 절대값이 아니라 변화량을 본다. 같은 지점의 값이 지난 측정 대비 얼마나 움직였는지가 훨씬 유용한 신호였습니다. 한계선 안쪽이라도 급격히 나빠지면 봐야 합니다. 한계선 근처라도 몇 달째 그대로면 볼 이유가 없습니다.

둘째, 연속성을 본다. 한 번 튄 값은 측정 오류일 가능성이 큽니다. 접속 상태, 온도, 측정자의 습관에 따라 한 번은 얼마든지 튑니다. 두 번 연속 같은 방향으로 벗어나야 보냅니다.

셋째, 등급을 나눈다.

40건이 3건이 됐다

그 3건은 실제로 조치가 필요한 건이었습니다.

주간 목록에는 20~30건이 쌓입니다. 월요일에 훑어보고 대부분 넘깁니다. 넘기는 데 5분 걸립니다.

넘긴 것도 버리지 않고 남습니다. 어떤 지점이 반복해서 주간 목록에 오르는지 보면, 그게 다음 점검 대상이 됩니다. 실제로 한 지점은 넉 달 연속 목록에 올랐고, 가서 보니 관로 자체가 눌려 있었습니다.

무시당하는 것이 더 위험하다

알림을 만들 때 "빠뜨리면 안 되니까 넓게 잡자"는 유혹이 큽니다. 넓게 잡으면 최소한 놓치지는 않으니까요.

그런데 넓게 잡아서 무시되는 알림은 아예 없는 것보다 나쁩니다.

없으면 사람들은 직접 확인하러 갑니다. 있는데 무시되면 확인도 안 하고 알림도 안 봅니다. 게다가 한 번 무시하는 습관이 생기면 그 시스템 전체를 신뢰하지 않게 됩니다.

놓치는 것보다 무시당하는 것이 더 위험합니다.

두 달 걸려 배웠고, 이 문장 하나가 이후 다른 알림을 만들 때마다 기준이 됐습니다.

다음 편에서 할 것

입력도 빨라지고 알림도 정리됐습니다. 그런데 월말이면 여전히 이틀이 사라졌습니다.

데이터는 전부 시스템 안에 있는데, 리포트는 시스템 밖 빈 문서에서 처음부터 다시 만들어지고 있었습니다.