From Dev.to
가중치 원소 0.005%만 달라도 점수가 1.4%p 움직였습니다: 생성 채점으로 모델을 비교하다 저희 보고를 철회한 과정
TL;DR 객관식 추론 문항 400개를 생성(최대 8,192토큰, 온도 0) 으로 채점해 모델 두 파일을 비교했습니다. 두 파일은 원소 46.6억 개 중 23만 개(약 0.005%) 만 다르고, 최대 상대 차이는 bf16 정밀도의 약 1/25 였습니다. 그런데 점수는 0.7744 대 0.7889, 약 1.4%p 차이(3.9σ) 로 갈렸습니다. 같은 파...