개요
statcheck는 논문에 보고된 검정통계량을 찾아 p값을 다시 계산하는 R 패키지로, 많은 논문에서 불일치를 손으로 확인하지 않고도 찾아낼 수 있게 해 준다. 심리학에서 널리 쓰였고, 검정을 놓치거나 잘못된 경보를 낸다는 비판도 받았다.
David Passmore, Rose Baker와 함께한 이 포스터는 statcheck가 인적자원개발(HRD) 분야의 저자와 편집자에게 쓸모 있는 품질 관리 역할을 할 수 있는지를 묻고, 이 물음에 답하기 위한 연구 설계를 제시한다. 포스터가 보고하는 것은 설계이며 결과가 아니다.
주요 내용
- 포스터는 statcheck가 하는 일, 지금까지의 사용 사례, 정확도를 둘러싼 논쟁을 검토한다.
- 제안한 설계: AHRD 학술지 논문의 전수 또는 표본을 모으고, 영가설 검정에 쓰인 t, F, r, 카이제곱, z 통계량을 수작업으로 집계한다.
- 영가설 기각에 대한 각 저자의 결정을 기록한 다음, 같은 통계량에 statcheck를 실행한다.
- 둘을 진리표로 비교하여 statcheck의 민감도와 특이도를 추정한다.
- 대안 설계에서는 저자의 결정 대신 statcheck와 독립적으로 다시 계산한 p값을 쓴다.
행사
2019 Academy of Human Resource Development International Research Conference in the Americas, 켄터키주 루이빌, 2019년 2월 (포스터 세션).
서지
Passmore, D., Chae, C., & Baker, R. M. (2019, February). Selectivity and specificity of automated decisions based on p-value calculations: A study design. Poster presented at the 2019 Academy of Human Resource Development International Research Conference in the Americas, Louisville, Kentucky.