비즈니스 기회
알파벳 순서에서 나중의 성을 가진 학생에 더 낮은 점수
ABC를 아는 것은 학업 성공에 필수적이지만 A, B 또는 C로 시작하는 성을 갖는 것도 성적을 올리는 데 도움이 될 수 있습니다.
미시간 대학교 연구진이 UM의 3천만 개 이상의 채점 기록을 분석한 결과 알파벳순으로 순위가 낮은 이름을 가진 학생들이 더 낮은 성적을 받는 것으로 나타났습니다. 이는 순차적 채점 편향과 가장 널리 사용되는 온라인 학습 관리 시스템인 Canvas에서 학생의 기본 제출 순서가 성의 알파벳 순위를 기반으로 하기 때문입니다.
더욱이, 알파벳 순으로 불리한 학생들은 눈에 띄게 더 부정적이고 덜 정중한 의견을 듣고, 학생들의 성적 후 불만으로 측정되는 낮은 채점 품질을 보인다는 것을 발견했습니다.
"우리는 어떻게 하면 채점을 공정하고 정확하게 할 수 있을지 고민하는 데 많은 시간을 할애하지만, 저에게도 정말 놀라운 일이었습니다"라고 UM 로스 경영대학원의 기술 및 운영 부교수인 준 리(Jun Li)는 UM 정보 대학의 Jiaxin Pei 박사 과정 학생과 Ross의 Helen (Zhihan) Wang과 함께 연구를 공동 저술했습니다.
"데이터를 보고 시퀀스가 차이를 만든다는 것을 깨닫기 전까지는 생각하지 못했습니다."
연구원들은 2014년 가을 학기부터 2022년 여름 학기까지 Canvas에서 모든 프로그램, 학생 및 과제에 대한 사용 가능한 과거 데이터를 수집했습니다. 그들은 Canvas 데이터를 대학의 학생 배경, 인구 통계 및 학습 궤적에 대한 자세한 정보가 포함된 대학 등록 기관 데이터로 보완했습니다.
그 자료는 UM에서 나온 것이지만, 연구원들은 그 발견이 기관과 과정 전반에 걸쳐 일반화될 수 있다고 말합니다. 이는 학습 관리 시스템의 일반적인 설계 문제, 즉 학생의 과제를 이름에 따라 알파벳순으로 순위를 매기는 기본 설정에 의해 주도됩니다.
그들의 연구는 채점자가 더 많은 과제를 평가함에 따라 채점의 질이 떨어지는 분명한 패턴을 발견했습니다. 왕 교수에 따르면, 성이 A, B, C, D, E로 시작하는 학생들은 무작위로 채점했을 때보다 100점 만점에 0.3점 더 높은 점수를 받았다. 마찬가지로 알파벳 성이 늦은 학생은 0.3점 낮은 점수를 받아 0.6점 격차가 발생했습니다.
Wang은 Z에서 A로 등급을 매기는 소수의 채점자 그룹(약 5%)의 경우 성적 격차가 예상대로 뒤집힌다고 지적합니다: A-E 학생은 더 나쁜 반면, W-Z 학생은 무작위로 채점했을 때 받을 수 있는 점수에 비해 더 높은 점수를 받습니다. 이러한 관찰은 등급의 초기 격차로 이어지는 것이 등급 순서라는 가설을 확인시켜 줍니다.
0.6점 차이는 작아 보일 수 있지만 이러한 격차는 학생들의 코스 학점 평균에 영향을 미쳤으며 이는 각자의 진로에서 기회에 부정적인 영향을 미쳤습니다.
"우리의 결론은 이것이 실제로 실제 사회적 영향을 미치고 있는 채점자들에 의해 무의식적으로 일어난 것일 수 있다는 것입니다."라고 Wang은 말했습니다.
페이는 그 연구에 대한 아이디어가 그가 왕과 그들의 연구에 대해 이야기하던 중 나왔다고 말합니다. 그녀는 교육 기술을 연구하고 그는 인공 지능을 연구합니다. 그는 기계 학습의 기본 작업은 데이터 레이블링이며, 이 또한 길고 지루할 수 있지만 무작위로 처리되는 순차적 작업이라고 말했습니다.
이를 통해 Canvas와 같은 교육 시스템에 대해 생각하게 되었고, 채점 작업에 소요된 시간에 따라 성적 간에 격차가 있는지 확인하기 위한 몇 가지 파일럿 연구로 이어졌습니다.
"우리는 피로가 이 효과를 이끄는 주요 요인 중 하나라고 생각하는데, 왜냐하면 오랜 시간 동안 무언가를 하고 있을 때, 당신은 피곤해지고, 그러면 당신은 주의력을 잃기 시작하고, 당신의 인지 능력은 떨어지기 때문이다"라고 페이는 말했습니다.
연구원들은 무작위 순서로 과제를 채점하는 옵션이 존재하며 일부 교육자는 그렇게 하지만 알파벳 순서는 Canvas 및 기타 온라인 학습 관리 시스템의 기본 모드라고 말합니다. 한 가지 간단한 수정은 무작위 순서를 기본 설정으로 만드는 것입니다.
또한 교육 기관이 더 큰 수업을 위해 더 많은 채점자를 고용하거나, 더 많은 사람들에게 작업량을 분배하거나, 채점하는 동안 편견을 인식하고 줄이도록 교육할 수 있다고 제안합니다.
리(Li), 왕(Wang), 페이(Pei)는 컨퍼런스에서 그들의 연구를 공유해 왔고 긍정적인 반응을 얻었습니다. 많은 사람들이 그들의 연구에 깊은 인상을 받았지만, 많은 사람들이 품고 있는 의심을 확인시켜 줍니다.
"한 대학생이 나중에 우리에게 이메일을 보내 논문을 공유해 달라고 요청했습니다. "그는 자신의 성이 W로 시작한다고 말했습니다. 그는 부모님께 자기 때문이 아니라 성 때문이라고 말할 거예요."
이상의 기사는 2024년 4월 17일 Phys.org에 게재된 “Researchers find lower grades given to students with surnames that come later in alphabetical order”제목의 기사 내용을 편집하여 작성하였습니다.
* 원문정보 출처 : https://phys.org/news/2024-04-grades-students-surnames-alphabetical.html
* 추가정보 출처 : https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4603146