Проблема надежности оценочных суждений учителя в формирующем оценивании

Введение. Организация учебного процесса предполагает осуществление текущей оценки, обеспечивающей поддержку учебной деятельности школьников и влияние на учебный процесс для повышения его эффективности. Одним из элементов оценочной деятельности учителя является оценочное суждение, которое формулируется учителем в текущем процессе мониторинга, диагностики, анализа и интерпретации результатов учебной деятельности учащихся и направлено на информирование учащихся о степени достижения планируемых результатов, повышение мотивации, одобрение, замечание и т.п. Изучение оценочных суждений учителя в контексте формирующего оценивания соотносится с проблематикой надежности, обеспечивающей непротиворечивость, объективность, последовательность, справедливость и стабильность результатов оценочной деятельности.

Материалы и методы. Материал для исследования – двадцать статей, опубликованных за период с 2017 по 2020 годы и посвященных проблематике оценочных суждений учителя в ходе формирующего оценивания. Их сбор проходил в полнотекстовых базах данных опубликованных научных исследований ScienceDirect и Wiley Online Library на основе ключевых слов. Отобранные статьи были проанализированы и обобщены с точки зрения рассмотрения в них факторов, влияющих на оценочные суждения учителя и создающих условия для снижения надежности.

Результаты исследования. В результате проведенного анализа публикаций нами были выявлены следующие группы факторов, влияющих на надежность оценочных суждений учителя: факторы, обусловленные компонентами ситуации оценки, которые включают факторы, связанные с субъектом, объектом, предметом и основанием оценки, а также с используемым средством оценивания; факторы, обусловленные оценочным суждением; внешние факторы.

Обсуждение и заключения. Исследование факторов, влияющих на надежность оценочных суждений учителя, определяет возможности повышения эффективности оценочной деятельности в ходе формирующего оценивания. Понимание роли каждого фактора создает условия для подготовки рекомендаций для учителя по повышению надежности текущей оценки. Кроме того, на основе рассматриваемой классификации возможно проведение эмпирических исследований для уточнения специфики активизации тех или иных факторов в зависимости от целей, условий и индивидуальных характеристик всех участников учебного процесса для повышения эффективности мониторинга достижения планируемых образовательных результатов и поддержки учебного процесса. 

1. Безрукова В.С. Основы духовной культуры (Энциклопедический словарь педагога). Екатеринбург, 2000. 937 с.

2. Бодоньи М.А. Объекты контроля и оценки иноязычной письменной речи: монография. Краснодар: КубГУ, 2018. 140 с.

3. Ожегов С.И., Шведова Н.Ю. Толковый словарь русского языка: около 80 000 слов и фразеологических выражений. М.: А Темп, 2006. 944 с.

4. Baudson T.G., Preckel F. Development and validation of the German Test for (Highly) Intelligent Kids – T(H)INK // European Journal of Psychological Assessment. 2013. Vol. 29. Pp. 171-181. DOI: https://doi.org/10.1027/1015-5759/a000142.

5. Campbell T. Stereotyped at Seven? Biases in Teacher Judgement of Pupils’ Ability and Attainment // Journal of Social Policy. 2015. Vol. 44(3). Pp. 517-547. DOI: https://doi.org/10.1017/S0047279415000227.

6. Carr M., Kurtz‐Costes B.E. Is being smart everything? The influence of student achievement on teachers' perceptions // British Journal of Educational Psychology. 1994. Vol. 64. Pp. 263-276. DOI: https://doi.org/10.1111/j.2044-8279.1994.tb01101.x.

7. Cevik D.Y. Examining Preservice Teachers' Reasoning and Decision Making in Three Case-Based Approaches: Graduate Theses and Dissertations. Ames: Iowa State University, 2011. 408 p. DOI: https://doi.org/10.31274/etd-180810-3078.

8. Connor-Linton J. Looking behind the curtain: What do L2 com position ratings really mean? // TESOL Quarterly. 1995. Vol. 29. Pp. 762-765. DOI: https://doi.org/10.2307/3588174.

9. Drexlerová A., Šeďová K., Sedláček M. The relationship between grading and teacher judgment // Journal of Pedagogy. 2019. Vol. 10(2). Pp. 9-35. DOI: https://doi.org/10.2478/jped-2019-0005.

10. Engelen J.A.A., Camp G., van de Pol J., Bruin A.B.H. Teachers’ monitoring of students’ text comprehension: can students’ keywords and summaries improve teachers’ judgment accuracy? // Metacognition and Learning. 2018. Vol. 13. Pp. 287-307. DOI: https://doi.org/10.1007/s11409-018-9187-4 .

11. Evans J.St.B.T. Dual processing accounts of reasoning, judgment, and social cognition // Annual Review of Psychology. 2008. Vol. 59. Pp. 255-278. DOI: https://doi.org/10.1146/annurev.psych.59.103006.093629.

12. Fischbach A., Baudson T.G., Preckel F., Martin R., Brunner M. Do teacher judgments of student intelligence predict life outcomes? // Learning and Individual Differences. 2013. Vol. 27. Pp. 109-119. DOI: https://psycnet.apa.org/doi/10.1016/j.lindif.2013.07.004.

13. Frank M.J., Cohen M.X., Sanfey A.G. Multiple systems in decision making: A neurocomputational perspective // Current Directions in Psychological Science. 2009. Vol. 18. Pp. 73-77. DOI: https://doi.org/10.1111%2Fj.1467-8721.2009.01612.x.

14. Glogger-Frey I. Linking teachers' professional knowledge and teachers' actions: Judgment processes, judgments and training // Teaching and Teacher Education. 2018. Vol. 76. DOI: https://doi.org/10.1016/j.tate.2018.08.005.

15. Hardman D. Judgment and decision making: Psychological perspectives. Oxford, UK: BPS-Blackwell. 2009. 221 p.

16. Harvey N. Why are judgments less consistent in less predictable task situations? // Organizational Behavior and Human Decision Processes. 1995. Vol. 63. Pp. 247-263. DOI: https://doi.org/10.1006/obhd.1995.1077.

17. Helm F., Müller-Kalthoff H., Mukowski R., Möller J. Teacher judgment accuracy regarding students' self-concepts: Affected by social and dimensional comparisons? // Learning and Instruction. 2018. Vol. 55. Pp. 1-12. DOI: https://doi.org/10.1016/j.learninstruc.2018.02.002.

18. Herppich S., Praetorius A.-K., Foorster N., Glogger-Frey I., Karst K., Leutner, D., Südkamp A. Teachers' assessment competence: Integrating knowledge-, process-, and product-oriented approaches into a competence-oriented conceptual model // Teaching and Teacher Education. 2018. Vol. 76. Pp. 181-193. DOI: https://doi.org/10.1016/j.tate.2017.12.001.

19. Jussim L., Harber K.D. Teacher expectations and self-fulfilling prophecies: Knowns and unknowns, resolved and unresolved controversies // Personality and Social Psychology Review. 2005. Vol. 9. Pp.131-155. DOI: https://doi.org/10.1207%2Fs15327957pspr0902_3.

20. Kaiser J., Retelsdorf J., Südkamp A., Möller J. Achievement and engagement: How student characteristics influence teacher judgments // Learning and Instruction. 2013. Vol. 28. Pp. 73-84. DOI: https://doi.org/10.1016/j.learninstruc.2013.06.001.

21. Karing C. Diagnostic competence of elementary and secondary school teachers in the domains of competence and interests // German Journal of Educational Psychology. 2009. Vol. 23. Pp. 197-209. DOI: https://doi.org/10.1024/1010-0652.23.34.197.

22. Karst K., Bonefeld M. Judgment accuracy of preservice teachers regarding student performance: The influence of attention allocation // Teaching and Teacher Education. 2020 Vol. 94. DOI: https://doi.org/10.1016/j.tate.2020.103099.

23. Karst K., Dotzel S., Dickhoauser O. Comparing global judgments and specific judgments of teachers about students' knowledge: Is the whole the sum of its parts? // Teaching and Teacher Education. 2018. Vol. 76. DOI: https://doi.org/10.1016/j.tate.2018.01.013.

24. Kotsopoulos D., Makosz S., Zambrzycka J., Cordy M. A teacher’s judgment of spatial ability // School Science and Mathematics. 2018. Vol. 118. Pp. 320-331. DOI: https://doi.org/10.1111/ssm.12300.

25. Kriegbaum K., Steinmayr R., Spinath B. Longitudinal reciprocal effects between teachers’ judgments of students’ aptitude, students’ motivation and grades in math // Contemporary Educational Psychology. 2019. Vol. 59. DOI: https://doi.org/10.1016/j.cedpsych.2019.101807.

26. Loibl K., Leuders T., Doorfler T. A Framework for Explaining Teachers’ Diagnostic Judgements by Cognitive Modeling (DiaCoM) // Teaching and Teacher Education. 2020. Vol. 91. DOI: https://doi.org/10.1016/j.tate.2020.103059.

27. Machts N., Kaiser J., Schmidt F.T.C., Möller J. Accuracy of teachers' judgments of students' cognitive abilities: A meta-analysis // Educational Research Review. 2016. Vol. 19(1). Pp. 85-103. DOI: https://doi.org/10.1016/j.edurev.2016.06.003.

28. Machts N., Zitzmann S., Möller J. Dimensionality of teacher judgments on a competency-based report card in elementary school // Learning and Instruction. 2020. Vol. 67. DOI: https://doi.org/10.1016/j.learninstruc.2020.101328.

29. McKevett N.M., Kiss A.J. The influence of data on teachers' judgments of students' early reading and math skills // Psychology in the Schools. 2019. Vol. 56. Pp. 1157-1172. DOI: https://doi.org/10.1002/pits.22256.

30. McMillan J.H. Understanding and Improving Teachers’ Classroom Assessment Decision Making: Implications for Theory and Practice // Educational Measurement: Issues and Practice. 2005. Vol. 22(4). Pp. 34-43. DOI: https://doi.org/10.1111/j.1745-3992.2003.tb00142.x.

31. Oudman S., van de Pol J., Bakker A., Moerbeek M., van Gog T. Effects of different cue types on the accuracy of primary school teachers' judgments of students' mathematical understanding // Teaching and Teacher Education. 2018. Vol. 76. DOI: https://doi.org/10.1016/j.tate.2018.02.007.

32. Paleczek L., Seifert S., Gasteigere-Klicpera B. Influences on teachers' judgment accuracy of reading abilities on second and third grade students: A multilevel analysis // Psychology in the Schools. 2017. Vol. 54(3). Pp. 228-245. DOI: https://doi.org/10.1002/pits.21993.

33. Panadero E., Broadbent J., Boud D., Lodge J.M. Using formative assessment to influence self- and co-regulated learning: the role of evaluative judgement // European Journal of Psychology of Education. 2019. Vol. 34. Pp. 535-557. DOI: https://doi.org/10.1007/s10212-018-0407-8.

34. Payne J.W., Bettman J.R. Walking with the scarecrow: The information processing approach to decision research // Blackwell handbook of judgment and decision making. Malden, MA: Blackwell Publishing, 2004. Pp. 110-132. DOI: https://doi.org/10.1002/9780470752937.ch6.

35. Pfeiffer S.I., Jarosewich T. The Gifted Rating Scales-School Form: An analysis of the standardization sample based on age, gender, race, and diagnostic efficiency // Gifted Child Quarterly. 2007. Vol. 51. Pp. 39-50. DOI: https://doi.org/10.1177%2F0016986206296658.

36. Pielmeier M., Huber S., Seidel T. Is teacher judgment accuracy of students’ characteristics beneficial for verbal teacher-student interactions in classroom? // Teaching and Teacher Education. 2018. Vol. 76. Pp. 255-266. DOI: https://doi.org/10.1016/j.tate.2018.01.002.

37. Schwab S., Alnahdi G.H. Teachers’ Judgments of Students’ School-Wellbeing, Social Inclusion, and Academic Self-Concept: A Multi-Trait-Multimethod Analysis Using the Perception of Inclusion Questionnaire // Frontiers in Psychology. 2020. Vol. 11. P. 1498. DOI: https://doi.org/10.3389/fpsyg.2020.01498.

38. Thiede K.W., Brendefur J.L., Carney M.B., Champion J., Turner L., Stewart R., Osguthorpe R.D. Improving the accuracy of teachers' judgments of student learning // Teaching and Teacher Education. 2018. Vol. 76. Pp. 106-115. DOI: https://doi.org/10.1016/j.tate.2018.08.004.

39. Thiede K.W., Oswalt S., Brendefur J.L., Carney M.B., Osguthorpe R.D. Teachers’ Judgments of Student Learning of Mathematics // The Cambridge Handbook of Cognition and Education. Ohio Publisher: Cambridge University Press, 2019. Pp. 678-695. DOI: https://doi.org/10.1017/9781108235631.027.

40. Vögelina C., Jansen Th., Keller S.D., Machts N., Möller J. The influence of lexical features on teacher judgements of ESL argumentative essays // Assessing Writing. 2019. Vol. 39. Pp. 50-63. DOI: https://doi.org/10.1016/j.asw.2018.12.003.

41. Zhu Ch., Urhahne D. The use of learner response systems in the classroom enhances teachers' judgment accuracy // Learning and Instruction. 2018. Vol. 58. Pp. 255-262. DOI: https://doi.org/10.1016/j.learninstruc.2018.07.011.