感谢您关注“永大英语”！
2016-2021年浙江高考英语语法填空内容效度研究
丁旦群 朱嫣然
摘要：本文运用语料库分析工具LancsBox，分析2016-2021年浙江高考英语语法填空试题的内容效度，对其命题质量进行探析。研究显示：试题文本的相关性和代表性与《考试大纲》和《课程标准》的要求基本相符，但语篇类型较为单一；试题考点的设计基本符合《考试说明》的要求，但部分考点的设计缺乏一定的典型性。基于此，未来高考命题可丰富试题文本的话题和语篇类型、完善词类考查的全面性并结合语料库资源检验考点的典型性；高中英语教学应鼓励学生夯实词汇基础并拓展阅读话题与体裁，从而提升语言运用和语篇理解能力。
关键词：高考英语；语法填空；内容效度；语料库
一、引言
语法能力的重要性不言而喻，“它是英语学习的基础，是语言运用的前提”（张春青，2015）。长期以来，我国高考英语语法测试大多采用单项选择题，然而Qi（2005）指出，选择题型限制了试题设计和考试质量，导致师生追求应试教育，单纯注重分数的提高。2016年10月，浙江高考改革后，英语卷首次使用语法填空新题型，取代原先的单项选择题，跳出了过去以句子为载体的语法测试形式，上升到了篇章的高度。语法填空不仅强调对学生词汇、语法方面的考查，还关注语篇测试中学生基本语言知识和语言技能的运用。该测试项目要求学生具有较好的语法分析能力，对高中英语语法教学提出了更高的要求。
近年来，国内对于语法填空测试项目的相关研究数量较少，仅有如张春青（2015）应用Rasch模型验证广东高考英语语法填空题的构念效度，刘超（2020）基于Bachman和Palmer的测试任务理论框架和李筱菊的考点效度理论对2019年高考全国卷英语语法填空试题进行内容效度研究等。另外，少有学者结合语料库资源对语法填空试题进行分析，并且关于浙江高考英语语法填空试题的历时研究较少。
二、文献回顾
（一）概念界定
语法填空是语法测试中的常用题型，它在句子和语篇两个层级考查语法形式和意义的运用能力（Purpura，2004）。这一题型建立在德国心理学家Koffka的格式塔心理学原理和英语语言学家Brown的语篇分析理论上，从词汇的意思、形式的变化、语法的句子结构和形式、语境语篇的线索等方面测试学生的英语综合运用能力。浙江高考英语的语法填空题型为在一篇约200词的短文中设置10个填空，部分含有提示词，考生需要根据上下文在空白处填入所需内容或根据提示词写出正确形式。
在语言测试中，效度（validity）是评估试题质量的重要指标。Bachman（1990）将效度分为三大类：效标关联效度、构念效度和内容效度。其中，内容效度指考试内容是否真实地代表了它所要测量的内容，可以从三个方面对其进行判断：（1）测试内容是否和测试目标相关；（2）测试内容是否具有代表性；（3）测试内容是否适合测试对象。李筱菊（1997）对此也持相似的看法，认为内容效度指测试所涉及的内容是否覆盖了大纲所规定的内容。Hughes（1989）指出，测试项目的内容效度越高，就越可能准确测量出它所要测量的内容。因此，确保内容效度的常用方法就是将测试内容与其教学大纲、考试大纲进行比较， 看其是否考了应考的内容（Alderson et al.，1995）。本文的内容效度研究基于Bachman（1990）提出的相关概念，认为内容效度主要包括两个方面，即内容关联性（content relevance） 和内容覆盖面（content coverage）。内容关联性指测试能力、技能范畴以及测试方法与测试目标相关；内容覆盖面指所测能力、技能或所用方法具有代表性。
（二）相关研究
自国内高考出现语法填空的题型后，越来越多的研究开始聚焦于这一测试项目，并从不同的视角针对语法填空进行了积极的探索。有些研究关注语法测试新旧题型的对比，如徐良、邹申（2013）通过语法选择题和语法填空题的对比探讨语法填空新题型的效度和可行性；张惠玲（2016）对比受试者语法填空题和语法选择题的成绩、各题项答案和解题过程，探究语法测试中的测试方法效应；陈颖杰（2014）认为语篇型语法填空题可以取代单句型语法填空题，以此来完善我国现行的俄语考试。有些研究关注语法填空测试的效度分析，如张红强等（2017）依据内容效度分析框架对2017年高考英语全国新课标卷II中的语法填空题进行评析；陶百强（2019）以2018年高考英语全国卷为例，从内容与形式两个维度针对语法填空的文本进行研究与思考。有些研究关注语法填空测试的反拨效应，如林红（2016）分析2015年高考英语全国卷语法填空题的特点，对高中语法教学提出启示；李莉莉（2014）探究辽宁高考语法填空题型对该省高中英语语法教学的反拨效应。
综上所述，已有的相关研究大多针对某一年的英语语法填空试题展开，对高考语法填空试题进行的历时研究较少，而结合语料库资源对语法填空试题的内容效度进行的探讨则更为匮乏。本研究基于语料库，主要针对2016-2021年浙江高考英语语法填空测试的内容效度，探讨以下问题：（1）浙江高考英语语法填空试题中文本材料的相关性和代表性如何？（2）浙江高考英语语法填空试题中考点设计的典型性如何？
三、研究设计
（一）研究对象及语料库的选取
本研究以2016-2021年浙江高考英语语法填空试题文本为语料，共计9篇文本。浙江省于2016年首次在英语高考中采用语法填空题型，故以2016年10月的语法填空试题作为研究起点。另外，本研究利用英语国家语料库（BNC），可直接提供相关词汇及其搭配的使用频率，使得研究结果更具科学性和说服力。基于上述代表性较强的语料库资源，本文将浙江高考英语语法填空试题的固定搭配题项进行匹配，通过使用频率可以检测语法填空试题考查的典型性。
（二）数据收集与分析
本文采用2016-2021年浙江高考9套英语试卷中的语法填空试题文本建立微型语料库，首先结合《普通高等学校招生全国统一考试大纲》（以下简称《考试大纲》）和《普通高中英语课程标准（2017年版）》（以下简称《课程标准》）的要求，统计近六年语法填空文本的文本话题和语篇类型；接着通过语料库分析工具LancsBox对近六年语法填空试题文本的词汇密度和生词率进行统计；然后将所有考点以词类为标准按照年份进行分类统计；最后运用BNC语料库对2016-2021年浙江高考英语语法填空的固定搭配考点进行检索。
四、结果与讨论
（一）文本材料的相关性和代表性
本文从试题的文本话题和语篇类型、词汇密度和生词率这两方面入手，探讨试题文本材料的相关性和代表性。
1. 文本话题多样化，语篇类型较单一
《考试大纲》要求学生能读懂书、报、杂志中关于一般性话题的简短文段以及公告、说明、广告等，并能从中获取相关信息（教育部考试中心，2019），其中话题主要指考试大纲中的24个话题。另外，《课程标准》的必修课程学习策略要求学生能根据语篇类型和特点，了解篇章的主要内容和写作意图（中华人民共和国教育部，2018），其中语篇类型主要包括记叙文、说明文、应用文与新闻报道等。
由表4.1.1.1可知，近六年的浙江高考英语语法填空文本话题较为多样化，其中关于“社会”的话题最多，占比33.3%，主要涉及当代社会现象或社会变迁，但《考试大纲》中仍有不少话题并未涉及。因此，在试题文本话题的选择上可以适当涉及自然、世界与环境、历史与地理等话题，从而拓宽阅读话题的覆盖面，有利于提高学生的阅读能力，引导学生放眼世界、了解历史，提高文化意识和国际意识等。
高考命题者选取与生活、时事相结合的话题，既能在语篇语境中考查学生对语言知识点的掌握情况，又能引导学生思考，培养其辩证思维。如2021年1月的语法填空文本阐述了当今世界越来越多的人体重超标的现象，通过调查研究的结果表明过去与现在人们体重指数的巨大变化，引发学生关注当今社会人们体重的变化与自身的健康问题；又如2020年1月的语法填空文本阐述了人口老龄化的现象，启发学生辩证思考人口老龄化给社会带来的影响。语法填空试题通过文本话题的呈现从思维层面对学生加以引导，有助于考查学生是否具备语言能力、文化意识、思维品质和学习能力等素养，从而推动高中英语课堂教学对相关话题的探讨，培育学生的英语学科素养。
就语篇类型而言，2016-2021年浙江高考英语仅有记叙文和说明文，较为单一。其中，记叙文于2016年10月与2017年6月出现2次，此后皆为说明文，这可能是因为短篇记叙文阅读难度较高，容易使考生产生困扰，而说明文阅读难度较低，有助于考生专注于语法点的考查。但是为了更好地发挥高考对英语教学的反拨作用，未来语法填空文本语篇类型的选取可以更加多样化。
总体来说，在话题和语篇类型方面，近6年的浙江高考英语语法填空试题的内容关联性和内容覆盖面基本符合《考试大纲》和《课程标准》的要求。
2. 词汇密度较稳定，生词率基本未超纲
本文通过类符-形符比TTR（Type/Token Ratio）这一参数衡量试题文本中的词汇密度，一般而言，TTR值越大，说明文本越复杂，阅读难度越大。借助语料库分析工具LancsBox，统计各年语法填空文本的类符与形符。由表4.1.2.1可知，近六年来语法填空试题的词汇密度在55.84%-66.50%之间，其中，2018年6月的试题难度最大，2021年1月的难度则最小，其余年份试题的词汇密度在此区间内上下浮动，整体的文本复杂度较为稳定。
此外，生词率也是文本词汇中不可忽视的一项重要因素。《考试大纲》要求考生能够读懂一般性话题的简短文段（生词量不超过3%），并能从中获取相关信息，且在附录部分提供了要求考生掌握的词汇表。凡是超出词汇表范围的，文中没有用中文进行标注且考生无法根据已有的构词法知识进行推测和判断的单词均视为生词。一般而言，文本所包含的生词越多，意味着其难度越大。本文依据《考试大纲》的词汇表逐一校对各年的试题文本，发现除了2020年1月试题的生词率超过3%，其余年份试题的生词率均控制在3%以内。因此，从词汇层面来看，近六年浙江高考英语的语法填空试题同样与《考试大纲》的要求基本相符。
（二）考点设计的典型性
Listening 30 A:1*10=10 B:2*6=12 C:1*8=8 其中后4题如果没完全写对但写出一个正确的实词就可得0.5，意思相同也可得分 G&V 26 A:1*16=16 当没有提示词的空格填写的单词词根正确但是时态或单复数错误时。
针对考点设计的典型性，本文试图分析试题文本的考点分布以及考点搭配的使用频率，验证语法填空测试项目的内容效度。
1. 考点分布统计
本文根据《考试大纲》，将2016-2021年浙江高考英语语法填空的考点按照词类进行了详细的归类，统计结果见表4.2.1.1。
由表4.2.1.1可知，2016-2021年浙江高考英语语法填空考点基本覆盖了《考试大纲》中的所有词类，侧重于考查英语实词（如动词、名词等）的运用，其中动词类考查每年都有3个及以上，且呈增长趋势；名词类、代词类、介词类等次之；对连词类、冠词类的考查较少。对实词的考查往往给出提示词，考生需要通读语篇，充分运用上下文语境，填写语法正确的答案，这能够从语篇层面检测考生的综合语言运用能力，因此，重点考查实词符合《普通高等学校招生全国统一考试英语科考试说明》（以下简称《考试说明》）中要求“考查考生在阅读理解的基础上运用语法和语用知识的能力（教育部考试中心，2015）”的原则。对虚词的考查虽然相 对较少，但也较为合理地在语法填空中设置了相应空白，有 助于检测考生对句子衔接和上下文逻辑关系的掌握程度。需要指出的是，2018年6月和2020年7月对实词的考查 分别占比70%和80%，较其他年份占比过高，且仅考查五项 词类，对词类的考查不够全面，这一点今后可做适当调整，尽可能全面地考查各项词类，避免对同一词类的相继考查。
2. 考点搭配的频率统计
在历年的浙江高考英语语法填空试题中，考查固定搭配的共计13道题。由于本文仅研究考点的固定搭配，2020高考英语题型，因此在使用语料库搜索时对考点中某些具体的实词忽略不计。以历年浙江高考英语语法填空中的固定搭配考点为例，笔者基于BNC语料库对其所出现的频率做了详细的统计。
五、启示与建议
（一）高考英语语法填空试题的命制
为提高语法填空测试项目考查学生语法分析能力的有效性，笔者针对试题命制提出以下几点建议：
第一，丰富文本的话题和语篇类型。近六年的浙江高考英语语法填空文本的话题中关于“社会”的话题最多，且《考试大纲》中仍有不少话题并未涉及。今后的语法填空命题可以尝试选择其他话题的文本，如自然、热点话题、世界与环境、历史与地理等，从而引导学生在课内外阅读各种话题的文章，拓展知识面和阅读面以培养学生的综合素质。同时，近六年浙江高考英语语法填空文本的语篇类型仅有记叙文和说明文，较为单一，这可能导致教师过分重视记叙文和说明文而忽视其他语篇类型的教学。议论文和应用文也有助于考查学生在真实场景下运用英语进行表达的能力，提高测试任务的真实性（陈天、张顺生，2019）。因此，议论文、应用文等语篇类型也可适当纳入考查范围，尽量避免语篇类型过于单一。
第二，完善词类考查的全面性。虽然近六年浙江高考英语语法填空考点基本覆盖了《考试大纲》中的所有词类，但动词类考查最多，且部分年份的试题中实词类考查的占比过高。因此，英语高考今后可在重点考查动词类的基础上适当平衡各种词类的考查，兼顾实词与虚词的考查力度，保证每篇语法填空考查3至4个虚词，尽可能全面考查所有词类，但要注意避免同一篇文本连续两题考查同一词类。另外，近六年的9份英语高考卷中有4份考卷的语法填空测试没有考查连词。而在语篇中，连词是体现语义逻辑关系的重要形式，使语篇成为相互衔接、前后连贯的有机整体（王扬、肖祎，2013），因此高考英语对连词的考查也十分重要，建议每篇语法填空文本至少有一个题项对连词进行考查。
第三，结合语料库资源检验考点的典型性。从语料库的视角来看，语法填空考点的设计不太具有较高的典型性。邹申、杨任明（2008）进行语料库在试题设计和内容效度验证中的应用研究时表明，语料库在试卷编制和内容效度验证中是一项具有很高应用价值的工具，因此笔者建议命题者在编制考点时可以运用语料库资源对考点的分布进行预测，更好地检验考点的典型性，从而提高测试的科学性和严谨性，保证该测试项目的内容效度。
（二）高中英语语法教学
为了更好地发挥考试评价对高中英语教学的反拨与导向作用，英语教师应当鼓励学生夯实语言基础并阅读英语原著，从而提升语言运用和语篇理解能力。
第一节（共5小题：每小题1.5分，满分7.5分）听下面5段对话，每段对话后有一个小题，从题中所给的A、B、C三个选项选出最佳选项，并标在试卷的相应位置，听完每段对话后，你都有10秒钟的时间来回答有关小题和阅。
第一，夯实学生词汇基础，提升语言运用能力。语法填空试题以词汇为基础，以语法知识点为载体来考查学生的综合语言运用能力，其中词汇考查的覆盖范围较广，涉及《考试大纲》中的所有词类。因此，高中英语教师在日常教学中要引导学生注重语言基础知识的积累和语法基本功的训练，可以带领学生对考纲核心词汇进行地毯式整理，从而扩大学生的词汇量；同时要求学生对固定搭配和重要知识点进行归纳整理，巩固对语法知识点的掌握。
第二，鼓励学生拓展阅读话题与体裁，提高语篇理解能力。高考英语试卷的语篇选材多来源于英美国家的原版材料，体裁丰富且话题覆盖面广。同时，《普通高中英语课程标准》（2018）规定“学生课外阅读量平均每周不少于1500词（必修课程阶段不少于4.5万词）”，这对高中生的英语阅读量和阅读面提出了更高层次的要求。因此，高中英语教师应该在课堂教学时适当选用教材之外的英语素材，如采用《典范英语9-10》《阳光英语分级阅读高中阶段》等作为教材内容的补充，增加学生对不同题材和体裁文章的阅读量，拓展语法知识点的学习。在课外，教师可以鼓励学生阅读英文报纸、英文杂志等原汁原味的英语材料，扩大英语原著的输入，提升学生的英语语篇理解能力。
六、结语
本研究基于语料库资源，从文本材料的相关性和代表性以及考点设计的典型性对近六年浙江高考英语语法填空测试项目的内容效度进行实证研究。研究结果显示：（1）试题文本材料的相关性和代表性与《考试大纲》和《课程标准》的要求基本相符，但语篇类型较为单一；（2）试题考点的设计基本符合《考试说明》的要求，但从固定搭配考点在BNC语料库的出现频率来看，部分考点的设计缺乏一定的典型性，或多或少影响到语法填空测试项目的内容效度。针对上述试题分析突显的问题，笔者建议高考英语语法填空命题可适当丰富文本的话题和语篇类型、完善词类考查的全面性并结合语料库资源检验考点的典型性；同时建议高中英语教师鼓励学生夯实词汇基础并拓展阅读话题与体裁，从而提升语言运用能力和语篇理解能力。
［1］Alderson，J. C.，C. Clapham & D. Wall. Language Testing Construction and Evaluation［M］. Cambridge: Cambridge University Press，1995.
［3］Hughes，A. Testing for English teachers［M］. Cambridge: Cambridge University Press，1989.
［4］Purpura，J. Assessing Grammar［M］. Cambridge: Cam - bridge University Press，2004.
［5］Qi，L. Stakeholders’ conflicting aims undermine the wash-back function of a high-stakes test［J］. Language Testing，2005，22(2): 142-173.
［6］陈天，张顺生. 论试题命制对学生语言能力和思维品质的考查——以2016~2018年中考英语阅读表达题型为例［J］. 中小学外语教学(中学篇)，2019，42(4).
［8］教育部考试中心. 普通高等学校招生全国统一考试大纲(英语)［S］. 北京: 高等教育出版社，2019.
［9］教育部考试中心. 普通高等学校招生全国统一考试英语科考试说明(高考综合改革试验省份试用)［S］. 北京:高等教育出版社，2015.
［10］李莉莉. 辽宁高考英语语法填空题型对该省高中英语语法教学的反拨效应探析［J］. 科技信息，2014(10).
［11］李筱菊. 语言测试科学与艺术［M］. 长沙: 湖南教育出版社，1997.
2、2014年“新课标高考考试大纲”指出，2014年英语高考题型将取消原来的15道单选题，新增10道语法填空题。
［12］林红. 2015 年高考英语全国卷语法填空题对高中英语语法教学的启示［J］. 大连教育学院学报，2016，32 (1).
［13］刘超. 2019 年高考英语全国卷语法填空题内容效度研究［J］. 教育测量与评价，2020(3).
［14］陶百强. 高考英语命题文本研究与思考—以2018年高考英语全国卷为例［J］. 中国考试，2019(2).
［15］王扬，肖祎. 师范类与外语类院校英语专业学生转折连词使用差异—一项基于CEM的研究［J］. 外语界，2013(5).
［16］徐良，邹申. 高考英语(上海卷)语法评价模式的对比分析与思考［J］. 外语电化教学，2013(6).
［17］张春青. 高考英语语法填空题构念效度的Rasch模型分析［J］. 现代外语，2015(2).
［19］张惠玲. 语法测试中的测试方法效应——语法填空题和语法选择题的对比研究［J］. 外语测试与教学，2016(2).
［20］中华人民共和国教育部. 普通高中英语课程标准(2017年版)［S］. 北京: 人民教育出版社，2018.
第一部分：听力（共两节，20道题，每题1.5分，满分30分）。第二部分：阅读理解（共两节，40分）第一节4篇阅读共15小题，每题2分，满分30；第二节七选五共5小题，每题2分，满分10分。第三部分：英语知识运用（两节。
［21］邹申，杨任明. 语料库在试题设计和验证中的应用研究［J］. 外语电化教学，2008(5).
A Study on Content Validity of Grammar Gap-filling Tasks in the 2016-2021 Zhejiang Matriculation English Tests
Ding Danqun Zhu Yanran
Abstract: This paper analyzes the content validity of grammar gap-filling tasks in the 2016-2021 Zhejiang matriculation English tests with corpus analysis tool LancsBox，and explores the quality of test questions. The research shows that: the relevance and representativeness of the materials chosen for grammar gap-filling tests are consistent with the requirements of Examination Syllabus and Curriculum Standards，but the text type is oversimplified; the design of test points almost meets the requirements of Test Instructions，while some test points need to be improved for lack of representativeness. For that reason，the test had better enrich the topic and type of the articles，examine the parts of speech comprehensively，and make use of corpus resources to test the typicality of the test sites in the future; and English teachers in high schools should encourage students to consolidate vocabulary foundation and expand reading topics and genres to improve language use and text comprehension skills.
2014高考英语单项填空答题技巧: 【单项填空答题技巧、解题方法】 单项填空主要考查三个方面:1、英语语法知识;2、对近义词或习惯用语的辨析;3、日常交际用语。这三个方面各有其内在规律,因此了解这些规律,掌握这些规律,就能逐渐形成答好单项。
Key words: matriculation English test; grammar gap-filling task; content validity; corpus
