流利說完成對(duì)接CSE AI老師有了“中國(guó)標(biāo)準(zhǔn)”智能
2019-04-02 16:06
這是目前國(guó)內(nèi)第一家與CSE對(duì)接的企業(yè)，此前，英國(guó)文化教育處旗下雅思、普思等國(guó)際英語(yǔ)考試宣布與CSE完成對(duì)接。
4月2日，國(guó)內(nèi)領(lǐng)先的人工智能在線教育機(jī)構(gòu)流利說（NYSE：LAIX）宣布旗下AI英語(yǔ)老師提供的“定級(jí)測(cè)試”完成與中國(guó)英語(yǔ)能力等級(jí)量表（CSE，China’s Standard of English Language Ability，簡(jiǎn)稱CSE）對(duì)接。這是目前國(guó)內(nèi)第一家與CSE對(duì)接的企業(yè)，此前，英國(guó)文化教育處旗下雅思、普思等國(guó)際英語(yǔ)考試宣布與CSE完成對(duì)接。
據(jù)悉，為促進(jìn)中國(guó)外語(yǔ)教育改革與發(fā)展，培養(yǎng)具有國(guó)際視野、熟練運(yùn)用外語(yǔ)、通曉國(guó)際規(guī)則的新時(shí)代人才，國(guó)務(wù)院在《關(guān)于深化考試招生制度改革的實(shí)施意見》中提出加強(qiáng)“外語(yǔ)能力測(cè)評(píng)體系建設(shè)”的明確要求。其中，研制中國(guó)英語(yǔ)能力等級(jí)量表是外語(yǔ)能力測(cè)評(píng)體系建設(shè)的重要任務(wù)。量表是首個(gè)面向中國(guó)學(xué)習(xí)者的英語(yǔ)能力標(biāo)準(zhǔn)，于2018年2月由教育部、國(guó)家語(yǔ)言文字工作委員會(huì)正式發(fā)布。根據(jù)循序漸進(jìn)的原則，CSE 將語(yǔ)言能力分為9個(gè)級(jí)別和3個(gè)發(fā)展階段，其中1-3 級(jí)為初級(jí)，4-6級(jí)為中級(jí)，7-9級(jí)為高級(jí)階段。
流利說此次提交的對(duì)接產(chǎn)品，是公司核心App“英語(yǔ)流利說”提供的“定級(jí)測(cè)試”系統(tǒng)。定級(jí)測(cè)試作為流利說AI英語(yǔ)老師的重要組成部分，該系統(tǒng)已經(jīng)幫助近四千萬用戶完成了英語(yǔ)水平定級(jí)。其定級(jí)題庫(kù)涵蓋了六種題型，采用3PL模型（3 parameter logistic model）估計(jì)出每道題的難度、區(qū)分度和猜測(cè)度。測(cè)試過程根據(jù)用戶每一題的答題情況得出相應(yīng)的測(cè)量誤差，隨著做題數(shù)量增加，測(cè)量誤差降低，在誤差低于設(shè)定閾值時(shí)結(jié)束測(cè)試。從測(cè)試實(shí)施到結(jié)果判定，整個(gè)過程由AI老師負(fù)責(zé)，涉及用戶的聽說讀寫能力，利用音頻、圖片等多種多媒體形式，完全自動(dòng)化。
流利說聯(lián)合創(chuàng)始人兼首席科學(xué)家林暉博士表示：“在流利說定級(jí)測(cè)試與CSE對(duì)接之后，英語(yǔ)學(xué)習(xí)者能使用英語(yǔ)流利說App隨時(shí)衡量自己的英語(yǔ)水平并與國(guó)家標(biāo)準(zhǔn)對(duì)應(yīng)，進(jìn)而根據(jù)測(cè)試結(jié)果制定學(xué)習(xí)目標(biāo)，運(yùn)用流利說人工智能英語(yǔ)老師對(duì)自身的英語(yǔ)水平進(jìn)行針對(duì)性提高。”
本次對(duì)接過程主要采用改良的Angoff方法，CSE的主要起草人之一、廣東外語(yǔ)外貿(mào)大學(xué)劉建達(dá)教授作為團(tuán)隊(duì)學(xué)術(shù)帶頭人，與數(shù)名具備豐富的一線高校英語(yǔ)教學(xué)經(jīng)驗(yàn)的成員組成專家組。他們結(jié)合CSE的分級(jí)方法，通過自身作答、知識(shí)點(diǎn)分析、難度判斷等方式進(jìn)行討論和判斷，最終得出各題目對(duì)應(yīng)CSE的級(jí)別。
劉建達(dá)教授表示：“研制CSE的目的之一是讓英語(yǔ)教學(xué)回歸本質(zhì)——學(xué)習(xí)者能用英語(yǔ)做什么，流利說與CSE的對(duì)接可以幫助AI技術(shù)賦能英語(yǔ)教育在教、學(xué)、測(cè)等方面的進(jìn)一步升級(jí)。”
值得注意的是，改良的Angoff方法相比傳統(tǒng)的Angoff方法多了一輪討論和二次判斷的步驟，根據(jù)對(duì)接報(bào)告中援引的論文注1，第二次判定的結(jié)果相比第一次往往更為一致。結(jié)果顯示，第二輪判定后有13題級(jí)別上調(diào)，9題級(jí)別下調(diào)，充分體現(xiàn)了改良后Angoff方法彌補(bǔ)了傳統(tǒng)Angoff的不足，提高了對(duì)接的準(zhǔn)確性。
對(duì)接報(bào)告顯示，流利說定級(jí)測(cè)試中的級(jí)別與CSE的級(jí)別基本相當(dāng)：1級(jí)相當(dāng)于CSE的1-2級(jí)，流利說的2級(jí)相當(dāng)于CSE的2-3級(jí)，流利說的3級(jí)相當(dāng)于CSE的3-4級(jí)，流利說的4級(jí)相當(dāng)于CSE的4級(jí)，流利說的5級(jí)相當(dāng)于CSE的4-5級(jí)，流利說定級(jí)測(cè)試的6級(jí)以上能力水平相當(dāng)于CSE的5級(jí)或以上等級(jí)。
注1：何懼, 何佳,安滔, 高靖. 2007. Angoff法及其衍生方法在資格考試合格線設(shè)定中的比較研究[J]. 中國(guó)考試(研究版)(06): 23-26.
1.TMT觀察網(wǎng)遵循行業(yè)規(guī)范，任何轉(zhuǎn)載的稿件都會(huì)明確標(biāo)注作者和來源；
2.TMT觀察網(wǎng)的原創(chuàng)文章，請(qǐng)轉(zhuǎn)載時(shí)務(wù)必注明文章作者和"來源：TMT觀察網(wǎng)"，不尊重原創(chuàng)的行為TMT觀察網(wǎng)或?qū)⒆肪控?zé)任；
3.作者投稿可能會(huì)經(jīng)TMT觀察網(wǎng)編輯修改或補(bǔ)充。
