VERSANT英語力測定診断

サイトには次のような説明があります。

VERSANTは、仕事で使える実践的な英語力を測るテストです。
従来のテストとは異なり、試験の実施と採点までが短時間で行えます。
ピアソンで開発された高度な自動言語認識システムを利用しており、スマホアプリやパソコンがあれば日時や場所を問わず受験ができます。国内外の大手グローバル企業での採用のほか、米国防省やオランダ政府移民局などの政府機関でもそのシステムが導入されるなど、信頼性の高いテストです。

VERSANT English Testでは、Ordinateのテストシステムが受験者に対して一連の質問をネイティブの会話速度で音声により提示します。

質問は、さまざまなアクセントやスピーキングスタイルを持つ複数のネイティブスピーカーにより録音されています。「英語を聞いてから英語で話す」といった形式をとるこれらの問題では、発話をリアルタイムで理解し、的確に処理する能力が必要とされます。つまり、リスニングテストとスピーキングテストが分かれているテストでは測れない、「英語を聞いてから英語で話す」という実際のシーンに沿った英語コミュニケーション能力を測ることができるのです。

選ばれる4つの理由

いつでもどこでも
テスト会場や試験官の手配・採用などは必要なく、スマホアプリやパソコンがあれば、時も場所も選ばず、低コストで受験できます。
また、一度に大人数の受験も可能です。

客観的
著名な言語学者の監修による、高度な言語認識システムと自動採点システムを使って採点されるため、面接官による主観的な差異などがなく、きわめて客観的に、また一貫性をもって英語力を測ることができます。

すぐに結果
スピーキングテストは約20分、ライティングテストは約35分で完了。受験者の回答はコンピュータによる自動採点システムに送られ、即時に自動採点されるので、すぐにインターネット上で結果を確認することができます。

世界中で採用
大手企業や有名国立大学、私立大学、愛知万博などで採用され、在日米国大使館の人事採用の際に英語力証明用のテストの一つとして挙げられている世界で認められた信頼性の高いテストです。

数々の大きな問題

このテストには英語の能力試験の正統性が十分に説明できていないだけでなく、世界的に見ても多くの批判も存在します。

VERSANTの2つの違う発音診断説明

VERSANTのPearson Customer Supportの秋山さんから次のPDFのリンクが送られてきました。2019年に改訂された試験の詳細を説明している文書です。

https://www.pearson.com/content/dam/one-dot-com/one-dot-com/english/SupportingDocs/Versant/ValidationSummary/Versant-English-Test-Description-Validation-Report.pdf

Versant English Test
Test Description and Validation Summary

しかし、驚いた事に次の説明がありました。簡単に言えば音声学の子音や母音の音素を基本に評価している事になります。

A.TestTest Description and Validation Summary
Pronunciation:
Pronunciation reflects the ability to produce consonants, vowels, and stress in
a native-like manner in sentence context. Performance depends on knowledge of the
phonological structure of everyday words as they occur in phrasal context.

しかし、サイトには次のような説明があります。

B.サイトのFAQ
スピーキングテスト用にピアソンが開発した専用アプリケーションには音声認識技術が用いられております。
英語学習者の音声回答ファイルを使って適合化された高度な言語・音声モデル(英語学習者モデル)と、口語を正しく評価するために、ネイティブスピーカーモデルの両方構築することにより、音声認識システムを適合化しています。

場合によっては正しい答えが1つだけではない場合もあります。ネイティブモデルは許容可能な回答の範囲を確立します。どちらのモデルも数千人のサンプルを使って構築されています。 英語学習者モデルの回答がネイティブモデルにどれほど近いか、あるいは同モデルとどれほど違うかを把握し、それを正確に採点できるようにしています。

つまり、単に「正しい」か「正しくない」かの問題ではなく、ネイティブモデルで許容できる範囲とどれほど違うかという度合いを見ています。 さらに統計モデル技術と計算言語学を用いて採点エンジンを調整し、スピーキング力を正確かつ確実に評価できるようにしています。

ネイティブモデルは許容可能な回答の範囲を確立し、数千人のサンプルを使って構築されています。容可能な回答があると言う事は正しい音は存在しないと言う事になります。

Aでは基本の音があると言っています。つまり旧式の音素ベースの音声認識を使っていまあす。物理的なユニークな音素を定義する事ができるなら、発音の診断は可能です。

Bでは多くのデータを使う、最新の人工知能の事例基盤の音声認識です。正しい音が存在しませんから、発音の診断をする事は不可能です。

英語の発音診断で2つの違う説明があります。どちらが正しい発音診断かをVERSANTに問い合わせをしました。

Versantは質問に対応不可能

Versantから次のような返信をもらいました。

桜井様

ご質問いただきました件ですが、
先日お伝えいたしましたとおり、お渡ししている資料が
お答えできる内容の全てですので、これ以上のご質問には
ご対応いたしかねます。

ご理解いただきますようお願い申し上げます。

Pearson Customer Support (営業時間 平日 9:00~17:30 土日祝日は休み)

継続的な調査が必用
この英語テストに関しては海外でも次のようなコメントがあります。VERSANTテストには継続的な調査が必用だと言っております。

W. Chun, Christian. (2008).
Christian W. Chun Department of Applied Linguistics, University of Massachusetts Boston
Comments on “Evaluation of the Usefulness of the “Versant for English” Test: A Response”–The Author Responds. Language Assessment Quarterly. I welcome the feedback from Downey on my analysis of the “Versant for English” Test (formerly called the PhonePass Test), as it provides opportunities to engage in dialogue on differing notions of language performance and authenticity and address the implications of technological expediency influencing and shaping the design of test tasks. The technological impact on spoken language assessment needs to be continually interrogated because its effects on the interactions between the test taker and the test input are open to much debate.

言語パフォーマンスと異なる意見交換をして、テスト作業のデザインに影響し、形成する技術的な機会を提供している英語のVersant Test(以前PhonePass Testと呼ばれる)の分析に関して、私はフィードバックを歓迎します。
テスト被験者とテスト問題の間の相互作用に対するその影響が多くの議論を受け入れるため、言語評価への技術的影響は継続的に調査する必要があります。

獣医がテストは欠陥だと主張

Irish vet slams ‘obvious flaw’ in Australia’s English test
オーストラリアの英語テストは明らかな欠陥

https://www.news.com.au/lifestyle/real-life/wtf/irish-vet-slams-obvious-flaw-in-australias-english-test/news-story/37c6bc6e370661ce386eaa50ad301396

Louise Kennedyは英語を母国語とし、優れた文法と幅広い語彙を持っています。彼女は2つの大学の学位を取得し、どちらも英語で取得しました。過去2年間、オーストラリアで熟練労働者ビザの馬獣医として働いています。
しかし、彼女は現在、コンピュータによる英語のテスト-機械で採点された-が自分の言語能力で在住資格を審査に不合格になり、他の方法を探しています。
今年の初め、ケネディ女史は、不足している職業として応募するためにオーストラリアに永住を求めることを決めました。
彼女は必須の英語能力試験を受ける必要があることを知っていましたが、彼女のPearson Test of English(PTE)Academicの結果を得たときショックを受けました。
彼女は筆記と読解を含むテストの他のすべての技能は合格しましたが、彼女は口語試験で移民に必要とする最低スコアに達しませんでした。
政府が79を必要としていたのですが彼女は74でした。

音声認識技術の第二言語習得での利用

http://www.ijiet.org/papers/203-K20001.pdf
Speech Recognition Technology in Second Language Assessment: Social Group Preference

結論
英語のOrdinateの Versant Testで検証されるように、第二言語評価において音声認識技術の方へユーザー指向の研究が始まりました。
この研究は技術革新の受け入れについてロジャーズに基づく洞察、そのようなテストがどの程度主流として受け入れられるのか、受け入れらないかを調べる事から始めています。
この研究では立場の違う2つの主要な当事者であり、の調査は大学生テスト被験者と語学教師の調査で異なる結果が出ています。

学生がよりVersantを受け入れる準備ができているようでしたが、は韓国在住の先生(特に25才以上)が技術革新に批判的でした。

しかし、テスト被験者が重要な当事者であるように見えますが、経験のある先生と彼らが属する組織は実際のテスト・ユーザーとなります。

韓国在住の大多数の調査を受けた先生が、このように結果をより一般的に受けいれられていないよう思われ、先生の評価と学生の評価は、統計的に有意なレベルで異なりました。
したがって、音声認識技術が、特に言語テストへの認知アプローチと結合され、主流にはならないようです。

一緒に英語を学びませんか

ディープラーニングで一緒に英語を勉強しませんか。次のサイトにメソッドと教材があります。

https://英会話革命.com/

の方が会員として参加しています。

https://英会話革命.com/for-member/memberlist/

現在、無料モニターを募集しております。下記リンクから無料で登録できます。

https://英会話革命.com/for-member/register/

シェアする

  • このエントリーをはてなブックマークに追加

フォローする