他英語試験との関係

TOEIC®スコアや英検®級目安等の関係と算出根拠について

TOEIC®スコア目安について

算出方法

TOEIC® L&Rスコア目安は、過去の受験者がCASEC受験時に任意で回答した受験者アンケートのうち、過去に取得したTOEIC® L&Rスコア(自己申告による)を集計し、その結果をもとに算出しています。

データ収集方法および分析対象者

  • CASECは、受験前に受験者に対して簡単なアンケート調査を行っています。2007年1月1日~2009年12月31日のCASEC受験者がCASEC受験時に任意で回答した受験者アンケートのうち、過去に取得したTOEIC® L&Rスコア(自己申告による)を集計し、CASEC Totalスコアとの関係を調べました。
  • CASECの受験で多肢選択形式の問題からなるSection1~Section3の正答数が「0」だった場合および、受験時アンケートでありえないTOEIC® L&Rスコアが申告された受験で得られたデータを分析から除外しています。
  • また、CASECを複数回受験している受験者については、最新の結果のみを採用することにしました。
  • 最終的に、19,167件のデータをもとに分析を行いました

CASEC TotalスコアとTOEIC® L&R自己申告スコアの散布図

下の散布図は、CASEC受験者のうち、受験時にTOEIC® L&Rスコアを申告した人を対象として、CASEC TotalスコアとTOEIC®L&R自己申告スコアとの関係を表したものです。「CASECのスコア」を横軸に、「TOEIC®のスコア」を縦軸にとり、平面上に個人を「点」として表現しています。分析対象者個人を点として表し、全員の点を図に示したものが下の散布図です。下の散布図では、「CASECのスコア」が大きくなればなるほど「TOEIC®のスコア」も大きくなり、「正の相関」があることがわかります。

相関係数で表すと、CASEC TotalスコアとTOEIC® L&R自己申告スコアとの相関係数は、0.84で、「高い相関がある」とされます。

参考:散布図

散布図とは、2つの要素からなる1組のデータが得られたときに、1つ目の要素を横軸、2つ目の要素を縦軸にしてデータをグラフ上にプロット(打点)したグラフのことです。2つの要素同士の関係性を可視化することができます。

参考:相関係数

二つの変数の直線的な関係の強さおよび向きを表す指標で、二つの変数の関係が完全に線形である、つまり、散布図上の点がすべて1つの直線上にある場合、相関係数の絶対値が1になります。一方の値が大きいほど他方の値も大きいという場合には相関係数の符号が正になり、一方の値が大きいほど他方の値が小さいという場合には符号が負になります。相関係数の値について,心理学や教育学では左の図のように解釈されることがあります。

CASEC Totalスコアのグループ別 TOEIC® 自己申告スコアの分布

CASEC Totalスコアをもとに、受験者を0~100, 101~200,..., 901~1000の10グループに分けました。グループ別のTOEIC® L&R自己申告スコアの分布を示したのが下の「箱ひげ図」です。例えば、CASEC Totalスコア701~800のグループでは、50%の人がTOEIC® L&Rのスコアはおよそ700~850点であったと自己申告したことが分かります。下の図からCASECのスコアが高いグループほどTOEIC®自己申告スコアが高い傾向にあることがわかります。

参考:箱ひげ図について

箱とひげを使って分布の様子を表す手法です。全体の真ん中半分に相当するデータ(下から25%〜75%の順位に相当するデータ)の分布は箱で表現され、全体はだいたい上下のひげの範囲で表現されます。ただし、外れ値と見なされるデータはひげの外側に点で表現されます。

英検®級目安について

算出方法

英検®級目安は、過去の受験者がCASEC受験時に任意で回答した受験者アンケートのうち、過去に取得した 英検®級(自己申告による)を集計し、その結果をもとに算出しています。

データ収集方法および分析対象者

  • CASECは、受験前に受験者に対して簡単なアンケート調査を行っています。2006年1月1日~2007年12月31日のCASEC受験者がCASEC受験時に任意で回答した受験者アンケートのうち、過去に取得した英検®級(自己申告による)を集計し、CASEC Totalスコアとの関係を調べました。
  • CASECの受験で多肢選択形式の問題からなるSection1~Section3の正答数が「0」だった場合のデータは分析から除外しています。
  • また、CASECを複数回受験している受験者については、最新の結果のみを採用することにしました。
  • 最終的に、17,112件のデータをもとに分析を行いました。

CASEC Totalスコアのグループ別 英検® 自己申告級の分布

CASEC Total スコアをもとに、受験者を0 ~100, 101 ~200,..., 901 ~1000 の10 グループに分けました。 グループ別の英検®自己申告級の割合を示したのが下の帯グラフです。

CEFRとの関係および目安について

CEFRとは

ヨーロッパ言語共通参照枠(CEFR: Common European Framework of Reference for Languages: Learning, Teaching, Assessment) (Council of Europe, 2001)は、外国語の習熟度をA1からC2までの6段階で説明したもので、各レベルを「その言語を使って何ができるか」で説明する点に特徴があります。その研究・開発は欧州評議会(Council of Europe)によって行われました。今ではヨーロッパのみならず多くの地域で知られるようになり、外国語学習者の習熟度を表す国際的なガイドラインとして利用されています。教育現場や学習教材作成の他、TOEIC®やTOEFL®をはじめとする様々な試験のレベル比較や企業での採用・研修の際にも役立てられています。

CASECスコアとCEFRレベルの対応づけ方法

  • スコアの対応づけは、欧州評議会が公開しているCEFRと他試験の対応付けマニュアル(Council of Europe, 2009)に基づいて行いました。手順は以下の通りです。
    • Familiarization(作業者が対応付けプロセスやCEFRについて学習・研究する)
    • Specification(CASECとCEFRの内容的な関連について調査を行う)
    • Standardization Training & Benchmarking(外部から評定者を集め、CEFRのレベル感覚を身につける研修を行う)
    • Standard Setting(実際のCASEC試験問題を見て、評定者がCEFRレベルづけとレベル境界を決める)
    • Validation(上記作業の分析と検証)
  • なお、Section 4は問題の形式上CEFRとの対応は難しいと判断し、現段階では対応づけをしていません。CEFRの考え方では、言語を使って実生活のどんなシチュエーションで何ができるかに基づいて習熟度を表します。それに対し、CASECのSection 4の問題は、短い文章の一部分が空欄になっており、読み上げられた音声を聞いて書きとるという形式で、具体情報の聞き取りができるかどうかを評価していますが、CEFRのように実生活のシチュエーションが設定されているわけではありません。

CASECスコアとCEFRレベルの対応結果

CASECスコアのCEFRレベル目安は以下の通りです。Section1~3は、スコアに対応するCEFRレベルの目安を示していますが、Section4は問題の形式上、CEFRとの対応づけは行っていません。

CASEC CEFR Level
Section1
語彙の知識
Section2
表現の知識
Section3
聴解(大意の把握)
195~250 225~250 225~250 B2以上 自立した
言語使用者
145~194 165~224 200~224 B1
75~144 85~164 145~199 A2 基礎段階の
言語使用者
0~74 0~84 0~144 A1以下

参考文献

TOEFL iBT®スコア目安について

算出方法

  • TOEFL iBT®スコア目安は、過去の受験者がCASEC受験時に任意で回答した受験者アンケートのうち、過去に取得したTOEFL®スコア (自己申告による)を集計し、その結果をもとに算出しています。
  • TOEFL iBT®のスコアは0~120点の範囲で算出されます。また、CASECのスコアは0~1000点の範囲で算出されます。

データ収集方法および分析対象者

  • CASECは、受験前に受験者に対して簡単なアンケート調査を行っています。2010年1月1日~2012年12月31日のCASEC受験者がCASEC受験時に任意で回答した受験者アンケートのうち、過去に取得したTOEFL®スコア(自己申告による)を集計し、CASEC Totalスコアとの関係を調べました。
  • 受験時アンケートでありえないTOEFL®スコアが申告された受験で得られたデータを分析から除外しています。
  • TOEFL ® PBTのスコアと思われるデータについては、ETSが公表したTOEFL Total Score Comparison Tableを元に、TOEFL iBT®スコアに変換しました。
  • CASECを複数回受験している受験者については、最新の結果のみを採用することにしました。
  • 最終的に、2,024件のデータをもとに分析を行いました

CASEC TotalスコアとTOEFL®自己申告自己申告スコアの散布図

下の散布図は、CASEC受験者のうち、受験時にTOEFL®スコアを申告した人を対象として、CASEC TotalスコアとTOEFL®自己申告スコアとの関係を表したものです。「CASECのスコア」を横軸に、「TOEFL®のスコア」を縦軸にとり、平面上に個人を「点」として表現しています。分析対象者個人を点として表し、全員の点を図に示したものが下の散布図です。下の散布図では、「CASECのスコア」が大きくなればなるほど「TOEFL®のスコア」も大きくなり、「正の相関」があることがわかります。
CASEC TotalスコアとTOEFL®自己申告スコアとの相関係数は、0.63で、「かなり相関がある」とされます。

CASEC Totalスコアのグループ別 TOEFL® 自己申告スコアの分布

CASEC Totalスコアをもとに、受験者を0~100, 101~200,..., 901~1000の10グループに分けました。グループ別のTOEFL®自己申告スコアの分布を示したのが下の「箱ひげ図」です。例えば、CASEC Totalスコア801~900のグループでは、50%の人がTOEFL iBT®のスコアはおよそ80~120点であったと自己申告したことが分かります。
下の図からCASECのスコアが高いグループほどTOEFL®自己申告スコアが高い傾向にあることがわかります。

※現在、CASECマイページのスコア履歴ではTOEFL PBT®のスコア目安を表示しており、TOEFL iBT®のスコア目安は表示しておりません。

論文/IRT、CATに関する著書

論文

英語能力測定における CAT の適応例と効果測定

著者名:林規生
雑誌名:計測と制御
出版事項:巻号 40(8) / ページ 572-575 / 出版年 20010810

Practical use of computerized adaptive testing in Japan -Development and operation of “CASEC” -

発表者名:N. Hayashi, Y. Nogami, K. Maeda, H. Ikeda
学会名:ICP-2004 at Beijing, China. August 13th, 2004

IRT及びCATに関する著書