【第４回】⼈材開発活動に必要なテストの作成⽅法と考え⽅・すすめ⽅
第４回 テストの妥当性と信頼性
今回は、原点に戻って、そもそも良いテストとはどういうものかについて考えたいと思います。
キーワードは「妥当性」と「信頼性」です。
１．新しい「テストの妥当性」の考え⽅
妥当性（validity）とは、そのテストが、『測定しようと考えている特性』を的確に捉えているかどうかを⽰したものです。テストの観点からは、測定⽤具が適切に設計され、適切に使⽤されているかを表しています。
例えば、⾝⻑（という特性）を測定したいときに体重計（測定⽤具）を使⽤したとしたらどうでしょう？
体重計が60を⽰していた場合に、その値を⾝⻑の指標にするということです。前提として⾝⻑を測定したいのですから、これは妥当だとは⾔えません。このように適切な⽤具を適切に使⽤することが妥当性を考える根幹にあります。
伝統的な妥当性の考え⽅として、以下の３つがあります。
例えば、⾝⻑（という特性）を測定したいときに体重計（測定⽤具）を使⽤したとしたらどうでしょう？
体重計が60を⽰していた場合に、その値を⾝⻑の指標にするということです。前提として⾝⻑を測定したいのですから、これは妥当だとは⾔えません。このように適切な⽤具を適切に使⽤することが妥当性を考える根幹にあります。
伝統的な妥当性の考え⽅として、以下の３つがあります。
| 種類 | 内容 |
|---|---|
| （１）内容的妥当性 | 専門家によって判断される項目の適切性のこと。 |
| （２）基準関連妥当性 | 尺度と関連性が強いと考えられる外的基準との相関によって評価される妥当性のこと。 |
| （３）構成概念妥当性 | 尺度得点の⾼低が、構成概念の強弱を⽀持しているかどうかを表す指標のこと。 |
これら３つの妥当性は、それぞれ並列的な位置づけで捉えられていました。
つまり、内容的妥当性も基準関連妥当性も、「妥当性」という１つの⼤きな統合体の「側⾯」を表しているのだという考え⽅です。
この考えに従うと、これまで報告されてきた妥当性は、様々な「側⾯」から⾒た「証拠」であると⾔えます。
したがって、妥当性を⽰す１つの証拠が確認されたからといって、妥当性の検証は終わりではありません。⻑い時間をかけて、いくつもの証拠を集め続け、妥当性の⾼さを証明し続けていく不断の努⼒が重要なのです。
さて、妥当性の証拠集めのための「側⾯」ですが、メシック（Messick、1995)は以下の６つを挙げています。
| 側面 | 証拠の内容 |
|---|---|
| （１）内容的側⾯ | 項目の内容が測りたい特性に対応しているか？⼗分に代表しているか？ |
| （２）本質的側⾯ | 項目への反応が何らかの理論に基づいて説明できるか？ |
| （３）構造的側⾯ | 得点の構造が特性の下位概念や次元性などの理論的構造に⼀致しているか？ |
| （４）⼀般化可能性の側⾯ | ある特定の測定条件においてだけでなく、他の集団や実施場⾯、実施時期などに対しても不変であるか？ |
| （５）外的側面 | 他の変数との間に想定される相関が⽰されるか？ |
| （６）結果的側⾯ | テストを使⽤した結果として⽣じた事態によって⽰される証拠。社会的インパクト。 |
妥当性の証拠集めは、上記の６つをすべて満たすのが理想的ですが、最初から多くの証拠を満たしたテストを作成するのは不可能です。特に「（６）結果的側⾯」は、テストを運⽤した結果によってはじめて⽰されるものであり、テスト作成時に⽰すことは原理的にできません。
妥当性の検証とは、テストを使⽤することで明らかとなっていく証拠を、順番に積み重ねていくプロセスそのものなのです。テストの作成者は、このことを念頭に置いた上で妥当性の検証を進めていく必要があるでしょう。
妥当性の検証とは、テストを使⽤することで明らかとなっていく証拠を、順番に積み重ねていくプロセスそのものなのです。テストの作成者は、このことを念頭に置いた上で妥当性の検証を進めていく必要があるでしょう。
２．信頼性と妥当性は両⽴するのか？
第２回目のコラムで、テストを設計・運⽤するための背景理論として古典的テストモデルを紹介しました。古典的テストモデルは、項目得点のときと同様に、テスト得点（項目得点の総和）の場合も以下のように表現されます。
このようにテスト得点には必ず誤差が含まれます。
ここから、テスト得点に対する誤差の混⼊が少ない場合に、そのテストは信頼がおけると考えることができます。逆に⾔うと、テスト得点に対して真の得点の割合が⼤きくなる場合に、そのテストの信頼性（reliability）は⾼くなるということです。
詳しくは後述しますが、テストの信頼性を⽰す指標としてよく使われるものに「信頼性係数」があります（ちなみに、メシックの妥当性の各側⾯の内、「（４）⼀般化可能性の側⾯」の証拠の⼀つとして信頼性係数は位置づけられます）。信頼性係数は各種提案されていますが、中でもよく使われるα（アルファ）係数やω（オメガ）係数は内的整合性の指標と呼ばれています。
内的整合性とは「項目がすべて⼀貫して同じ特性を測定している度合い」のことです。
したがって、似たような項目を集めれば内的整合性は⾼まります（図１（ａ）を参照）。しかしこの場合、測定したい特性（概念）の１部分しか測定できていないという⽋点があります。
ここから、テスト得点に対する誤差の混⼊が少ない場合に、そのテストは信頼がおけると考えることができます。逆に⾔うと、テスト得点に対して真の得点の割合が⼤きくなる場合に、そのテストの信頼性（reliability）は⾼くなるということです。
詳しくは後述しますが、テストの信頼性を⽰す指標としてよく使われるものに「信頼性係数」があります（ちなみに、メシックの妥当性の各側⾯の内、「（４）⼀般化可能性の側⾯」の証拠の⼀つとして信頼性係数は位置づけられます）。信頼性係数は各種提案されていますが、中でもよく使われるα（アルファ）係数やω（オメガ）係数は内的整合性の指標と呼ばれています。
内的整合性とは「項目がすべて⼀貫して同じ特性を測定している度合い」のことです。
したがって、似たような項目を集めれば内的整合性は⾼まります（図１（ａ）を参照）。しかしこの場合、測定したい特性（概念）の１部分しか測定できていないという⽋点があります。
⼀⽅、測ろうとしている特性には⼀定の概念幅（帯域幅）があるのが普通であり、妥当性の観点から、理想的にはそのすべてをカバーできるような項目群を作成するのが望ましいです。しかしそうすると、⾊々な観点から項目を作成することになり、内的整合性（忠実度）は下がってしまいます（図１（ｂ）を参照）。
このように信頼性を⾼めようとすれば妥当性が犠牲になり、妥当性を⾼めようとすれば信頼性が犠牲になってしまいます。このような問題のことをクロンバック（Cronbach）は「帯域幅と忠実度のジレンマ（bandwidth-fidelity dilemma）」と呼びました。
⼀般的に、「テストを作成するときには信頼性と妥当性を⼗分確保することが望ましい」と説明されますが、現実的にはこの双⽅を同時に満たすことは困難です。このことは、実際に有⽤なテストを作成するということがいかに難しいかを物語っています。
⼀般的に、「テストを作成するときには信頼性と妥当性を⼗分確保することが望ましい」と説明されますが、現実的にはこの双⽅を同時に満たすことは困難です。このことは、実際に有⽤なテストを作成するということがいかに難しいかを物語っています。
３．信頼性係数の算出⽅法
前項で、テスト得点に対して真の得点の割合が⼤きくなる場合に、そのテストの信頼性は⾼くなるというお話をしました。そこで、この「信頼の⾼さ」を指標化するために各得点の「バラツキの⽐」なるものを考えてみましょう。
つまり下記の式のようになります。
つまり下記の式のようになります。
テスト得点は被験者間で単⼀の値を取ることはなく、必ずある程度はばらつきます。
そしてそのバラツキを、「どの程度、真の得点によってばらついているか？」で説明したのが(２)式です。誤差が⼩さければ(２)式は⼤きな値となります。
そしてそのバラツキを、「どの程度、真の得点によってばらついているか？」で説明したのが(２)式です。誤差が⼩さければ(２)式は⼤きな値となります。
では、最⼤でどのくらい⼤きな値を取るでしょうか？
例えば、誤差が0、すなわちテスト得点のバラツキはすべて真の得点によるバラツキのみで説明できると仮定します。その場合、「真の得点のバラツキ ＝ テスト得点のバラツキ」となりますので、(２)式は1となります。
逆にテスト得点が完全に誤差のみで決定されるような場合は、真の得点のバラツキは0となりますので、(２)式は0になります。ここから(２)式は0〜1までの値を取り、1に近いほど信頼性の⾼いテストだと考えることができるでしょう。
そこで、この(２)式をテストの信頼性の指標として採⽤し、信頼性係数ρと名付けます（ρはギリシャ⽂字で「ロー」と読みます）。
例えば、誤差が0、すなわちテスト得点のバラツキはすべて真の得点によるバラツキのみで説明できると仮定します。その場合、「真の得点のバラツキ ＝ テスト得点のバラツキ」となりますので、(２)式は1となります。
逆にテスト得点が完全に誤差のみで決定されるような場合は、真の得点のバラツキは0となりますので、(２)式は0になります。ここから(２)式は0〜1までの値を取り、1に近いほど信頼性の⾼いテストだと考えることができるでしょう。
そこで、この(２)式をテストの信頼性の指標として採⽤し、信頼性係数ρと名付けます（ρはギリシャ⽂字で「ロー」と読みます）。
３．１ 同族測定とタウ等化測定
さて、第２回目のコラムでは、テスト得点ではなく５つの項目得点で、(１)式の古典的テストモデルを構成しました。それを以下に再掲します。
上記のような仮定のとき、「項目は互いに同族測定である」といいます。
この同族測定に、さらにもう１つ、以下のような「仮定」を付け加えます。
この同族測定に、さらにもう１つ、以下のような「仮定」を付け加えます。
上記の仮定は、「真の得点をその平均値で調整した場合、すべての項目は同じ真の値を測っている」という意味です。このとき、「項目は互いにタウ等化測定である」といいます。
（この仮定は直感的に非常に理解しにくいと思います。しかしここでは、この仮定が「なぜ必要なのか？」と考えるのではなく、「そういうものだ」と納得することをオススメします。）
（この仮定は直感的に非常に理解しにくいと思います。しかしここでは、この仮定が「なぜ必要なのか？」と考えるのではなく、「そういうものだ」と納得することをオススメします。）
３．２ α信頼性係数の算出⽅法
タウ等化測定のもとでは仮定４が追加されました。
仮定４は「真の得点の偏差が項目間ですべて等しい」というものですが、偏差が等しければ当然項目間でバラツキ（分散）も等しくなります。つまり、仮定４は以下と同等です。
仮定４は「真の得点の偏差が項目間ですべて等しい」というものですが、偏差が等しければ当然項目間でバラツキ（分散）も等しくなります。つまり、仮定４は以下と同等です。
このような仮定の下でテスト全体（5項目間）のバラツキを求めると、「25×ある項目１つ分のバラツキ」となります。
ここで「25という数字はどこから出てきたのか？」と思われる⽅がいるかもしれません。あるいは「5項目なのだから『5×ある項目１つ分のバラツキ』でよいのではないか？」と思った⼈もいるでしょう。
しかし、以下のような表で考えるとなぜ25なのかがわかります。
ここで「25という数字はどこから出てきたのか？」と思われる⽅がいるかもしれません。あるいは「5項目なのだから『5×ある項目１つ分のバラツキ』でよいのではないか？」と思った⼈もいるでしょう。
しかし、以下のような表で考えるとなぜ25なのかがわかります。
表１ 項目間の（平均調整後の真の得点の）バラツキ
| 項目１ | 項目２ | 項目３ | 項目４ | 項目５ | |
|---|---|---|---|---|---|
| 項目１ | a | f | k | p | u |
| 項目２ | b | g | l | q | v |
| 項目３ | c | h | m | r | w |
| 項目４ | d | i | n | s | x |
| 項目５ | e | j | o | t | y |
つまりここで⾔う「バラツキ」とは、項目単体のバラツキ（表１のa・g・m・s・y）だけではなく、項目１と項目２（表１のb）、項目１と項目３（表１のｃ）………のように、異なる２項目による共分散※（表１の非対角要素）も含めているのです。そして仮定４ʼとは、「表1のa〜yまでがすべて等しい」ということを意味しています。
⼀般に項目数がN個のときはＮ2個のバラツキがすべて等しくなります。したがって、信頼性係数を求める (３)式は以下のように再表現されます。
⼀般に項目数がN個のときはＮ2個のバラツキがすべて等しくなります。したがって、信頼性係数を求める (３)式は以下のように再表現されます。
このようにして、タウ等化測定のもとで計算された信頼性係数のことを「クロンバックのα係数」と呼びます。
α係数は、現在、⾊々なテストを作成するときに、その信頼性の指標として多⽤されますが、このように仮定４という直感的には不⾃然な仮定を前提としています。
そこで「この不⾃然な仮定４を緩和し、同族測定のもとで信頼性係数を構成できないか？」という動きが出てきました。つまり、直感的に理解が容易な仮定１〜仮定３のみで信頼性係数を構成するということです。そこでもう⼀度、古典的テストモデルに⽴ち返ります。
α係数は、現在、⾊々なテストを作成するときに、その信頼性の指標として多⽤されますが、このように仮定４という直感的には不⾃然な仮定を前提としています。
そこで「この不⾃然な仮定４を緩和し、同族測定のもとで信頼性係数を構成できないか？」という動きが出てきました。つまり、直感的に理解が容易な仮定１〜仮定３のみで信頼性係数を構成するということです。そこでもう⼀度、古典的テストモデルに⽴ち返ります。
※ 共分散とは、項目１と項目２のような２組の対応するデータにおいて、偏差（平均との差）の積を算出し、データ数で割ったもの。
例えば、Ａさん～Ｊさんの10⼈が数学と物理のテストを受けたとします。このとき数学と物理の共分散は以下のようになります。
表１のように対角要素にはその項目の分散を、非対角要素に２つの項目の共分散を並べた表のことを、「分散共分散⾏列」と⾔い、データの散らばり具合を表すものとしてよく使われています。
ω信頼性係数の算出⽅法
古典的テストモデルでは、項目得点は真の得点と誤差との和で表現されました。
したがって、バラツキも以下のように分解されます。
したがって、バラツキも以下のように分解されます。
テスト得点は項目得点の総和なので、(６)式をさらに以下のように表現します。
(７)式を少し調整し、
これを(３)式に代⼊して、信頼性係数を再定義します。
このようにして定義された(９)式のことを「マクドナルドのω係数」といいます（ωはギリシャ⽂字でオメガと読みます）。
ω係数は直感的に⾃然（理解が容易）な仮定（同族測定における仮定１〜３）のみで計算されていますので、理論的にもα係数より正確だと考えられます。因⼦分析を使ってテストを設計したときは、α係数だけではなく、ω係数も報告するようにしましょう。
ω係数は直感的に⾃然（理解が容易）な仮定（同族測定における仮定１〜３）のみで計算されていますので、理論的にもα係数より正確だと考えられます。因⼦分析を使ってテストを設計したときは、α係数だけではなく、ω係数も報告するようにしましょう。
今回は、古典的テスト理論の観点から、作成したテストの信頼性と妥当性について解説しました。
そして信頼性と妥当性の２つを同時に確保したテストを作成することがいかに難しいかということを考察しました。
次回は、古典的テスト理論の限界と、それを克服するために考案された最新のテスト理論について解説します。
（担当 ： 経営管理研究所 福中 公輔）