Download as pdf or txt
Download as pdf or txt
You are on page 1of 28

JASELE2022 8⽉6⽇ 14室 10:40‐

⽇本の英語教育の学術的トレンド
―テキストマイニングによる⾃由研究発表要旨の分析―

寺沢拓敬
関⻄学院⼤学(在外研究中@University of British Columbia)
連絡先︓https://terasawat.jimdo.com/

研究概要 近年、英語教育の学術的トレンドを検討する学会誌分析(所収論⽂の量的・質的分析)が隆盛しつつある。こうした研究の意
義は⼤きいが、⽅法論的に次のような限界がある。(1)カバレッジの問題。学会誌の分析は、査読トレンドの分析と同義であり、英語教育学
全体のトレンドとずれている恐れがある(査読に通りやすいジャンルに偏る可能性があるため)。(2)データサイズの問題。学会誌分析が検
討する論⽂の数は、⼆桁から多くても数百前後であり、各ジャンル・各テーマを細かく⾒ていく分析には不向きである。本研究では、以上の問
題点を、学会⼤会の⾃由研究発表を分析対象とすることで解決する。具体的には、過去の⼀定期間の発表要旨をデータとして、テキストマイニ
ングを⾏う。探索的な分析をもとに英語教育学の概略図を⽰し、その上で、先⾏研究の知⾒との共通点・相違点を議論したい。

1
0. 着想に⾄った経緯
• 某国際ジャーナルでの特集︓ Critical Review of Language Teaching
Research in Japan
• 過去の論⽂を⾒ると、カバレッジに対する配慮が緩い印象。と
くに英⽂論⽂しか精査していないものなど。
• ⽇本の英語教育研究の全体像が(とくに英語圏では)検討され
ていない
• 現状では、⽇本の(教育機関で働いている)英語教育(の⼀分野を)研究(している⼈による主観ベース)の全体像︖

2
1.問題の所在
学術的トレンドの量的内容分析(※)
• 寺沢 (2010), Mizumoto et al. (2014), 本⽥ほか (2020), Honda et al. (2018), 深澤 (2020)
• 共通項︓特定の学会誌、解釈的コーディング
課題
• 学会誌というカバレッジ︓査読トレンドの分析︖コップの中の嵐︖
• データサイズ︓論⽂数はせいぜい2桁〜数百
対案
• 学会誌よりも、(事実上の査読なし)学会発表(⾃由研究発表)

※ なお、学会誌分析を、システマティック(系統的)レビュー(SR)と呼ぶべきではないと考えられる。SRにおける系統性は、
(1) ⽂献の系統的な収集(収集に関するプロトコルの設定)と、(2) 各研究結果の系統的な統合という2つの意味を持つが、学
会誌分析はほぼ常に前者を⾏っておらず(なぜなら検討対象=特定の学会誌は所与の前提のため)、後者も限定的にしか
⾏っていない場合が多いため(特定のコードの出現率を算出することを「統合」とは呼ばない)。
3
1.1. 膨⼤な量のテキストを分析する問題

正確 発⾒ 現実的な
分析時間
正確性 vs. 発⾒性 vs. 分析時間というトリレンマ ⼤雑把な解釈的コーディング。印象批評的なレ × ○ ○
• 分析業務が⻑期におよび、解釈にブレ ビュー

• ブレ低減のため無難なコーディング→発⾒性が犠牲に
無難な枠組みをもとに、決め打ち的にコードを ○ × ○
割り振る。コーディングは計1‐2回程度
• 探索的な発⾒を重視→正確性が犠牲に 探索的に⽂献を解釈しながらコードを帰納的に ○ ○ ×
⽴ち上げる。それに応じてコーディングを多数
回実施。

テキストマイニング △ △ ○

対案︓テキストマイニング(瀧川, 2019)
• 正確性︓⽣起する単語をベースにするので客観的。仮説⽣成→検証が⾮常に容易
• 発⾒性︓探索的な分析が可能。
• 分析時間︓⾮現実的な分析量にはならない

4
1.2. 先駆的な先⾏研究︓瀧川 (2019)
• 『社会学評論』(⽇本社会学会の学会誌)65年分の論⽂の本⽂(OCR化)をテキ
ストマイニング
• 構造的トピックモデルおよび頻度分析

5
1.3. (構造的)トピックモデル
• ⽂書内の単語の共起情報を利⽤して、⽂書の背後にあって各単
語を確率的に⽣起させているトピックを推定する⼿法(佐藤,
2015; ⽯⽥ 2020: 3章)
• 単語図⽰型のテキストマイニングと違い、⽐較的少数のトピッ
クに縮減可能
• 「1⽂書=1トピック」ではなく、複数のトピックが重複可

6
2. 分析対象
データ
• 全国英語教育学会年次⼤会の発表概要(数百字/1件)
• 2004, 2010‐2017, 2019, 2021年の計11回分(抜けている年次は⼊⼿できず)
• ⾃由研究発表(実践・事例報告を含む)を対象
• 計2,323件の発表
• ⽇本語を解析(約1割を占める英語発表は、DeepL翻訳を⽤いて⽇本語に完全⾃動変
換)
• 解析対象は、「発表題⽬+要旨」を統合したもの

統計分析 R.4.2.0
• 形態素解析 {RMeCab}
• 構造的トピックモデル {stm}

7
3.分析結果

8
3.1. 分析⽅針
探索的・解釈的な分析
• トピック数は60を設定(瀧川 (2019) も K = 60)
注) トピック数の⽬安を得るプログラム [stm::searchK()] を使ったところ、5個前後
が最適と出るが、⼤雑把すぎて解釈可能性が低かった

stm::prepDocuments( … lower.thresh = 3, upper.thresh = 5000)


stm::stm( … K = 60, init.type ="Spectral")

9
3.2. 推定結果 Topics 1‐3
• 各トピックを特徴づける単語(FREX︓他と⽐較して当該トピック
に特に出現する単語)の上位7つ
• Topic 1︓プロジェクト 協 学び 働 主体 リフレクション 振り返る
• Topic 2︓プレゼンテーション 論理 ⼤会 コンテスト 要旨 論⽂ 発信 スピーチ
• Topic 3︓肢 リスニング 多 選択肢 ディクテーション 錯乱 スペリング

• 実際の⽂書の記述を考慮して、解釈的にラベル付与
• Topic 1 「協働学習・リフレクション」
• Topic 2 「フォーマルスピーチ」
• Topic 3 「テスティング︓出題形式」
(※頻出語を⼀⾒すると「リスニング」であるが、実際の⽂脈を⾒ると、リスニング指導を論じた研究はなく、リスニングテストを含むテストの出題形式の影響に関する研究
が適切である)

10
3.3. 全60トピック
#55.....「〜の影響」(因果デザイン) #11.....コードスイッチング #60.....動機づけb︓⾮動機づけ
#50.....「プログラム」(留学と辞書が混在) #44.....国際交流プログラム #24.....読解a︓推論
#33.....CAN‐DO #22.....指導事例・授業改善の報告 #34.....読解b︓認知⼼理学
#59.....CEFR #07.....指導法a︓全般 #48.....読解c︓概要的理解
#29.....ESP・ニーズ #35.....指導法b︓⽐較デザイン研究 #58.....読解d︓ストラテジー
#37.....FonF/PPP #40.....社会⽂化⽐較全般 #31.....⽇本語⺟語話者の中間⾔語
#43.....L2処理・L2能⼒ #54.....シャドーイング #09.....発⾳表記論
#46.....誤り訂正 #18.....ジャンク1 #06.....評価⼿法︓パフォーマンス評価・⾃動採点
#16.....⾳韻 #36.....ジャンク2 #47.....品詞
#32.....⾳読 #25.....上位群 vs. 下位群⽐較分析 #38.....不安
#26.....学習⽅略 #14.....⼩学校英語a︓⼩中連携 #02.....フォーマルスピーチ
#15.....冠詞・名詞 #51.....⼩学校英語b︓担任による指導 #53.....⽂学教材
#17.....教員養成・研修 #05.....スピーキング活動 #49.....⽂法指導(特定の⽂法事項に注⽬)
#52.....教科書︓本⽂の質的・量的分析 #27.....⼤学⽣対象の指導パッケージ #56.....⽂法習得(明⽰/暗⽰知識等)
#08.....教師の成⻑ #13.....⼤規模試験(⼤学⼊試・英検) #30.....未知語・既知語の意味推測
#01.....協働・リフレクション #28.....⼤規模質問紙調査 #42.....訳(通訳・翻訳・和訳・英訳)
#39.....語・⽂の認知的処理 #41.....タスク #57.....ライティング訂正
#04.....語彙a︓コーパス分析 #20.....多読 #23.....流暢性
#19.....語彙b︓学習タイミング・提⽰法 #03.....テスティング︓出題形式
#45.....語彙c︓意図的・付随的学習 #10.....テスト開発・妥当性検証
#21.....構⽂・⽂型 #12.....動機づけa︓理論志向
11
3.3. 時代的トレンドが有意だったもの

上昇(経年増加) 下降(経年現象)
• #33 CAN‐DO • #54 シャドーイング
• #59 CEFR • #10 テスト開発・妥当性検証
• #01 協働・リフレクション • #04 語彙a︓コーパス分析
• #28 ⼤規模質問紙調査 • #21 構⽂・⽂型
• #12 動機づけa︓理論志向 • #23 流暢性
• #48 読解c︓概要的理解 • #36 ジャンク2

※時代的トレンド︓ p(Topici) ~ Year (線形回帰、学会年の1次項のみ)


12
4. 推定結果から⾒る課題
納得がいく推定結果だが、発⾒性は低い。
• 分析するまでもなく⾃明のことを洗練された形で⾒せただけの「テキストマイニングあるある」

解決案1: 分布の正確な推定
• どういうテーマが多いか/少ないかを明らかにする
• トピックモデルでは、推定⽅法(例、仮定するトピック数)で結果が⼤きく変わり得るので、頑強性の⾼い⽅法(例、
単語の数え上げ)を使ったほうが無難 → 古典的内容分析
• テーマ分類は、データから帰納的に推定するより、既存の体系(英語教育学の概説書など)を利⽤するのが無難
解決案2: 時代的トレンド
• Year項による説明⼒
• 直感が容易に働く10年程度だと実りが薄い。少なくとも数⼗年のスパンが必要
解決案3: ⽐較の視点(新たな変数の追加)
• (a) 国内ELT学会(e.g. CELES, KATE, JACET, JALT) → コップの中の嵐のリスクあり︖
• (b) 国外ELT学会(e.g. TESOL Assoc., AsiaTEFL)→⽇本的トレンドの推定
• (c) 他⾔語の学会(e.g. ⽇本語教育)→ 「⾔語教育」内部の変異の推定
• (d) 他教科の学会 → 「教育研究」内部の変異の推定

13
4.1. 演繹的な古典的内容分析(簡易版)
• 特定の単語にターゲットを絞る
• 注︓現状では、キーワード集のようなものはないので、完全に演繹的にはやりき
れない。勘で特定のキーワードを設定

• (クロス)集計
• 出現頻度の定義
• 1つの⽂書(i.e. 1つの⼝頭発表)に 1回以上 出現した場合 = 1
• それ以外 = 0

14
Logistic regression coef.

0.00
0.05
0.10
0.15

-0.15
-0.10
-0.05
コース
計画
教授
動詞
側面
測定

観察
利用
及ぼす
中心
文法
探る

減少
作文

見る
種類
テスト
比較
重要
日本人
結果
教育
English
得る
学ぶ
(ロジスティック回帰)


年度
高める
発表
動機
議論
JASELE 2010-2021: 有意に増加/減少した語

be
モデル
増加

づける
求める
this
状況
話す
技能
活用
15

オンライン
思考
四技能別
書く

10

読む

話す
Percentage

ラ イ テ ィン グ

ラ イ テ ィン グ
書く
5 リ ス ニ話
ンすグ

リ ー デ ィン グ スー

聞 |聴ィキン
ピくデ
ー くンググ

リスニング
ス ピ ー キ読
ングむ

聞 く |聴 く

2004 2010 2011 2012 2013 2014 2015 2016 2017 2019 2021 16
三要素
語彙

20

15 語彙
Percentage

文法
文法
10

発音

発音

2004 2010 2011 2012 2013 2014 2015 2016 2017 2019 2021 17
学校種別
45

40 大学

35

30
Percentage

25 大学
大学生

20 校 |高 等 学 校
高 校 |高 等 学
15 大学生 小学校

中学校
10 中学校 中学生
高学
小 校校
生 高校生
中学生
5
小学生
0 小学生

2004 2010 2011 2012 2013 2014 2015 2016 2017 2019 2021 18
動機づけ
動機

10

動 機 付 け |動 機 づ け
Percentage

動 機 づけ
動機

動 機 付 け |動 機 づ け

動 機 づけ

動機付け
動機付け

0
2004 2010 2011 2012 2013 2014 2015 2016 2017 2019 2021

19
メソドロジー別
15

実験
10 実験 アンケート
Percentage

質問紙

アンケート

5 コーパス
質問紙 インタビュ
インタビュ
コーパス

0 エスノグラフ エスノグラフ

2004 2010 2011 2012 2013 2014 2015 2016 2017 2019 2021
20
流⾏りの acronym 別

5
Percentage

CLIL

CEFR

SLA

0 CEFR
TBLT
CLIL
SLA TBLT

2004 2010 2011 2012 2013 2014 2015 2016 2017 2019 2021
21
4.2. AsiaTEFL との⽐較
• AsiaTEFL年次⼤会(2017年, 2020年)の Program Book 利⽤(数百
後の発表要旨)。⾃由研究発表を対象。(他の年次は⼊⼿でき
ず…)
• それぞれ、 n = 720, n = 284.
• すべてDeepL Pro で⽇本語に(完全⾃動)翻訳

22
Top Topics

Topic 5: エンジニア, EMI, Specific


Topic 10: 実習, 新任, 現職
Topic 8: Extensive, 多読, 楽しむ
Topic 14: ネガティブ, 発, Deci
Topic 19: ELP, CLIL, 国民
Topic 17: マルチメディア, 通信, Kahoot
Topic 6: DDL, トップダウン, 神経
Topic 2: 和, 合致, オーストラリア
Topic 1: 開催, 助成, 原稿
Topic 16: フィードバック, 処置, 訂正
Estimated Topic 7: 母音, 音韻, 音素
topics Topic 11: リスニング, リスナー, TOEIC
Topic 12: Vocabulary, 語義, 語彙
Topic 9: 読解, リーディングストラテジー, 推論
Topic 4: 副詞, 前置詞, 名詞
Topic 18: テキスト, アウトライン, マップ
Topic 13: 修辞, www, 原文
Topic 3: モデリング, スピーキングタスク, 自己
Topic 15: 沈黙, トランスランゲージング, 行為
Topic 20: 誤用, 分詞, 節

0.00 0.05 0.10 0.15

Expected Topic Proportions 23


Topic 20: AsiaTEFL
AsiaTEFL vs. JASELE 誤用, 分詞, 節, 受動態, 接続詞, 用法, 動詞, 語句 JASELE
Topic 4:
出現率に有意な差があったトピック 副詞, 前置詞, 名詞, ファー, 比喩, 抽象, 連語, 句
Topic 12:
Vocabulary, 語義, 語彙, 単語, 英単語, コロケーション, 訳語, 辞書
Topic 9:
読解, リーディングストラテジー, 推論, 発問, イベント, ストラテジー, 出来事, 読
Topic 11:
リスニング, リスナー, TOEIC, テスト, TOEFL, スピーキングテスト, セクション, Test
JASELE
Topic 2:
和, 合致, オーストラリア, 省, 国々, 施行, 国語, 小学校 ↑
Topic 16: ↓
フィードバック, 処置, 訂正, CF, プレ, Feedback, 書面, ポスト
AsiaTEFL
Topic 19:
ELP, CLIL, 国民, 労働, 史, 地球, 市民, 動向
Topic 17:
※ JASELEデータは2010年以降のみ マルチメディア, 通信, Kahoot, スマート, ガ, ジェット, ICT, MALL
Topic 5:
stm::prepDocuments( … エンジニア, EMI, Specific, ボランティア, 文学部, 飛躍, 大学院, 急務
lower.thresh = 5, Topic 10:
実習, 新任, 現職, 初任, CF, リフレクティブ・プラクティス, 教職, Borg
upper.thresh = 7000)
stm::stm( …
K = 20, 0.00 0.02 0.04 0.06 0.08 0.10
init.type ="Spectral")
Regression coef.
24
←AsiaTEFL JASELE→
0.8 英語
研究
結果 学習

教育 行う られる
0.4 できる 言語 調査
学生 授業 分析
目的
生徒 使用 用いる 明らか 指導
頻出語の出現頻度︓ 教師 データ 実施 語 対象
能力 せる 効果 発表
学会による違い 必要 示す大学 理解 影響 活動
実践 課題
重要 向上 与える
mean_of_prob

0.2 得る 問題 可能 考える
教室 参加 開発 評価 基づく 内容
EFL 持つ知識検討 示唆 テスト 見る 報告
アンケート
コミュニケーション 焦点 外国 くる 検証
インタビュー 異なる
活用 作成 考察 大学生
論文 わかる レベル 高い 語彙
経験 関連 日本人
認識 教材 学ぶ 利用学校
ない 習得 意味
教員 and
比較
インドネシア プロセス文脈
スキル 社会 説明グループ使う 自己 目標
学 書く 有意
情報意識 変化
質問特徴 文法 多い
0.1 文化
プログラム
専門
ライティング 理論型 認知 実験
日本
クラス 要因
構造モデル 表現 読解 中学校
テキスト English 小学校
読むof 項目
タスク 高校 動機 to
教科書 in 英文
フィードバック 音声 for The the
0.05 リスニング 単語 群 that
処理 on
発音
is
students

-0.5 -0.4 -0.3 -0.2 -0.1 0.0 0.1 0.2

diff of prob 25
5. お願い
広く研究協⼒者(広義)を募集しますので、お気軽にご連絡ください。
• 共同研究・共著者(某ジャーナル)
• 共同研究者(英語教育研究の学術的トレンドの分析全般)
• 意⾒交換
• 似たテーマ・似たアプローチを独⽴して検討
要旨集データを保存されている⽅、譲ってくれませんか…。
• JASELE: 2018年⼤会、および2009年以前の⼤会が missing(ウェブ
サイトにもなし)
• AsiaTEFL: 2017・2020以外すべての⼤会が missing
• その他、有⼒⼤会、TESOL Assoc., JACET, JALT, KATE, CELES 等々

26
謝辞
• ⽂書データの収集に際し、浦野研⽒・名畑⽬真吾⽒にご協⼒頂
きました。感謝いたします。

27
6.引⽤⽂献
• Mizumoto, A., Urano, K., & Maeda, K. (2014). A Systematic Review of Published Articles in ARELE 1‐24: Focusing on Their Themes,
Methods, and Outcomes. ARELE, 25, 33‐48.
• Honda, K., Hoshika, M., Aoyama, T., Someya, F., & YAMAMOTO, T. (2018). A Systematic Review of Articles in KATE 1–
31 Changing Trends in the Field of English Education. KATE Journal, 32, 85-98.

• ⽯⽥基広 (2020) 『実践 Rによるテキストマイニング』森北出版


• 佐藤⼀誠 (2015) 『トピックモデルによる統計的潜在意味解析』コロナ社
• 瀧川裕貴. (2019). 「戦後⽇本社会学のトピックダイナミクス」『理論と⽅法』34(2), 238‐261.
• 寺沢拓敬 (2010).「教育研究としての『外国語教育学』」 駒場⾔葉研究会・課題提起会 2010年6⽉26⽇
https://terasawat.hatenablog.jp/entry/20101102/1288721439
• 深澤清治. (2020). 『中国地区英語教育学会研究紀要』 第 1-49 号掲載論⽂における研究テーマ, 研究⽅法, 研究場⾯の系
統的レビュー. 中国地区英語教育学会誌, 50, 129-138.
• 本⽥勝久, ⽥所貴⼤, 星加真実, & 染⾕藤重. (2020). ⼩学校英語における研究動向―JES Journal のシステマティックレ
ビュー―. ⼩学校英語教育学会誌, 20(01), 351-366.

28

You might also like