英語の発音のトレーニング方法にシャドーイングと呼ばれる方法があります[シャドーイング – Wikipedia]。シャドーイングには幾つかの手法があり、第二言語の習得に効果のある方法だとされています。
その一方で、日本人が英語の発音を良くするにはネイティブの顔・口・舌・喉などの筋肉の動かし方をマスターする必要がある、という考え方があります[英語舌のつくり方 ――じつはネイティブはこう発音していた!]。
こちらのWebの記事[複数の言語をマスターするコツは「別の人格」を演じること]もそうした学習方法のあり方を示唆しています。私自身も英語の個人レッスンを受けていた時に、先生の口や唇の動きを真似るようにと良く言われました。
しかし、人種が違うと顔の骨格や唇の形もだいぶ違うために、自分がそうした動きをしている様子をイメージすることが難しい、という問題がありました。
そこで、画像処理を使ってネイティブスピーカーの顔の動きを検出し、その動きで自分の顔を動かすことが出来れば、発音が良くなった状態の自分をイメージしやすくなるのではないか？と考えました。
そうした顔を中間顔と名付け、openFrameworksを使ってシステムを実装し、単にネイティブスピーカーが話す動画を用いたシャドーイングと、提案する仮想的な自身の将来像も併用するシャドーイングとで、発音が良くなっているかどうかを比較する、という研究を行いました。下の図がシステムの画面です。左が学習者、右がネイティブスピーカー、真ん中が中間顔です。
Futuroid#1:Intermediate Face
3月にAugmented Humanという国際会議に論文が採択されて口頭発表を行い、4月には日刊工業新聞に取り上げていただきました。
[語学力習得で表情手本に－慶大、英会話教師の話す表情をリアルタイムに生徒の顔に合成]
カメラやセンサを使って上級者の動きを計測し、それを学習者の特徴に合わせて仮想的な将来像を作るシステムのことを私たちは「Futuroid」と名付けました。
大阪大学の石黒浩教授らが構築しているジェミノイド(Geminoid)は人間に酷似した外見を持つアンドロイドです。この”ジェミノイド(Geminoid)”という言葉は「双子」を意味する「ジェミニ(Gemini)」と「〜のような」を意味する「-oid」からの造語で、私達の研究で用いる”フューチャロイド(Futuroid)” という言葉は、将来を意味する「Future(フューチャー)」と「-oid」を下にした造語です。
このシャドーイングの研究はそうした具体的なシステムの＃1です。＃2としてサッカーのドリブルの練習をするためのロボットを開発しています。こちらはまだまだ開発途中ですが、＃3や＃4も考えて行きたいと思っています。
