面と向かって話すとき、私たちは言葉だけでなく、より多くの合図を交換します。 私たちは体の姿勢、顔の表情、頭と目の動きを使ってコミュニケーションをとります。 だけでなく、誰かが話しているときに生成されるリズムによっても異なります。 良い例は、連続音声で音節を生成する速度です。 XNUMX秒間にXNUMX～XNUMX回。 会話の中で、聞き手は、 調子を合わせる このリズムに合わせて、話者が次に使用する音節のタイミングを予測するために使用します。 これにより、言われている内容に従うことが容易になります。
他にも多くのことが起こっています。 使用する 脳画像技術 たとえば、誰も話していないときでも、聴覚を担当する脳の部分は、 生産する 音声の音節と同じ速度でのリズミカルな活動。 誰かが話しているのを聞くとき、これらは 脳のリズムが整う 音節構造に。 その結果、脳のリズムは、入ってくる音響音声信号の周波数と時間を一致させ、追跡します。
誰かが話すとき、私たちはその唇の動きが聞き手にも役立つことを知っています。 多くの場合、これらの動作はスピーチに先立って行われ、たとえば口を開けるなど、その人が何を言うかについての重要な手がかりとなります。 しかし、唇の動き自体には、訓練を受けた観察者が言葉を聞かなくても音声を理解できるほどの十分な情報が含まれているため、もちろん読唇術ができる人もいます。
これまで不明だったのは、これらの動きがリスナーの脳内でどのように処理されるかということです。
口パク
これが私たちの主題でした 最新の研究。 私たちはもう それを知っていた 音節のリズムを生み出すのは話者の声帯だけではなく、唇の動きも同様です。 私たちは、聴取者の脳波が、音響音声自体にどのように一致するかに匹敵する方法で、継続的な発話中に話者の唇の動きに一致するかどうか、そしてそれが音声を理解する上で重要であるかどうかを確認したいと考えました。
私たちの研究により、これが実際に当てはまることが初めて明らかになりました。 私たちは、誰かが物語を語る映画を見ている44人の健康なボランティアの脳活動を記録しました。 脳の聴覚部分と同じように、視覚部分もリズムを生み出すことがわかりました。 これらは、連続的な発話中に話者の唇によって生成される音節のリズムに合わせて調整されます。 そして、気を散らすスピーチを追加して聞き取り条件をより難しくすると、つまり、語り手が何を言っているのかを理解するために、語り手の唇の動きがより重要になることを意味し、XNUMX つのリズム間の調整はより正確になりました。
さらに、聞き手の唇の動きを制御する脳の部分も、話し手の唇の動きに合わせた脳波を生成することがわかりました。 そして、これらの波が話し手の脳の運動部分からの波とよりよく一致すると、聞き手はスピーチをよりよく理解できるようになります。
これは、 という考え 音声を生成するために使用される脳の領域は、音声を理解するためにも重要であり、聴覚障害を持つ人々の間で読唇術を研究することに影響を与える可能性があります。 話し手と聞き手の関係でこれを示したので、次のステップは、双方向の会話中の脳のリズムにも同じことが起こるかどうかを調べることです。
これらの洞察が興味深いのはなぜでしょうか? 音声が通常、脳のリズムを音声のリズムに合わせることでコミュニケーションのためのチャネルを確立することによって機能するという考えが正しければ、ラジオを特定の周波数に合わせて特定の放送局を聴くのと同様に、私たちの結果は、他の補完的なチャネルが存在することを示唆しています。必要に応じて終了します。 私たちは誰かの声帯からのリズムに自分自身を合わせることができるだけでなく、その人の唇の動きから同等のリズムに合わせることができます。 これを脳の聴覚部分で行うのではなく、視覚と運動に関連する部分を通じて行います。
また、訓練された読唇術である必要もありません。これが、パブやパーティーなどの騒がしい環境でも、ほとんどの人が互いにコミュニケーションできる理由です。
著者について
ヨアヒム・グロス氏、グラスゴー大学心理学教授。 彼のグループは、ニューロイメージングと計算手法を使用して、脳振動の機能的役割を研究しています。 彼の主な目標は、脳の振動がどのように知覚と行動をサポートするかを理解することです。
ヒョジン・パーク氏、グラスゴー大学研究員。 彼女の現在の研究は、人間の脳の時間的ダイナミクスを捉えるために最適に設計された脳イメージング技術を使用して、音声処理のコンテキストにおける神経振動のエンコードとデコードを理解することです。
関連書籍
at InnerSelfMarketとAmazon
