跨語(yǔ)言交際中聯(lián)合語(yǔ)言控制的作用：來(lái)自跨頻率耦合的證據(jù)

 

01 研究背景

①世界上一半以上的人口是雙語(yǔ)者。如何控制語(yǔ)言不使用的干擾是雙語(yǔ)者日常所面臨的一個(gè)課題。

盡管大多數(shù)研究已經(jīng)探討了獨(dú)立的跨語(yǔ)言產(chǎn)生或理解過程中的語(yǔ)言控制機(jī)制，但其中一個(gè)重要的方面是：在跨語(yǔ)言交際過程中，語(yǔ)言控制在互動(dòng)模式中的作用。在雙語(yǔ)生產(chǎn)建模中，抑制控制（IC）模型提出，語(yǔ)言控制在從一種語(yǔ)言切換到另一種語(yǔ)言時(shí)起到抑制/抑制跨語(yǔ)言干擾的作用。

不平衡的雙語(yǔ)者更精通他們的第一語(yǔ)言（L1），而不是第二語(yǔ)言（L2）。L1總是更容易激活，但更難抑制，導(dǎo)致當(dāng)切換到第二語(yǔ)言時(shí)更多的跨語(yǔ)言抑制。為了成功地產(chǎn)生L2，更占優(yōu)勢(shì)的L1需要被抑制(即抑制控制)。然而，在L2生產(chǎn)過程中，克服L1上的殘留抑制控制的成本要高于其他方向。因此，切換到L1通常比切換到L2的成本更昂貴。然而，IC模型只考慮了獨(dú)立雙語(yǔ)生產(chǎn)的跨語(yǔ)言干擾，而沒有考慮最近文獻(xiàn)中顯示的跨水平因素的干擾。為了解決跨語(yǔ)言交流過程中對(duì)話者的干擾，交互式對(duì)齊模型提供了對(duì)跨語(yǔ)言交流過程的洞察。該模型認(rèn)為，在說(shuō)話人的語(yǔ)言生成過程中，不同層次的語(yǔ)言表征(如語(yǔ)音、詞匯和語(yǔ)義)被激活，這種激活將啟動(dòng)聽話者的語(yǔ)言系統(tǒng)。在聽話者的理解過程中，語(yǔ)言激活會(huì)無(wú)意識(shí)地與說(shuō)話者的激活相一致，并導(dǎo)致聽話者在隨后的對(duì)話中產(chǎn)生類似結(jié)構(gòu)的語(yǔ)言輸出。因此，講話者使用的語(yǔ)言(例如L1)可能會(huì)在聽話者中啟動(dòng)同一語(yǔ)言，但會(huì)干擾目標(biāo)語(yǔ)言(例如L2)的產(chǎn)生。這種干擾來(lái)源于跨人項(xiàng)目層面，即聽者試圖與說(shuō)話者保持一致。重要的是，這種效應(yīng)得到了超掃描腦電研究的支持。

②語(yǔ)言加工中的跨頻耦合（CFC）

在語(yǔ)言轉(zhuǎn)換過程中，產(chǎn)生和理解之間的耦合可能是相當(dāng)復(fù)雜的，我們嘗試使用跨頻率耦合(cross-frequency Coupling, CFC)來(lái)進(jìn)一步揭示信息從大規(guī)模大腦網(wǎng)絡(luò)向快速的、在一起完成一項(xiàng)任務(wù)時(shí)，講話者和聽話者之間的局部皮層加工需要有效的協(xié)調(diào)。

③到目前為止，很少有研究研究語(yǔ)言轉(zhuǎn)換過程中的δ、θ、α和β振蕩，其中振蕩的認(rèn)知意義可能表明更多的領(lǐng)域一般認(rèn)知過程�；�于文獻(xiàn)，delta振蕩對(duì)于大規(guī)模的皮層整合以及注意和句法過程。θ波振蕩似乎對(duì)各種認(rèn)知功能都很重要。在抑制控制方面，研究發(fā)現(xiàn)θ波振蕩的增加與不相關(guān)任務(wù)的抑制有關(guān)。alpha振蕩通常與注意力有關(guān)、工作記憶和任務(wù)無(wú)關(guān)的皮層區(qū)域抑制，振蕩與運(yùn)動(dòng)的計(jì)劃和執(zhí)行有關(guān)�？偟膩�(lái)說(shuō)，振蕩的重要性取決于認(rèn)知任務(wù)，一個(gè)任務(wù)可能需要在不同頻帶同時(shí)工作。為了了解聯(lián)合語(yǔ)言轉(zhuǎn)換過程中的神經(jīng)振蕩，CFC是一種研究語(yǔ)言處理的新方法，它能夠證明不同/相同的振蕩如何相互協(xié)調(diào)。

本研究旨在研究當(dāng)抑制跨語(yǔ)言和跨人干擾時(shí)，聯(lián)合語(yǔ)言切換中語(yǔ)言控制的增加/減少是否伴隨著相同/不同頻率振蕩的相位振幅耦合的增加/減少。如果能觀察到當(dāng)被試抑制來(lái)自語(yǔ)言和人兩種來(lái)源的干擾時(shí)，相同/不同頻率振蕩的耦合。這樣我們可以得出結(jié)論：在交互跨語(yǔ)言交際中，語(yǔ)言控制需要多次振蕩來(lái)協(xié)調(diào)。

02 研究方法

2.1、實(shí)驗(yàn)被試

34名中-英文雙語(yǔ)被試（L1為中文）。

表1 .被試基本資料信息

2.2、實(shí)驗(yàn)材料

從Snodgrass和Vanderwart 圖片庫(kù)中選擇48張素描圖片(15厘米915厘米)作為刺激變量。這些圖片由Zhang和Yang（2003）標(biāo)準(zhǔn)化以適應(yīng)中國(guó)的被試。單詞的熟悉度在兩者中都有評(píng)分（1=“非常陌生”，5=“非常熟悉”）。L1和L2取自40名沒有參加實(shí)驗(yàn)的中國(guó)人被試中，鼓勵(lì)被試以5分制報(bào)告他們是否熟悉所選圖畫的L1和L2名稱。

2.3、實(shí)驗(yàn)流程

在完成語(yǔ)言背景調(diào)查后，讓被試在一個(gè)聲音減弱的房間里執(zhí)行聯(lián)合語(yǔ)言轉(zhuǎn)換任務(wù)。他們并排坐在同一個(gè)電腦屏幕前，整個(gè)實(shí)驗(yàn)過程中沒有明顯的非語(yǔ)言交流（如具體化的視覺語(yǔ)言）。并告知被試兩種類型的信息會(huì)在任務(wù)中提示他們的反應(yīng)：形狀和顏色。線索的形狀（三角形或圓形）表面誰(shuí)是說(shuō)話人；顏色（紅色或藍(lán)色）表示目標(biāo)語(yǔ)言（L1或L2）。

當(dāng)發(fā)言人點(diǎn)名時(shí)，另一名被試需要保持安靜。為了確保兩組電極之間的同步，兩個(gè)相同的ANT放大器被光耦合到計(jì)算機(jī)上，并通過相同的軟件接口記錄。每個(gè)被試用兩個(gè)麥克風(fēng)記錄兩個(gè)應(yīng)激反應(yīng)盒連接的反應(yīng)時(shí)間。

有三個(gè)實(shí)驗(yàn)階段：線索階段，詞匯階段，輸出階段。

在線索加工階段，提示被試作為說(shuō)話者或聽者的角色，以及為即將出現(xiàn)的圖片命名的語(yǔ)言。例如，當(dāng)線索出現(xiàn)藍(lán)色三角形則表示被試A需要在L2階段命名圖片。在詞匯階段，說(shuō)話者通過圖片的呈現(xiàn)檢索出目標(biāo)的引理。例如，“apple”的引理需要在這個(gè)階段被檢索出。在輸出階段，說(shuō)話者用選定的語(yǔ)言明顯地命名圖片。例如，如果是藍(lán)色的圓圈提示，被試B需要用英語(yǔ)說(shuō)出“apple”。另一個(gè)被試，即聽者，保持沉默，直到得到適當(dāng)?shù)木�索指示說(shuō)出名字。在命名之前，聽者的目標(biāo)語(yǔ)言圖式可能被說(shuō)話者的話語(yǔ)啟動(dòng)或激活，從而引發(fā)跨-人項(xiàng)目水平干擾。實(shí)驗(yàn)流程下圖1所示。

圖1 實(shí)驗(yàn)流程圖

2.4、數(shù)據(jù)采集和處理

超掃描記錄和預(yù)處理分析：

采樣64通道（ANT Neuro）記錄腦電信號(hào)，根據(jù)10-20系統(tǒng)放置。采樣頻率為1kHz，在線采集時(shí)的參考電極為CPz，離線分析時(shí)轉(zhuǎn)換為雙側(cè)乳突的平均值，阻抗設(shè)置在5KΩ以下。

由于被試之間存在過多的偽跡，頭部周圍的20個(gè)電極被去除，然后對(duì)40個(gè)電極進(jìn)行后續(xù)分析（F5, F3, F1, FZ, F2, F4, F6, FC5, FC3, FC1, FCZ, FC2,FC4, FC6, C5, C3, C1, CZ, C2, C4, C6, CP5, CP3, CP1,CPZ, CP2, CP4, CP6, P5, P3, P1, PZ, P2, P4, P6, PO5,PO3, POZ, PO4, PO6），采樣頻率被降低到500Hz。濾波范圍：0.1-100Hz，低通濾波為30Hz，ICA去除眼電偽跡。

連續(xù)的錄音被分割成線索鎖定：-100 ~ 600ms，刺激鎖定-150 ~ 650ms。相應(yīng)的，每個(gè)epoch參考100ms前的基線和150ms刺激前基線。任何給定時(shí)間內(nèi)超過±80μVd的信號(hào)會(huì)被剔除。數(shù)據(jù)分析在MATLAB軟件中進(jìn)行。

跨-腦跨頻耦合分析：

以往的研究分析了刺激開始后全時(shí)間窗的CFC。因此，我們計(jì)算了位于提示后600 ms的全時(shí)間窗和刺激后650 ms的時(shí)間窗(即圖片)的CFC。此外，我們只分析了相位振幅耦合(PAC)，因?yàn)檫@種類型的CFC是最合適的認(rèn)知-神經(jīng)過程的測(cè)量方法。

為了估計(jì)振幅是如何被節(jié)律調(diào)制的，我們根據(jù)Canolty等人(2006)先前描述的標(biāo)準(zhǔn)測(cè)量方法計(jì)算調(diào)制指數(shù)(MI)。MI可以反映我們感興趣的不同頻率之間的耦合。我們計(jì)算了當(dāng)說(shuō)話者調(diào)制聽者的振幅時(shí)的相位，反之亦然。頻率范圍在1-30Hz之間。基于標(biāo)準(zhǔn)實(shí)踐，我們將頻率分為4個(gè)頻段：delta (1-3 Hz)、theta (4-7 Hz)、alpha (8-13 Hz)和beta (14-30 Hz)。

高頻和低頻的分類是相對(duì)的：與alpha和beta頻率相比，delta和theta頻率相對(duì)較低。我們分析了低頻相位和高頻振幅之間的腦間耦合(例如相位和振幅之間的耦合)，以及說(shuō)話者和聽者之間的同一波段的耦合(例如，說(shuō)話者的δ相位和聽者的δ振幅之間的耦合)或聽者和說(shuō)話者之間的耦合(例如，聽者的δ相位和說(shuō)話者的δ振幅之間的耦合)。

分別用f1 A(高頻幅值)和f2 P(低頻相位)表示每個(gè)頻率范圍的幅值和相位。MI計(jì)算的過程描述如下: 以聽者與說(shuō)話者的振幅相耦合為例：首先在EEGLAB中eegfilter的功能(FIR濾波)進(jìn)行濾波，經(jīng)過帶通濾波器產(chǎn)生不同的頻率信號(hào)的時(shí)間序列：低頻信號(hào)是聽者的，高頻信號(hào)是說(shuō)話者的。為了減少濾波器的干擾，將低頻和高頻周期數(shù)據(jù)點(diǎn)的三分之一去除。

其次，為了得到說(shuō)話者的瞬時(shí)振幅和聽者的相位，我們使用了Hilbert變換。

第三，將一個(gè)頻率的幅值時(shí)間序列與另一個(gè)頻率的相位時(shí)間序列相結(jié)合，構(gòu)造一個(gè)復(fù)合的復(fù)值信號(hào)，得到調(diào)制指標(biāo)。

第四，為了測(cè)量概率密度函數(shù)的不對(duì)稱程度，計(jì)算了平均矩，為兩個(gè)時(shí)間序列之間的耦合提供了一個(gè)有用的度量。然后給出均值向量的絕對(duì)值。

第五，我們將MI歸一化�？梢允褂锰娲鷶�(shù)據(jù)方法為MI原始附加顯著性值。

然后比較不同條件下的MI值。通過三因素重復(fù)測(cè)量方差分析：語(yǔ)言(L1/L2)×語(yǔ)言序列(重復(fù)/切換)×個(gè)人序列(跨人/人內(nèi))，在每個(gè)電極對(duì)的耦合頻帶，計(jì)算各條件下的歸一化MI值。最后，我們將來(lái)自說(shuō)話人(40個(gè)電極)的電極對(duì)與來(lái)自聽者(40個(gè)電極)的電極對(duì)相乘。因此，在每個(gè)耦合頻帶共進(jìn)行了1600次三因素重復(fù)測(cè)量方差分析。為了避免假陽(yáng)性結(jié)果，采樣FDR校正(q=0.05)計(jì)算各條件、各耦合頻帶各對(duì)電子點(diǎn)的方差分析的p值。

03 實(shí)驗(yàn)結(jié)果

行為結(jié)果：

圖1 不同條件下的平均命名延遲

上圖結(jié)果表明，重復(fù)命名潛伏期(1001±20 ms)比切換命名潛伏期(1017±22 ms)快，表現(xiàn)為語(yǔ)言序列的主效應(yīng)，F(xiàn)(1,27)=8.53, p=.01,ηp2 = 0.24。

跨頻率耦合結(jié)果：

表2 線索鎖定交叉頻率耦合的主要效應(yīng)和相互作用

表2的分析是基于兩種類型的耦合：生產(chǎn)階段的節(jié)奏調(diào)節(jié)理解的幅度和理解階段的節(jié)奏調(diào)節(jié)生產(chǎn)的幅度。

圖3  交叉頻率耦合電極對(duì)

（圖解：A為P4-F4(紅色線)、P4-F2(黃色線)、P2-F6(紫色線)、F4-P6(綠色線)的鎖定電極對(duì)。B為F6-P6(紅線)和P4-P2(藍(lán)線)的刺激鎖定電極對(duì)。紅頭發(fā)代表發(fā)言者；藍(lán)色的頭代表聽眾）

在圖3中給出的是CFC中cue-locked和stimulus-locked階段的聚焦電極對(duì)。

 圖4 在線索鎖定階段的跨頻率耦合

a-c顯示，在跨-人條件下比在人內(nèi)條件下，β節(jié)律對(duì)L2試驗(yàn)的α振幅的調(diào)節(jié)更強(qiáng)。D-f表明，在L2實(shí)驗(yàn)中，同一相位的調(diào)制在跨人條件下比人內(nèi)條件下更強(qiáng)。a、b、d和e中的紅線框表示聚焦頻帶。

刺激：

表3. 刺激-鎖定交叉頻率耦合的主要效應(yīng)和相互作用

類似地，表3概述了刺激鎖定階段相同或不同頻帶上CFC的主要效應(yīng)和相互作用。

圖5 刺激鎖相的交叉頻率耦合

a-c表明，在人內(nèi)條件下，δ節(jié)律在θ相位中調(diào)節(jié)振幅，表明L2轉(zhuǎn)換試驗(yàn)比L1轉(zhuǎn)換試驗(yàn)中調(diào)節(jié)更強(qiáng)。d-f代表人內(nèi)條件的α相位振幅，表明L2開關(guān)試驗(yàn)比L1開關(guān)試驗(yàn)調(diào)制更強(qiáng)。a、b、d和e中的紅線框表示聚焦頻帶。

04 實(shí)驗(yàn)結(jié)論

（1）研究結(jié)果表明，在交互式雙語(yǔ)交流模式中存在著重要的語(yǔ)言控制機(jī)制。當(dāng)前的雙語(yǔ)模型（如抑制控制模型）應(yīng)通過聯(lián)合語(yǔ)言控制同步抑制來(lái)自語(yǔ)言和人的干擾（即跨語(yǔ)言和跨人項(xiàng)目級(jí)干擾）。

具體表為：

①說(shuō)話者和聽話者通過跨頻耦合協(xié)同抑制跨語(yǔ)言干擾，表現(xiàn)為切換到L2時(shí)δ / θ相位幅值和δ / α相位幅值耦合比切換到L1時(shí)增加。②說(shuō)話人和聽者都能同時(shí)抑制跨人項(xiàng)目水平的干擾，這表現(xiàn)在跨人條件下的跨頻耦合比人內(nèi)條件下的強(qiáng)。

②本研究不僅為利用CFC模擬雙語(yǔ)對(duì)話研究語(yǔ)言控制提供了新途徑，同時(shí)也為動(dòng)態(tài)跨語(yǔ)言交際研究奠定了實(shí)證和理論基礎(chǔ)。

05 文獻(xiàn)名稱及DOI號(hào)

Liu, H. ,  Li, B. ,  Wang, X. , &  He, Y. . (2021). Role of joint language control during cross-language communication: evidence from cross-frequency coupling. Cognitive Neurodynamics, 15(3).

DOI：10.1007/s11571-020-09594-6