mfc如何獲取時間間隔
想象一個場景:
你在一家餐廳吃了一道很好吃的菜，意猶未盡，想在家嘗試做一次，於是你照著你在網上找到的菜譜把這道菜做出來了，但是你一嘗，不是你在那家餐廳裡吃到的味道。於是你就在想，為啥我做的菜味道這麼奇怪，是我水平有問題還是這個菜譜寫錯了？
由於你對自己的廚藝不是那麼自信，你可能會仔細地按照那個菜譜再做幾次，如果結果還是不滿意，你可能就會懷疑是菜譜的問題，於是你就會換一個菜譜試試。
在這個例子中，
當你發現現實
（你做出的菜品的味道）
和期望
（你在餐廳吃到的菜品的味道）
有差距時，你會透過多次試驗去找這個差距的原因，每次試驗都得到一個結果，最後綜合這些結果，做出最後的判斷
。
這個過程是
一個
層次性的（hierarchical）過程
，換句話說，就是每次試驗之後，你有一個短時程的暫時的計算，估計你的期望和現實反饋之間的差距，當試驗多次之後，你會綜合所有試驗的結果，有一個長時程的決斷來判斷錯誤的原因。
那麼，我們的大腦是如何做這項任務的呢？其背後的機制是什麼的呢？這篇文章對此進行了研究。
層級推理的行為學資料及模型
他們設計了這樣一個實驗，實驗中有兩個隱藏的遊戲規則，不同遊戲規則下，對同一個刺激的正確反應是相反的，這個隱藏的遊戲規則會變動。但參與實驗的猴子不知道，猴子需要在自己認為的規則下，對刺激做出正確的反應，當猴子對規則和刺激這兩項都判斷正確時，猴子才能得到獎勵，如果其中有一項判斷錯誤，就沒有獎勵。在這個實驗中，猴子就需要對自己的錯誤進行層次性的判斷，如圖1（A）所示。
圖1。 層級因果推論研究的行為實驗設定
圖1（C）中的下圖說明了實驗的具體流程，首先給猴子看（ii）圖，讓它根據自己對規則的判斷選擇其中一個規則（兩種規則分別對應藍點和紅點），然後給猴子（iv）-（vi）的刺激，讓其判斷（iv）-（vi）兩圖之間的時間間隔是大於還是小於850ms，在（ii）圖中藍點對應的規則下，大於850ms要進行反向眼動（Antisaccade），也就是向右看，小於850ms要正向眼動（Prosaccade），也就是向左看，在紅點對應的規則下，反之，如圖1（B）所示。
當猴子在（ii）和（vii）中都做出正確判斷後，猴子得到果汁獎勵。當猴子發現自己沒有得到獎勵時，就會考慮是對時間間隔判斷出錯還是對規則判斷出錯，如果不改變規則的選擇，多次試驗之後還是出錯，猴子就會去變換規則。當然，在實驗中實驗人員不會頻繁更換遊戲規則，每種遊戲規則會持續至少10次試驗，具體次數服從幾何分佈。
這是實驗的其中一種模式，稱之為
推斷（inferred）模式
，還有另外一種模式，叫做
指示（instructed）模式
，如圖1（C）的上圖所示，在這種模式下，（ii）圖中的中心點會有規則的提示，猴子只要按照提示選擇紅點或藍點，然後按照相應的規則作出反應即可。在這個實驗中，指示模式是對照組，推斷模式是實驗組。
為了評估猴子的行為，他們定義了幾個變數，反向眼動的機率Pr（Anti）、時間間隔td（真實刺激時長tS與850ms的差值）以及猴子主觀改變規則的機率Pr（Sw）。首先我們來看在某規則下，猴子對刺激做出的反應結果。如圖2（D）所示，猴子在指示模式下，td的絕對值越大，Pr（Anti）越穩定，且Pr（Anti）取決於不同的規則，紅藍規則下，兩條曲線是相反的。
圖2。 行為學資料統計結果
在推斷模式下，按照猴子主觀判斷的規則進行統計分析，結果與指示模式是相同的，而當按照客觀規則進行統計時，則發現猴子的Pr（Anti）有所降低，如圖2（E，F）所示，說明在
推斷模式下，猴子還是按照他學習到的遊戲規則去作出相應的正確的動作，但是在規則判斷上有部分失誤
。
其次我們來看猴子轉換規則的情況。如圖2（G）所示，在指示模式下，也就是圖中的黃色資料，在規則剛剛改變時，猴子內心的規則就立即發生改變，Pr（Sw）迅速升高，因為猴子直接按照提示來改變規則即可，但是在推斷模式下，猴子的內心規則改變有延遲，因為猴子需要根據幾次試驗的反饋來判斷自己是對td判斷出錯還是對規則判斷出錯。圖2（H）顯示的是，Pr（Sw）與獲得獎勵之後的那次試驗的td的關係，如果上次試驗中獲得獎勵（綠色點），猴子在這次試驗中就不會改變規則，如果上次試驗中沒有得到獎勵（紅色實心點），猴子就有一定的機率改變規則，而如果連續兩次都沒有得到獎勵（紅色空心點），則會有更大的機率改變規則，因為隨著試錯次數增加，猴子對於自身判斷td的信心越來越大，因此把錯誤歸因於規則改變的機率也就會越大。
不管是連續一次還是兩次沒有獲得獎勵，Pr（Sw）都與td相關，td絕對值越小，猴子對於自身判斷正確td的信心越不足，Pr（Sw）也就越小。
作者透過邏輯斯蒂迴歸也證實了，td和連續錯誤次數（記為nB-Er）的迴歸係數都是正的，也就是說Pr（Sw）與td和連續錯誤次數都是正相關。由此可以說明，猴子基於他們對自己判斷td的信心和連續錯誤的累積來更新他們的決策。
為了解釋實驗資料，作者構建了一個簡單的CBM模型（confidence-based model）。在模型中，每次試驗都會計算變數，表徵對歷史錯誤的整合，因此它是td和連續錯誤次數的函式，如圖2（I）所示，當獲得獎勵時，無論多高都會歸零，當出現一次錯誤時，的值會根據td的大小相應地升高，當連續兩次出現錯誤時，的值會在原來的基礎上繼續升高，當的值高於閾值時，就改變規則，是一個二值變數，表徵下一次試驗是否改變規則，是對未來的計劃。如圖2（H）所示，這個模型可以很好地擬合實驗資料，因此他們提出了神經環路的計算邏輯可以透過和兩個變數來理解的假設。
層級推理的電生理資料
由於前人工作中指出了背內側額葉（dorsomedial frontal cortex， DMFC）和前扣帶皮層（anterior cingulate cortex， ACC）與預測結果、根據結果調節動作以及戰略決策相關，因此，作者記錄了猴子做任務時DMFC和ACC兩個腦區中神經元的活動，由於作者關心的是動物如何推理分析錯誤的來源，因此，他們只記錄了試驗與試驗之間的時間段（intertrial interval， ITI）內的神經元活動，也就是從前一次實驗得到反饋之後到後一次試驗開始之前的時間段。
首先介紹一個統計量——-
選擇度（selectivity）
，將每個神經元的動作電位發放率用多個實驗引數來進行線性迴歸，每個實驗引數都對應一個係數，將某一個實驗引數的係數的絕對值除以所有神經元的係數的均值，就得到了該神經元對於該實驗引數的敏感度，如下面公式所示。選擇度越低，說明該實驗引數對神經元的貢獻越低，或者說該神經元的發放率與該實驗引數的相關性越低。
作者將所有神經元資料按照試驗中有無獲得獎勵、試驗難度（td的大小）以及連續出錯的次數來分類，將每個類別內部的神經元發放率進行平均，就得到了圖3的上面兩行資料。
從單個神經元層面來看，神經元在不同試驗的結果、不同實驗難度以及不同連續出錯的次數下，發放率是有明顯區別的，即這些資訊對於單個神經元是有調製作用的。圖3第三行的資料更加說明了兩個腦區中的部分單個神經元對於這三個實驗引數是有編碼的。
圖3。 DMFC和ACC的電生理資料以及敏感度分析。左邊三列是DMFC資料，右邊三列是ACC資料，第一行是猴子K的資料，第二行是猴子I的資料，第三行是神經元群體的敏感度分析資料，黑色表示選擇度有顯著性的資料。
作者將兩個腦區中所有神經元的和做平均後，發現DMFC和ACC在ITI的前期都受到獎勵與否和規則變化與否的資訊的調製，且都是正相關，如圖4（A，B）所示。
其中，DMFC在ITI的早期選擇性更強，峰值大約出現在得到反饋之後的145ms時刻，ACC也是一樣，只是峰值出現在187ms。
另外，ACC還在ITI晚期受到較強的規則變化的調製，雖然DMFC也有受到規則變化的調製，但是與ACC相比弱很多。
在此結果下，可以提出這樣一個假設，
即DMFC接受到單次試驗的反饋訊號，進而ACC接收到DMFC傳遞的反饋訊號並對其整合，幫助猴子決定是否要改變規則
。
實驗驗證DMFC與ACC在層級推理中的功能假設
為了驗證他們的假設，作者首先做了一個實驗來測試ACC在ITI後期的反應是否對DMFC在ITI前期的訊號敏感。他們給DMFC在50-150ms之間加入微刺激，使得DMFC的發放率有微弱的增大，同時記錄ACC的響應，發現ACC的發放率也有所增加，如圖4（C）所示。
圖4。 DMFC與ACC在ITI時期的計算
為了進一步說明ACC的功能，他們還在指示模式下進行了相同的操作，指示模式與推斷模式的不同之處在於，指示模式下，猴子不需要透過得到的反饋來改變規則，依據指示改變規則即可，而推斷模式下，猴子需要根據是否得到獎勵而推測規則是否改變。
圖4（D）表明，在指示模式下，額外的DMFC刺激沒有改變ACC的響應，而推斷模式下增大了ACC的響應。因此可以說明，
ACC在需要估計錯誤並決定是否改變規則時，會整合DMFC的輸入來進行計算
。
上一個實驗中他們驗證了ACC位於DMFC的下游，且在ACC需要整合錯誤資訊時，ACC才會受到DMFC的影響，由此推測ACC的功能可能是綜合推斷是否改變規則。如果ACC的確是在做這件事，那麼結合之前所說的模型，ACC一定編碼了（歷史錯誤資訊的整合）和（未來是否要改變規則）這兩個量。
為了證實這一點，他們透過
有針對性的維度還原技術
（一種分離變數的方法，先線性擬合，再降維，再正交化，最後將資料投影到正交的變數軸上，具體方法可參考［1］），使得我們可以清晰地看到神經元群體在某一時間段內對於和兩個變數動態編碼的情況，如圖5（A，B）的上圖所示。
圖5。 ACC對於與變化規則相關的變數的編碼以及對ACC操縱後的行為變化
圖5（A）上圖表明，ACC神經元群體活動編碼了訊號，越大，ACC中編碼部分的訊號就越強，將該圖中200-400 ms之間的值做一個線性擬合得到圖5（A）下圖，表明不管在規則變化還是不變的情況下，ACC都用同樣的方式編碼了。同理，圖5（B）表明ACC神經元群體編碼了這個變數，且在規則變化和不變的情況下，區別顯著。
這樣的分析還不能直接證明ACC具有的歷史錯誤整合與未來預測規則的計算功能。因此他們做了這樣一個實驗，他們在猴子出錯的試驗後直接對ACC在200-400ms之間進行微刺激，看猴子是否會更容易做出改變規則的決定。
結果的確如此，在推斷模式下，加入刺激之後，猴子選擇改變規則的機率顯著提升了，而在不需要透過整合歷史資訊改變規則的提示模式下，猴子的規則改變機率沒有明顯改變。綜合上面兩個實驗，
可以證明ACC在進行因果推論中的確起到了歷史錯誤整合與未來預測規則的作用。
綜上所述，作者揭示了大腦層級推理的機制。
透過分析行為資料，構建了一個模型來理解層級推理的計算原理，透過神經記錄和微擾刺激實驗揭示了DMFC和ACC在層級推理任務中的功能，其中DMFC負責在低階的短時間內，計算單次試驗中期望與現實反饋之間的誤差，而ACC則會在高階的長時間內，對連續錯誤訊號進行整合，並基於整合後的資訊作出高階決策。
PS：這件事情是不是有點可怕，你有可能因為你的ACC被電了幾下，就改變主意了。。。
參考資料：
V。 Mante， D。 Sussillo， K。 V。 Shenoy， W。 T。 Newsome， Context-dependent computation by recurrent dynamics in prefrontal cortex。 Nature 503， 78–84 （2013）。
作者資訊
編譯作者：傘姆塔
（brainnews創作團隊）
編譯作者：傘姆塔
編譯作者：傘姆塔
編譯作者：傘姆塔
（brainnews編輯部）
校審：
Simon