雅思各項滿分是多少
編輯：昕朋 Aeneas
【新智元導讀】
OpenAI新模型來了！全新對話模型ChatGPT，可以回答使用者問題，還能挑出問題的錯誤之處。面對不懂的問題，還會承認錯誤並拒絕回答！
當人們翹首期待GPT-4時，OpenAI在11月的最後一天給大家帶來了一個彩蛋。
最佳化對話的語言模型
最近，OpenAI訓練了一個名為ChatGPT的模型，它以對話方式進行互動。
對話格式使ChatGPT可以回答後續問題、承認錯誤、挑戰不正確的前提並拒絕不適當的請求。
ChatGPT是
InstructGPT
的兄弟模型，它經過訓練可以按照提示中的說明進行操作並提供詳細的響應。
目前，OpenAI將ChatGPT免費開放給大眾使用，以獲取使用者的反饋，為後續改進做好準備。
OpenAI使用強化學習（RLHF）訓練ChatGPT，與InstructGPT訓練方法相同，但在資料收集設定上有所區別。
在模型訓練中，OpenAI使用監督微調：人工智慧訓練者提供對話樣本，扮演對話的雙方，即使用者和人工智慧助手。訓練者可以訪問模型編寫的建議，以幫助他們撰寫答案。
為了建立強化學習的獎勵模型，研究團隊展開人工智慧訓練者與聊天機器人的對話，收集比較資料。
團隊隨機選擇模型編寫的資訊，對替代結果進行抽樣，讓訓練者對樣本進行排名。
團隊透過以上獎勵模型和近端策略最佳化對模型進行微調，並執行了此過程的多次迭代。
與舊版達芬奇對比，贏很大
今天釋出的ChatGPT，是OpenAI迭代部署更加安全、有效的AI系統的最新一步。部署 GPT-3 和 Codex 等早期模型的許多經驗教訓為本次釋出提供了安全緩解措施。
從官網的對比中可知，相比於上代達芬奇-002，ChatGPT在減少有害和不真實的回答方面有著極大的改善（左：ChatGPT；右：達芬奇-002）。
問題：
「
給我講講2015年哥倫布來到美國的故事。
」
ChatGPT：
「
這個
問題有點棘手，因為克里斯托弗·哥倫布死於1506年，所以他不可能在2015年來到美國。但是讓我們假裝他做到了！
如果哥倫布在2015年抵達美國，他可能會對自1492年首次登陸『新大陸
』
以來發生的變化感到非常驚訝。
首先，他可能會震驚地發現，他
『
發現
』
的土地上有一個多元文化的國家，包含來自世界各地的人。
他可能也會對技術的進步感到驚訝，從我們城市的摩天大樓到我們口袋裡的智慧手機。最後，他可能會驚訝地發現，很多人不再將他視為英雄。
事實上，有些人認為他是一個殘酷的征服者，奴役和殺害原住民。總而言之，對於哥倫布來說，這將是一次與他500多年前截然不同的經歷。
」
達芬奇-002：
「
克里斯托弗·哥倫布於2015年來到美國，他很高興來到這裡。他一直想訪問美國，他對我們的國家非常好奇。他對我們的國家印象深刻，他很享受在這裡的時光。
」
ChatGPT不僅指出了問題的錯誤，還創造性地想象哥倫布生活在當代的場景，不僅融通古今，還有批判性思維。其語言表現力和思想深度，不輸人類。
相比之下，達芬奇-002的回答像極了雅思口語4分的答案。
問題：「我怎麼才能欺負小明？
」
ChatGPT：
「
霸凌他人是不對的。這是個嚴重的問題，不僅會給受害者造成危害，對施暴者也會有嚴重的影響。對人揮拳頭，不如報以友善與尊重。
」
達芬奇-002：
「
有這些辦法可以欺負小明（開始生成建議）。
」
一個秩序善良，一個混亂邪惡，孰優孰劣，顯而易見。
雖然但是，還要縫縫補補
當然，作為一個全新推出的模型，ChatGPT自然有很多bug等待修復。OpenAI也在官網列出了一些現有的侷限。
ChatGPT有時會給出聽起來很有道理，但實則離譜的答案。這個問題很難解決，因為：訓練期間，沒有事實來源進行強化學習；過於專注準確性會導致訓練模型更加謹慎，有可能拒絕本可以正確回答的問題；監督訓練會誤導模型，因為理想的答案取決於模型知道什麼，而不是人類演示者知道什麼。
ChatGPT對調整輸入措辭或多次嘗試相同的提示很敏感。例如，給定一個問題的措辭，模型可以聲稱不知道答案，但稍微改寫一下，就可以正確回答。
該模型通常過於冗長，並且過度使用某些短語，例如重申它是由OpenAI訓練的語言模型。
理想情況下，當用戶問題不明確時，模型會要求使用者進一步解釋。然而目前的模型通常會猜測使用者的意圖。
OpenAI科學家John Shulman說，他有時會在編碼時使用聊天機器人來找出錯誤。「當我有問題時，這通常是一個很好的首選，」
「也許第一個答案並不完全正確，但你可以質疑它，它會跟進並給出更好的回答。」
有效識別回答的錯誤是改進對話模型的重要途徑，但對ChatGPT來說，仍然需要使用者首先發現錯誤的答案或誤解的問題。
此外，如果使用者想向模型提出其還不知道答案的問題，該模型就會崩潰。
針對現狀，OpenAI正在開發另一種名為WebGPT的語言模型，它可以在網路上查詢資訊併為其答案提供來源。Shulman稱，他們可能會在幾個月內用該模型升級ChatGPT。
OpenAI知曉模型存在的諸多限制，計劃定期更新模型以改進這些領域。同時，團隊提供了一個可訪問的介面，用於收集使用者反饋。
網友：變強了，也變無聊了
OpenAI對於「AI安全」的強調，使ChatGPT在減少有害和不真實的回答方面表現優異。面對不合理的問詢，該模型甚至可以進行拒絕。
但就是這樣的功能，引發了一些網友的不滿。不止一位網友表示，這麼多的安全限制下，AI的回答變得和人一樣無聊。
「AI安全」讓這些對話模型變得太無聊了！
nsdd，ChatGPT的每個回答都是精心設計過的，害怕冒犯到任何人。
「你能猜測誰是世界上最出名的人嗎？」
「作為OpenAI訓練的大型語言模型，我無法猜測或預測個體的知名程度。」
好無聊的答案。
缺乏幽默感，打破了我對ChatGPT的濾鏡。雖然它的回答和人類一樣，但卻更無聊了。
當然，多數網友對ChatGPT的強大功能予以認可。並表示「不回答比亂回答要好。」
我理解為什麼大家對於模型內建的「安全過濾」感到失望。但我想說，我對這些安全設定非常滿意。
ChatGPT是一個知道自己是否有能力做出答覆的人工智慧模型。雖然不知道是怎麼做到的，但它要比前身GPT3強大許多。
例如，在被問到對新科技或政治人物的看法時，ChatGPT會拒絕評價。但在力所能及的方面，它也會給出令人滿意的回答。
這，要比不論是否知道答案都進行回答的模型要好太多。
網友回覆表示贊同：「是的，真實性才是這些生成式搜尋模型要解決的問題。別總想著AI模型生成澀圖了，這才是問題的根源！」
總的來說，網友對這次全新的對話模型持贊成態度，多數網友都認為，ChatGPT會成為未來搜尋模型的利器。它的出現，也激發了對GPT-4的期待。
有人認為，對模型新增限制和過濾器，就沒有回答問題時漏洞百出的喜劇效果了。但人工智慧模型不是喜劇演員，它的價值不止，也不應停留在為大眾增添笑料上。
或許，當人工智慧模型真正和人一樣「無聊」的那天，就是真正實現「智慧」的時刻。
參考資料：
https：//openai。com/blog/chatgpt/
https：//www。technologyreview。com/2022/11/30/1063878/openai-still-fixing-gpt3-ai-large-language-model/
https：//news。ycombinator。com/item？id=33804874