ChatGPT時代下，論文將死?

ChatGPT的煉成               

生成式預訓練模型（Generative pre-trained transformer，GPT）[1]是由OpenAI於2018年6月發表的預訓練模型，架構採用Transformer的解碼器，是ChatGPT的核心模型。GPT 主要是透過大規模的語料庫做語言模型的預訓練，預訓練過程不需人為的標註，屬於非監督式學習。再透過微調做轉移學習，而微調的過程有別於預訓練，需要人為的參與進行調整，屬於監督式學習。解碼器就是透過輸入逐一生成輸出，所以叫做生成式預訓練。[2]

ChatGPT就是基於GPT模型演進而來，其可能訓練過程如下[3]:

1. 生成式預訓練模型(非監督式學習):

透過網路爬蟲的方式，讓GPT爬取網際網路上的資訊，過程中不須人為的標註，全由GPT自行讀取。也就是在這過程中，GPT吸收了大量各式各樣的資料，但是對於這些資料的正確性、合理性等皆沒有概念，只是一昧地吸收資訊。

2. 人為標註資料的學習（監督式學習)：

在步驟1中，因為沒有人為標註資料的對錯，所以GPT的學習以及回覆會偏離正常人類的行為和思想模式。如同小孩若沒有父母、師長的指引，便難以判斷事情的是非對錯，從而導致做出違背倫理道德的事情一樣。GPT也是這般，因此就需要透過有人為標註的資料來引導GPT正確的學習方向。

透過大量人力所設計，有著標準答案的問題對GPT進行引導，讓GPT學習的方向更貼近人類的思維。這樣人為標註資料耗時且費力，所需資料量極大，導致其中成本極高。因此，人為標註資料也是AI訓練的一大難關。

3. 微調（Fine tune）：

經過前述訓練後的GPT，會以一個由人為標註資料訓練的仿人類模型對GPT模型進行檢測，檢測方式是由仿人類模型對GPT所產生的回覆進行評分，通過分數的高低對GPT進行參數的調整，進而使GPT的思維模式愈加貼近人類。

4. 增強式學習（Reinforcement learning）：

而這樣藉由對GPT的回覆進行評測得到的reward進行微調，來提高訓練模型分數的方式稱之為增強式學習（Reinforcement learning）。增強式學習是一個不斷疊代的過程，透過不斷地循環著訓練、測驗、微調的過程，來讓模型更貼合人類思維。

ChatGPT時代下的教育，論文將死？

在今年3月有一篇發表在教育專業期刊上論文「聊天與欺騙：在ChatGPT時代確保學術完整性」，通過了4位學者審查，皆符合學術標準。而令人意想不到的是，這篇論文竟然是ChatGPT產生的作品[4]。類似的事件不僅發生於論文，使用AI生成的圖片也被應用在藝術領域，包含今年德國攝影藝術家 Boris Eldagsen以兩位女性肖像的《PSEUDOMNESIA | The Electricia》作品奪下SONY攝影大賽冠軍[5]、去年美國科羅拉多州博覽會（Colorado State Fair）美術比賽下轄的數位藝術類別，由39歲遊戲設計師艾倫（Jason M. Allen）的作品「太空歌劇院」（Théâtre D’opéra Spatial）奪下首獎[6]。ChatGPT有著專業的生產能力，作品更是能達到以假亂真的程度，讓不少的教授都對當下論文的真實度失去信心。倫敦政經學院教授夏普爾斯（Mike Sharples）更是撰文警告「AI將顛覆教育」的問題[7]，認為ChatGPT崛起地過於迅猛，以至於當今學術界尚未做好準備。隨著類似的事件層出不窮，也讓不少學校、老師憂心忡忡，更是有學校直接嚴令禁用ChatGPT。但是，ChatGPT就真的這麼萬能嗎?其實並不盡然。這類的事件其實並不多，甚至放眼世界可以說是寥寥無幾。其最大的原因就是因為ChatGPT在使用上也有著不少的限制與難度:

1. Prompt：

Prompt可以理解成使用者對ChatGPT下達的指令。當今天使用者要做的事情越複雜時，對ChatGPT所做的Prompt就要越精細且精準。Prompt的好壞會直接影響ChatGPT是否能達成使用者的目的，即便在達成目的的情況下，完成度又能達到何種程度?因此，如果透過ChatGPT進行較複雜的任務時，Prompt就顯得尤為重要。

2. 資訊的真實性：

ChatGPT本身是個生成式機器人，其回覆方式是如同文字接龍一字一字從「過去的學習」中拼湊出來，因此ChatGPT所學習的資訊是具有時效性的。以ChatGPT來說，它學習的資料只到2021之前，也就是2021年之後的資料它都是無法回答的。

而ChatGPT本身更是沒有連接網際網路，因此它並不能像搜尋引擎一般，即時在網際網路上搜尋資料。因此ChatGPT只會從過去的學習中尋找答案，從而導致其回覆往往會參雜著它拼湊出來的答案，也就是假訊息。

所以不論是ChatGPT或是其他AI機器人，即便功能強大，卻也仍存在著缺陷。論文的撰寫是一個需要漫長積累的過程，過程中需要學習的專業能力、經歷的失敗不計其數。一個學生在沒有經歷也沒有專業的情況下，即便有著ChatGPT也不可能根據論文所需下達精確的Prompt。這些使用ChatGPT作出以假亂真作品的使用者，無一不是在這些專業領域浸淫數十年的專業人士，其專業能力更是不在話下。即便是這樣的專業人士，也需要透過不斷嘗試Prompt，並輔以自身的專業能力，才有那麼一兩位可以達到以假亂真的程度，更遑論是一名學生呢?因此，即便是在ChatGPT的時代下，論文仍有著其公信力、代表性及原創性。

教育界對ChatGPT的觀點，禁用或者善用？

教育界對於ChatGPT的觀點不一，有的學者認為ChatGPT的出現，使得學生在作業、論文方面有了可以逃避的方式。但也有部分學者認為ChatGPT可以是好工具，一項好的工具能大幅提升學生的學習及生產力，不僅能提高學習的效率，也能彌補自身不足的部分。

截至今日，有不少學校及學者紛紛表態禁止使用ChatGPT，但也有不少學校及學者不僅不禁止學生使用，反而鼓勵學生善加利用。

其實不僅僅是教育界，ChatGPT對各行各業皆造成了極大的衝擊。有的人視ChatGPT為危機;有的人視ChatGPT為商機;也有人視ChatGPT為轉機。對於ChatGPT是禁用還是善用沒有一定的說法，更多的是看個人的使用意圖與發想。

結語

近年來AI的快速發展，令各行各業皆措手不及。AI的能力固然強大，卻也有著不少的限制與缺陷。對於AI我們應放寬視野，深入了解AI的特色，並展望未來。許多人畏懼AI的強大，而未知才是最可怕的。人們只看到了AI的強大，卻未曾深入了解AI，以至於過度畏懼AI。擔心AI是否會取代人類工作;是否會超越人類;又是否會毀滅人類?然而這些都仍遙遙無期。科技的發展都是階段性的，一但遇到技術瓶頸就會停滯或趨緩。因此，與其過度地擔憂AI，不如好好地體驗、了解甚至是善用AI。

[1]Alec Radford, Karthik Narasimhan, Tim Salimans and Ilya Sutskever(2018). Improving Language Understanding by Generative Pre-Training.OpenAI.

檢自: https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf(June. 11.2018)

[2] henry_chen .(2022)Day 21. 深度學習模型 – NLP 預訓練模型.Ithome.

檢自https://ithelp.ithome.com.tw/articles/10304910(October.6.2022)

[3] Jocelyn(2022).ChatGPT 究竟如何煉成？台大教授李宏毅提可能的訓練步驟.INSIDE.

檢自:https://www.inside.com.tw/article/30032-chatgpt-possible-4-steps-training(

December.8.2022)

[4] 林雨萱(2023). 蝦毀？教你「別用AI作弊」竟是ChatGPT寫的 學術論文還騙過審查.自由時報.檢自:https://news.ltn.com.tw/news/world/breakingnews/4244790(March,20,2023)

[5] 自由時報(2023).Sony世界攝影大獎優勝作品「竟是AI畫的」攝影師親揭真相、拒絕受獎.自由時報.檢自:https://news.ltn.com.tw/news/world/breakingnews/4271589 (April,17,2023)

[6] 吳映璠(2022.)AI作畫有多厲害？比賽奪冠真人藝術家氣炸了.中時新聞.檢自:https://wantrich.chinatimes.com/news/20220904900122-420201(

September,4,2022)

[7] 田孟心(2022).論文已死？文組教授：學術界完全沒有為ChatGPT做好準備.天下雜誌.檢自:https://www.cw.com.tw/article/5123855(

December,7,2022)