跳到主要內容區塊

ntuccepaper2019

專題報導

深度學習與ChatGPT
  • 卷期:v0065
  • 出版日期:2023-06-20

作者:周秉誼 / Tomofun 資深技術經理


ChatGPT是最近最熱門的人工智慧話題,它由OpenAI開發的大型自然語言處理模型。它使用了深度學習技術學習大量文本資料,可以生成相關的自然語言文本。ChatGPT主要可以用於各類自然語言處理任務,例如對話生成、文章摘要、機器翻譯、問答系統等。本文將簡介ChatGPT的功能和原理。

 

前言

隨著各式各樣的深度學習研究出爐,深度學習也廣泛地應用在人們的日常生活之中,很多我們令人驚艷的資訊服務背後,都有深度學習的核心,而近期橫空出世的ChatGPT就一個很好的例子。ChatGPT是一個由OpenAI開發的大型自然語言處理(Nature Langauge Processing)模型。它使用了深度學習技術來學習大量的文本(Text)資料,並且可以生成與使用者問答之相關的自然語言文本。ChatGPT可以用於各種自然語言處理任務,例如對話生成、文章摘要、機器翻譯、問答系統等。本文將簡介ChatGPT的功能和運作原理。

 

ChatGPT背後的公司

OpenAI是一家人工智慧研究機構,成立於2015年,總部位於美國加利福尼亞州聖巴巴拉市。OpenAI的宗旨是推進人工智慧技術的發展和應用,並促進人工智慧的安全和負責任發展。創始人包括人工智慧領域的知名人士,例如伊隆·馬斯克(Elon Musk)、山姆·阿特曼(Sam Altman)等人。OpenAI的成員來自世界各地,包括研究人員、工程師、科學家等。這些成員致力於開發新的人工智慧技術,並在人工智慧的發展過程中考慮到其對社會和經濟的影響。OpenAI的研究重點包括自然語言處理、機器學習、電腦視覺、機器人學等領域。該公司的目標是為人工智慧的發展和應用提供更加可靠和負責任的解決方案,並讓人工智慧的發展更能符合人類的利益和價值觀。

 

ChatGPT的使用方式

使用ChatGPT的方式非常簡單,只需要在對話中以文字方式輸入,ChatGPT就會自動分析並生成與之相關的回應。使用ChatGPT的過程可以簡單地描述為: 輸入、分析、生成回答。ChatGPT可以應用於多種場景,以下是一些常見的使用方式:

對話機器人:ChatGPT可以用來開發對話機器人(Chat Bot),讓用戶可以透過對話與機器人進行互動。這可以應用於客戶服務、問答系統、聊天應用等。

文章摘要:ChatGPT可以自動生成文章摘要,閱讀文章並理解其中的內容,從中抽取出最重要的信息,然後生成簡潔的文章摘要。

機器翻譯:ChatGPT可以自動翻譯不同語言之間的文本,透過學習不同語言之間的翻譯規則和語言模型,進而實現自動翻譯。

創作寫作:ChatGPT可以用來幫助寫作,生成各種主題的文章段落、段落標題等,幫助寫作者完成文章寫作。

情感分析: ChatGPT可以做到情感分析,透過學習情感詞語和對應的情感表達之間的關係,完成對文本情感的分析和評估。

 

ChatGPT的運作原理

    ChatGPT的運作是基於深度學習Transformer技術的自然語言生成模型(Generative Model)。ChatGPT名字中的"GPT"代表"Generative Pre-trained Transformer",GPT是ChatGPT的類神經網路架構核心,ChatGPT會透過GPT架構將文本轉換為數學向量,並對這些向量進行處理,最終生成新的文本。GPT使用了Transformer架構來進行非監督式學習(Unsupervised learning)訓練和文本生成。在學習過程中會閱讀大量的文本資料,例如維基百科、網路論壇、新聞文章等從網路上收集而來的資料,來預測一段文本中缺失的部分,從中學習語言模型中單詞、片語、句子之間的關係,並了解語言的結構、語法和語義,從而能夠生成與之相關的自然語言文本。目前最新的ChatGPT版本使用了GPT-3.5版本的核心架構,再加上人類回饋(Human feedback)的監督式學習(Supervised learning)和強化學習(Reinforcement learning)對原本GPT進行了微調(Fine tuning),所以ChatGPT會比原本的GPT更能與人對答並做出有效回應。

 

結語

ChatGPT的訓練過程可以簡要描述為:透過大量的文本資料進行非監督式學習,從而學習到單詞、短語、句子之間的相互關係和語義,可以從文本中抽取重要資訊轉為數學向量,最終得到一個能夠生成自然語言文本的模型。在生成過程中,ChatGPT會將輸入的文本進行分析,並根據學習到的語言模型生成與之相關的回答。簡而言之,ChatGPT是一個非常強大的自然語言處理模型,可以幫助我們實現各種自然語言處理任務。當然ChatGPT的回答也不一定是完全正確無誤,在一本正經的回應中隱藏著的錯誤資訊反而很難發覺,更需要考驗人們的資訊判讀能力。到底ChatGPT是不是如NVIDIA黃仁勳執行長所言,是人工智慧領域的iPhone時刻呢? 就讓我們一起見證這些偉大的發展吧!

 

20230620_006503_01

圖1. 使用ChatGPT進行翻譯

 

20230620_006503_02

圖2. 使用ChatGPT總結文句

 

20230620_006503_03

圖3. 使用ChatGPT解析C++程式碼

 

20230620_006503_04

圖4. 使用ChatGPT理解中文