傑愛得資訊》 名詞庫》Transformer模型 |
|
|
Transformer模型於2017年由Google推出
Transformer模型（直譯為「變換器」）是一種採用自注意力機制的深度學習模型，這一機制可以按輸入資料各部分重要性的不同而分配不同的權重。該模型主要用於自然語言處理（NLP）與電腦視覺（CV）領域。
與迴圈神經網路（RNN）一樣，Transformer模型旨在處理自然語言等順序輸入資料，可應用於翻譯、文字摘要等任務。而與RNN不同的是，Transformer模型能夠一次性處理所有輸入資料。注意力機制可以為輸入序列中的任意位置提供上下文。如果輸入資料是自然語言，則Transformer不必像RNN一樣一次只處理一個單詞，這種架構允許更多的平行計算，並以此減少訓練時間。
Transformer模型於2017年由Google大腦的一個團隊推出，現已逐步取代長短期記憶（LSTM）等RNN模型成為了NLP問題的首選模型。
並列化優勢允許其在更大的資料集上進行訓練。這也促成了BERT、GPT等預訓練模型的發展。這些系統使用了維基百科、Common Crawl等大型語料庫進行訓練，並可以針對特定任務進行微調。
|
|
下方繼續閱讀
繼續閱讀keyboard_double_arrow_down
|
基於Transformer模型，2022年11月，OpenAI推出ChatGPT ( Chat Generative Pre-trained Transformer )
Transformer模型後來造就了OpenAI公司的ChatGPT，ChatGPT全稱聊天生成預訓練轉換器（英語：Chat Generative Pre-trained Transformer），是OpenAI開發的人工智慧聊天機器人程式，於2022年11月推出。該程式使用基於GPT-3.5、GPT-4架構的大型語言模型並以強化學習訓練。
ChatGPT目前仍以文字方式互動，而除了可以用人類自然對話方式來互動，還可以用於甚為複雜的語言工作，包括自動生成文字、自動問答、自動摘要等多種任務。如：在自動文字生成方面，ChatGPT可以根據輸入的文字自動生成類似的文字（劇本、歌曲、企劃等），在自動問答方面，ChatGPT可以根據輸入的問題自動生成答案。還有編寫和除錯電腦程式的能力。
在推廣期間，所有人可以免費註冊，並在登入後免費使用ChatGPT與AI機器人對話。 |
|
|
資訊來源 |
| |
| 聯播網： 吉傳媒, 傑愛得資訊, 吉拉X, 劉俊宏, |
| |
|
|
