T01

Transformer 架構

Transformer Architecture

簡短答案

以自注意力機制為核心的深度學習架構,是現代大型語言模型的基礎。

深入解釋

2017 年由 Google 提出(論文《Attention Is All You Need》)。Transformer 能平行處理序列中所有位置的資訊,解決了 RNN 的長程依賴問題,成為 NLP 領域的主流架構。

實際案例

GPT、BERT、T5 等幾乎所有現代 LLM 皆以 Transformer 為基礎架構。

本頁為 AIATCL 備考用非官方內容;考試資訊請以主辦單位公告為準。