T01

注意力機制

Attention Mechanism

簡短答案

讓模型在處理序列時能夠動態關注不同位置重要性的技術。

深入解釋

自注意力(Self-Attention)計算序列中每個元素與其他所有元素的相關性得分,使模型能捕捉長距離依賴關係,不受序列長度限制。

實際案例

翻譯「銀行(bank)」一詞時,模型透過注意力機制判斷上下文是「河岸」還是「金融機構」。

本頁為 AIATCL 備考用非官方內容;考試資訊請以主辦單位公告為準。