ترانسفۆرمەر (مۆدێلی فێربوونی ئامێر)
ترانسفۆرمەر مۆدێلێکی فێربوونی قوڵە کە میکانیزمی "سەرنجی خود" بەکاردەهێنێت بۆ فێربوون، بە شێوەیەکی جیاواز گرنگی هەر بەشێک لە داتای ناوەوە هەڵدەبژێرێت. بە شێوەیەکی سەرەکی لە بوارەکانی پرۆسەی زمانی سروشتی (NLP) و بینینی کۆمپیوتەر (CV) بەکاردێت.

وەک تۆڕەکانی دەماری چەنبارە (RNN)، گۆڕاوەکان دیزاینکراون بۆ پرۆسەکردنی داتای زنجیرەیی، وەک زمانی سروشتی، لەگەڵ جێبەجێکردن بۆ ئەرکی وەک وەرگێڕان و پوختەکردنی وتار. لەگەڵ ئەوەشدا، بەپێچەوانەی RNN، گۆڕاوەکان هەموو ئەو دراوەکە لە یەک کاتدا پرۆسە دەکەن. میکانیزمی سەرنجدان چوارچێوەی هەر پێگەیەک لە زنجیرەی ناوەوە دابین دەکات. بۆ نموونە، ئەگەر داتای ناوەوە ڕستەیەکی زمانی سروشتی بێت، ئەوا ترانسفۆرمەرەکە پێویست ناکات یەک وشە لە یەک کاتدا چارەسەر بکات. ئەمە ڕێگە دەدات بە هاوتەریبکردنی زیاتر لە RNN و لەبەر ئەوە کاتەکانی ڕاهێنان کەم دەکاتەوە.

ترانسفۆڕمەرەکان لە ساڵی ٢٠١٧ لەلایەن تیمێک لە گووگڵ برەینەوە خرایە ڕوو و زیاتر مۆدێلی هەڵبژاردنیان بۆ کێشەکانی NLP بوو، لە جیاتی مۆدێلى RNN وەک بیرگەی درێژخایەن-کورتخایەن (LSTM). هاوتەریبکردنی ڕاهێنانی زیادە ڕێگە بە ڕاهێنان دەدات لەسەر کۆمەڵە داتای گەورەتر. ئەمە بووە هۆی پەرەپێدانی سیستەمەکانی پێش ڕاهێنان وەک BERT (Bidirectional Encoder Representations from Transformers) و GPT (Generative Pre-trained Transformer) ، کە ڕاهێنراون بە کۆمەڵە داتای زمانە گەورەکان، وەک ویکیپیدیا Corpus و Common Crawl، و دەکرێت بە باشی ڕێکخراو بکرێن بۆ ئەرکێکی دیاریکراو.

پێڕست