Лингвистические модели используют специальное представление для слов — встраивание (embedding). Каждое слово представляется как многомерный вектор: набор из 50 чисел. До начала обучения эти представления случайны. Но в процессе обучения они смещаются и группируются в 50-мерном пространстве. У обученной сети векторы, представляющие слова, обладают интересными свойствами:
* Близкие по смыслу слова оказываются рядом, а далёкие — далеко
* Слова с несколькими смыслами оказываются где-то посреди своих значений по отдельности
* Если два слова связаны каким-то отношением, например, Россия и Москва, то это отношение прослеживается и в других парах слов с таким же отношением, например, Великобритания и Лондон. Россия от Москвы будет расположена на таком же расстоянии и в таком же направлении, как Великобритания от Лондона. Векторная арифметика позволяет делать перенос знаний:
```
Россия - Москва + Лондон = Великобритания
```
На этом явлении основан машинный перевод.

Хотя «exists» и «существует» не встречаются в одном и том же контексте, но они фундаментально означают одно и то же, и это может приводить к тому, что они получают схожую кодировку; между «exists» и «существует» образуется геометрическая связь.

Наконец, эти два слова могут встречаться в одном контексте: в англо-русском словаре.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence