Что такое LLM и как работает большая языковая модель

LLM, или Large Language Model, — большая языковая модель, обученная продолжать последовательность текста. Она получает контекст, оценивает вероятности возможных следующих токенов и выбирает продолжение. Токен — это не обязательно целое слово: им может быть часть слова, знак пунктуации или короткая последовательность символов.

Как LLM превращает запрос в ответ

Работу модели удобно представить как четыре этапа:

1. Токенизация. Запрос разбивается на токены и переводится в числовые идентификаторы.
2. Представление контекста. Transformer сопоставляет токены друг с другом через механизм attention. Благодаря этому модель учитывает, к чему относится местоимение, какой код был показан выше и какое ограничение задал пользователь.
3. Предсказание следующего токена. На каждом шаге модель строит распределение вероятностей.
4. Генерация. Выбранный токен добавляется в контекст, после чего процесс повторяется.

LLM не достаёт готовый ответ из базы. Она каждый раз генерирует последовательность заново. Поэтому один и тот же запрос при ненулевой температуре может дать разные формулировки.