Recurrent Looped Transformer: цикл вычислений растянули между токенами
В новом техническом отчёте декодер Transformer предлагают сделать рекуррентным для каждого токена: глубина вычислений растёт вместе с длиной последовательности, а стоимость обработки одного токена остаётся постоянной.