Исследователи представили архитектуру Titans и фреймворк MIRAS, позволяющие моделям ИИ обучаться и обновлять память ядра в режиме реального времени. Новый подход сочетает скорость работы РНС с точностью трансформатора, что позволяет моделям масштабироваться до контекстов объемом более 2 миллионов лексем и демонстрировать превосходство в запоминании длинных контекстов, сохраняя при этом эффективность обучения и скорость вывода.