Аудит памяти Jetson

Снимок, ориентированный на память только для чтения (ROM) для Jetson, а также вспомогательная программа drop_caches verify-loop, которая проверяет, что освобожденная память действительно отображается как свободная, а не как кэшированная.

Цель

Измерить текущие потребители памяти Jetson, зафиксировать исходные значения до и после, а также проверить, действительно ли утвержденные пользователем изменения освободили память DRAM. Использовать данные с устройства в режиме реального времени, а не оценки, основанные на размере контейнера, размере модели или общей памяти процесса.

КРИТИЧЕСКОЕ: Память кажется «зависшей» после остановки vLLM / sglang (JetPack ниже версии 7.2 / L4T ниже версии r39.0)

Это наиболее распространённая проблема с памятью в выпусках Jetson до JetPack 7.2 или до L4T r39.0.

После остановки сервера vLLM, sglang или Ollama (или любой рабочей нагрузки CUDA) память, отображаемая как свободная с помощью команд free -h или tegrastats, может не освободиться — даже если процесс уже завершен. Команда nvidia-smi также может показывать вводящие в заблуждение низкие значения свободной памяти GPU.

Основная причина: диспетчер ресурсов (RM) Thor удерживает освобождённые страницы системной памяти (sysmem) в своём собственном пуле после завершения контекста CUDA. На устройствах с архитектурой унифицированной памяти (UMA), таких как Jetson, функция `cudaMemGetInfo` считывает состояние пула RM и сообщает о гораздо меньшем объёме свободной памяти, чем фактически доступно для нового процесса.

Обходной путь (для JetPack версии ниже 7.2 или L4T версии ниже r39.0):

sudo sync && sudo sysctl -w vm.drop_caches=3

Выполните эту команду на хосте, а не внутри контейнера. Важной операцией является команда sudo sysctl -w vm.drop_caches=3; обязательно выполните sudo sync непосредственно перед ней, чтобы грязные данные были очищены до того, как будут сброшены кэши страниц, dentry и inode, подлежащие освобождению. После выполнения этой команды команды free -h и tegrastats будут отображать реальный объем доступной памяти.

Для затронутых версий рекомендуется использовать эту команду, если пользователь сообщает:

• «Память не освободилась после остановки vLLM/sglang»
• «Почему tegrastats по-прежнему показывает высокую загрузку после завершения работы моего контейнера?»
• «OOM, хотя ничего не запущено»
• «Вчера с памятью всё было в порядке, а сейчас она заполнена»

В JetPack версий ниже 7.2 или L4T ниже r39.0 команда drop_caches является надёжным обходным решением, когда память, похоже, застряла после завершения CUDA-нагрузки; в более новых версиях используйте её только в том случае, если наблюдается тот же симптом и пользователь даёт на это согласие.

Когда использовать

• «Сколько памяти используется на этом Jetson? Что её занимает?»
• «Я отключил графический интерфейс / остановил vLLM / вышел из контейнера — действительно ли память освободилась?»
• «Почему команда ` free -h` по-прежнему показывает низкий уровень свободной памяти после того, как я остановил рабочую нагрузку?»
• В качестве исходного значения перед применением jetson-headless-mode или других изменений, связанных с памятью, а также после этого для вычисления фактического изменения.

Необходимые условия

• Запускайте на хосте Jetson или в песочнице/контейнере с доступными для хоста файлами /proc, /etc/nv_tegra_release, tegrastats и данными о процессах.
• Для чтения NvMap из debugfs может потребоваться права root. Если они недоступны, сообщите, что распределение памяти GPU ограничено, а не делайте предположений.
• Скрипт `drop_caches.sh ` требует прав root или использования `sudo -n` без ввода пароля; запускайте его только после того, как пользователь явно разрешит очистку кэша.

Доступные скрипты

Если среда выполнения вашего агента поддерживает функцию run_script, используйте её для запуска скриптов scripts/audit.sh или scripts/drop_caches.sh и сведете в сводку возвращённые результаты. В противном случае запустите скрипты с помощью bash из корневого каталога репозитория.

Инструкции

Чтобы ответить на вопрос «сколько памяти используется в данный момент?», запустите скрипт scripts/audit.sh и укажите в отчете только значения из моментального снимка JSON.

Рекомендации по составлению отчетов

Не ограничивайтесь просто выводом или упоминанием пути к вспомогательной утилите. Запустите эту утилиту, а затем обобщите возвращённые данные.

• На запросы типа «сколько памяти используется» запустите скрипт scripts/audit.sh и укажите значения mem_total_gb, memory_kb.available, а также ведущий процесс из procrank_top или потребителя из nvmap.top_clients.
• Для запросов о памяти в графическом интерфейсе или на рабочем столе запустите скрипт scripts/audit.sh и укажите значение default_systemd_target, а также любой менеджер дисплея из списка candidate_services (gdm3, gdm, lightdm, sddm или display-manager). Ничего не отключайте; передайте задачу в режим jetson-headless-mode для разработки плана.
• Для запросов, явно разрешающих очистку кэша после остановки рабочей нагрузки, запустите скрипт scripts/drop_caches.sh (по умолчанию эквивалентен команде sudo sync && sudo sysctl -w vm.drop_caches=3 ) и сообщите о разнице значений free, available и cached до и после выполнения. Если права root недоступны, объясните, что скрипт необходимо запустить на хосте с помощью sudo.

Если среда выполнения вашего агента не запускает вспомогательные скрипты, расположенные в каталоге данного навыка, укажите пути к скриптам с помощью заполнителя AgentSkills {baseDir}:

{baseDir}/scripts/audit.sh
{baseDir}/scripts/drop_caches.sh

Не используйте jetson-memory-audit в качестве имени инструмента, если среда выполнения явно не регистрирует навыки как вызываемые инструменты; навыки агента обычно представляют собой инструкции и файлы, а не прямые функции инструментов.

Примечание по песочнице для агентов: наличие этого файла навыка не гарантирует доступ к данным памяти хоста Jetson. Если в песочнице NemoClaw/OpenClaw отсутствуют /proc/device-tree/model, /etc/nv_tegra_release, tegrastats, /sys/kernel/debug/nvmap или данные процессов хоста отсутствуют внутри песочницы NemoClaw/OpenClaw, сообщите, что песочнице не доступен хост Jetson, и попросите пользователя запустить программу на хосте Jetson или перезапустить её с профилем песочницы, обеспечивающим доступ к хосту. Не выдумывайте общие объёмы памяти, объёмы доступной памяти, PSS, NvMap или дельты освобождённой памяти.

На вопросы типа «сколько памяти освободило это изменение?» используйте разницу «до» и «после». Не оценивайте объём освобождённой памяти на основе размера контейнера, размера образа, RSS или отдельного моментального снимка после изменения.

1. Перед изменением запустите скрипт scripts/audit.sh и сохраните исходное значение в формате JSON.
2. Внесите одобренное пользователем изменение (остановите контейнер, переключите режим, примените рекомендацию по настройке и т. д.).
3. В JetPack версии ниже 7.2 / L4T версии ниже r39.0 или при наблюдении того же симптома «застрявшей» памяти в более новой версии очистите кэш страниц, подлежащих рекуперации, на хосте (не внутри контейнера), чтобы освобождённые страницы отображались как свободные, а не как кэшированные:

   sudo sync && sudo sysctl -w vm.drop_caches=3
   
   

4. Запустите скрипт scripts/audit.sh заново и сравните значение memory_kb.available до и после — эта разница и будет объёмом реально освободленной памяти.

Если пользователь уже внес изменение и исходных данных нет, сообщите, что точное количество освобожденной памяти невозможно определить только по текущему снимку. Сделайте новый снимок сейчас, чтобы можно было измерить следующее изменение.

Используйте данные аудита в режиме реального времени в качестве достоверного источника. Общий объём памяти, объём доступной памяти, общие показатели NvMap, значения PSS, состояние дисплейного менеджера и разница в объёме освобождённой памяти должны быть получены из скрипта scripts/audit.sh, команды free -h или tegrastats на самом устройстве. Если какое-либо значение отсутствует в этих выводах, не пытайтесь его угадать.

Формат вывода для audit.sh

{
  "sku": "orin-nano",
  "variant": "orin-nano-8gb",
  "mem_total_gb": 8,
  "l4t_version": "36.4.0",
  "product_model": "nvidia jetson orin nano developer kit",
  "memory_kb": { "total": 8123456, "available": 4123456, "free": 1023456, "cached": 1234567, "swap_total": 0, "swap_free": 0 },
  "default_systemd_target": "graphical.target",
  "candidate_services": { "gdm3": { "active": "active", "enabled": "enabled" } },
  "tegrastats_sample": "RAM 4011/8138 МБ (lfb 8x4 МБ) ...",
  "nvmap": { "readable": false, "total_kb": 0, "top_clients": [] },
  "procrank_top": [ { "pid": 4321, "pss_kb": 4000000, "cmd": "vllm" } ]
}

Ограничения

• Для точного определения разницы в объёме освобождённой памяти требуются: предварительный снимок, утверждённое пользователем изменение, очистка кэша (при необходимости) и последующий снимок.
• Атрибуция NvMap зависит от доступа к debugfs, видимому хосту; если он недоступен, следует сообщать об ограниченной атрибуции памяти GPU вместо предположений.
• При запуске в песочнице или контейнере данные хоста /proc, tegrastats, systemd или NvMap могут быть недоступны, если среда выполнения их не предоставляет.

Обработка ошибок

• Если скрипт scripts/audit.sh не может получить доступ к данным хоста Jetson, сообщите об отсутствии видимости и попросите перезапустить скрипт на хосте Jetson или в песочнице, видимой с хоста.
• Если у скрипта scripts/drop_caches.sh отсутствуют права root или возможность использования sudo -n без ввода пароля, сообщите, что очистка кэша должна быть выполнена на хосте с разрешением sudo.
• Если не существует предыдущего снимка, сообщите, что точный объём освободившегося места невозможно определить только по текущему состоянию, и зафиксируйте новый базовый уровень для следующего изменения.

Безопасность

Только для чтения. Команда `drop_caches` не разрушает данные (ядро в любом случае освобождает только те страницы, которые оно могло бы освободить в условиях нагрузки; сначала запускается команда `sync` для сохранения несохраненных данных).

Передача в режим

• jetson-headless-mode — наибольший выигрыш в пользовательском пространстве на системах, которые по-прежнему загружаются с graphical.target.
• jetson-inference-mem-tune — когда сервер модели является главным потребителем NvMap / PSS.
• Если изменения во время выполнения не позволяют достичь целевого значения, следует сообщить, что дальнейшее освобождение памяти выходит за рамки возможностей данного навыка, а не предлагать небезопасные изменения на этапе загрузки.