Сегодня я расскажу об ограничениях виртуального адресного пространства Windows и о том, как бороться с ошибками «Недостаточно памяти», возникающие у 32-битных программ и игр, когда объем используемой ими памяти достигает 2 Гигабайт. Несколько простых способов обойти это ограничение и заставить приложения использовать более 2ГБ памяти.
Для начала немного теории об архитектуре процессоров и операционных систем, так как именно эти факторы определяют количество памяти доступное для приложений. Тем, кому теоретическая часть не интересна, можете сразу перейти к описанию решения проблемы.
Архитектура x86
Все современные десктоп процессоры Intel или AMD (и не только) основаны на x86 архитектуре, которая была впервые реализована в процессорах Intel 8086, вышедших в 1978 году. Вплоть до Intel 80386 (i386) процессоры были 16-bit и могли использовать лишь до 16 MB ОЗУ. Вышедшие в 1985 году i386 процессоры стали 32-bit, что дает возможность адресации до 4 GB оперативной памяти (до 64 GB в режиме PAE, но при этом приложения могут использовать так же только до 4 GB).
Понятное дело, что в те годы 4 GB выглядело практически недостижимым. Но ничто не стоит на месте и со временем этого оказалось мало. В 2003 году компания AMD (ага, уже не Intel) в своих новых процессорах линейки Opteron внедрила расширение x86-64 (другие названия: AMD64, Intel64, x64, EM64T). Это расширение имело ряд улучшений: 64 битные основные регистры, дополнительные регистры и расширение адресного пространства. Текущая реализация позволяет использовать до 256 TB виртуального адресного пространства, при теоретическом максимуме в 16 EB (ExbiByte — 264 байт). Процессоры Intel поддерживают расширение x86-64 (AMD64) со старших моделей Pentium 4 (Prescott и далее).
x86 и x64 операционные системы
Применимо к ОС (Операционные Системы) используется обозначения x86 (в обиходе часто обозначается как x32) и x64, являющиеся 32-разрядными и 64-разрядными соответственно. Их различие в том, что x64 поддерживают AMD64, давая возможность использовать его преимущества, а x86 его не поддерживает (и не использует). На практике это дает определенные особенности и ограничения.
- 64-разрядная ОС требует процессора с поддержкой AMD64 (все современные процессоры от Intel или AMD)
- 32- разрядная ОС может работать, как на процессоре с поддержкой AMD64, так и без нее (но такую древность еще найти нужно)
- 64-разрядные приложения работают только на 64-разрядной ОС
- 32-разрядные приложения полноценно работают и на x32 и на x64 ОС, но преимуществ AMD64 они использовать не могут
На данный момент идет постепенный отказ от x86 операционных систем в пользу x64. Например, серверные версии Windows, начиная с 2008 R2, выпускаются только 64-разрядными. То же Microsoft частенько грозят сделать и для новых десктопных версий, но пока не делают.
Ограничения виртуальной памяти в Windows
У каждой версии Windows есть определенные ограничения по использованию физической и виртуальной памяти (можно посмотреть по ). И если ограничение физической памяти связано, скорее, с лицензированием, то с ограничениями виртуальной все немного сложней.
Нас же интересует только виртуальная память, так как именно с ней взаимодействуют приложения. Если не вдаваться в подробности, то технология виртуальной памяти позволяет каждому процессу иметь свою собственную память – адресное пространство, которое виртуально не пересекается с адресными пространствами других процессов. То есть приложение «считает», что память принадлежит только ему одному и может даже использовать больше имеющегося объема физической ОЗУ, а уже распределением и согласованием занимается ОС.
И так, для 32-разрядных Windows общее ограничение виртуальной памяти – 4 GB (как и для 32-разрядных процессоров). 64-разрядные имеют ограничение от 15 до 256 TB в зависимости от версии. Но, любая редакция Windows делит общее адресное пространство на две части: user mode (пользовательский режим) – память, доступная приложениям и kernel mode (режим ядра) – память, используемая системой. И, если на х64 приложениям достается 8 – 128 GB, то для x32 это всего лишь 2 GB (фактически ~1.7-1.8 GB). При достижении этого лимита, приложение выдаст ошибку и будет закрыто, или просто «вылетит» без каких либо предупреждений.
Как устроена память в Windows, подробно расписано в Марка Руссиновича.
Функция настройки памяти 4GT
Для Windows x86 существует официальный «костыль», позволяющий перераспределить виртуальную память, давая приложениям до 3 GB, при этом уменьшая системное пространство до 1 GB. Называется это . Как это выглядит, продемонстрированно на следующей схеме (слева – по-умолчанию, справа – с применением 4GT):
Включается опция следующим образом:
Для Windows XP/2003 – добавлением ключа /3GB в файле Boot.ini
Для Windows Vista/7/8 – команда BCDEdit /set increaseuserva 3072 (Пуск > Стандартные (Start > Accessories), правой кнопкой по Командная строка (Command Prompt) – Запуск от имени администратора (Run as Administrator), ввести и запустить команду).
Включение данной опции может привести к некорректной работе некоторых драйверов, программ или Windows в целом.
Флаг IMAGE_FILE_LARGE_ADDRESS_AWARE
Приложение сможет использовать свыше 2 GB виртуального адресного пространства, только если оно скомпилировано с параметром IMAGE_FILE_LARGE_ADDRESS_AWARE. Все 64-разрядные приложения по-умолчанию имеют этот параметр (в этом их суть), а вот 32-разрядные могут иметь его или не иметь – тут все зависит от программиста, который поставил эту опцию при компиляции или не поставил.
Этот флаг – это то, что нам нужно, чтобы заставить 32 битное приложение использовать больше 2 GB памяти. Запуск такого 32-bit приложения на Windows x32 с применением 4GT даст ему до 3 GB памяти (фактически ~2.8 GB), а на Windows x64 все 4 GB.
К счастью, выставить этот флаг для любого приложения можно самостоятельно. Для этого есть несколько способов.
Перед тем, как приступить убедитесь, что приложение, которое вы хотите изменить, в данный момент закрыто.
4GB Patch
Самый простой способ.
Для начала скачайте программу или отсюда:
Скачать 4GB Patch (Версия 1.0.0.1, 21 КБ, Скачан 4194)
После запуска 4gb_patch.exe откроется стандартное диалоговое окно «Открытие файла», где вам нужно указать .EXE файл, который вы собираетесь изменить.
Сразу после выбора файла появится окно программы, подтверждая успешную операцию. Далее вы можете изменить другой файл (нажав Another File) или закрыть программу (нажав OK).
Имейте в виде, что у программы нет обратного действия, поэтому в папке с изменяемым файлом она сохраняет его резервную копию с расширением .Backup.
CFF Explorer
Для тех, кто точно знает, что делает.
CFF Explorer – бесплатная и довольно мощная программа для работы с PE заголовками от автора 4 GB Patch. Скачать можно .
- Установив и запустив программу, открываем нужный .EXE файл.
- Переходим к пункту File Header.
- Щелкаем в правом нижнем углу появившейся таблицы (так и написано – Click here).
- В открывшемся окне выставляем галочку напротив App can handle >2gb address space.
- Применяем и сохраняем файл.
Как видно, программа позволяет редактировать и другие параметры, имеет большое количество инструментов и даже встроенный дизассемблер.
Обратное действие – то же самое, с той разницей, что галочку мы убираем.
EDITBIN.EXE
Небольшая утилита EDITBIN.EXE, которая есть в комплекте Microsoft Visual Studio.
Действия следующие (запускается из командной строки):
Выставить: EDITBIN.EXE /LARGEADDRESSAWARE name.exe
Убрать: EDITBIN.EXE /LARGEADDRESSAWARE:NO name.exe
С помощью этого же параметра (/LARGEADDRESSAWARE) использование памяти для проектов Visual Studio.
Заключение
Суммируя вышесказанное – для того, чтобы 32-разрядное приложение могло использовать более 2 GB памяти должны быть соблюдены два условия:
- Приложение должно быть установлено на Windows x64 (предпочтительней) или Windows x86 с включенным 4GT.
- Приложение должно иметь флаг IMAGE_FILE_LARGE_ADDRESS_AWARE