Настольная книга по Linux/Как гарантировано выделить/зарезервировать физическую/виртуальную память?
Внешний вид
1) выделить память при помощи mmap(MAP_ANONYMOUS|MAP_LOCKED)
2) сделать mlock() после выделения памяти
3) попытатся сделать sysctl_overcommit_memory == OVERCOMMIT_NEVER