Процессоры на сервере ESXi того же вендора, что были на железном сервере?
Можно попробовать отключить функции аппаратной виртуализации и MMU для этой виртуальной машины.
Теоретически, можно еще сделать резерв по памяти, перезагрузить сервер и посмотреть на поведение.
Возможно, поможет вложенный запуск программы через DosBox.