Я записывал напрямую с хорошим качеством в двух программах: ZD Soft Screen Recorder и Bandicam. Если подобрать оптимальные настройки, то пишется отлично сходу (при достаточно мощном ПК). Для снижения нагрузки и уменьшения лагов можно использовать специальные реалтаймовые режимы кодирования (во всех нормальных кодеках такой режим есть) и записывать звук без кодирования (в PCM WAV). В случае с AVI звук потом можно легко пережать в любой формат в Virtual Dub без перекодировки самого видео. Ну и можно, действительно, записать демку в самом Ксаше, а потом просто проигрывать её и писать видео.
Консольные команды, если что: демку писать - record, остановить - stop, проиграть - playdemo <имя_демки>.
П. С. Ещё, конечно же, влияет разрешение экрана или режим экран/окно, но это легко настраивается + можно ограничить fps игры до того fps, которое используется в настройках кодека для записи видео (тоже может положительно сказаться, хотя тут стоит на конкретном опыте проверить).