Выключить оверлей по горячей клавише.
Качество зависит от алгоритма сжатия и битрейта. В АВ я выставляю формат видео MJPG, или можно писать вообще без сжатия(BMP). Для второго нужен быстрый диск.
Если карта nVidia, а качество не обязательно кристально чистое, можно использовать nvenc. Формат видео выбрать "внешний модуль, Nvidia Nvenc" Выставить качество на макс, битрейт 50. Записи будут норм и весят мало.
Как вариант на процессорах Intel можно выбрать quicksync.