Итак, материал Как отключить изменение robots.txt? не помог вам.

Пожалуйста, проверьте, наблюдается ли ваша проблема, когда Lightning отключен?