Robots.txt и noindex управляют разными вещами
В справке Google noindex описан как правило запрета индексации через метатег или HTTP-заголовок. Чтобы робот прочитал правило на странице, он должен получить к ней доступ. Блокировка обхода в robots.txt не равнозначна прочитанному noindex.
Это объясняет, почему нельзя чинить любой случай отсутствия страницы удалением первой найденной строки. Ограничение может быть намеренным: например, для служебного раздела. Сначала определяют, какой URL должен быть публичным и кто согласовал его поисковый статус.
В проверенном примере запрещающий noindex не обнаружен. Но из этого не следует, что поисковик уже посетил страницу, выбрал её как основную или включил в выдачу. Такие выводы требуют других данных.