Roboty AI to tak naprawdę kilka różnych robotów. Plik robots.txt pozwala osobno zdecydować, czy treści strony mogą trafić do trenowania modeli i czy strona ma