Dalla risposta di JohnMu sembrerebbe che questi
link siano utilizzati per scoprire nuovi contenuti, e quindi ai soli fini di indicizzazione. C'č perņ quell'avverbio "primarily" che lascia qualche dubbio su altri possibili utilizzi.
Anche dove dice che questi errori 404 non dovrebbero creare nessun problema al sito, rimane da capire il senso dell'espressione "in the long run".