<div dir="auto"><div><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">Wayne Sherman via fpc-pascal <<a href="mailto:fpc-pascal@lists.freepascal.org">fpc-pascal@lists.freepascal.org</a>> schrieb am Do., 16. Apr. 2026, 17:35:</div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">The FPC wiki website is also blocked from <a href="http://archive.org" rel="noreferrer noreferrer" target="_blank">archive.org</a>.  Note the<br>
latest capture for this page:<br>
<a href="https://web.archive.org/web/20250909050155/https://wiki.freepascal.org/Release_engineering" rel="noreferrer noreferrer" target="_blank">https://web.archive.org/web/20250909050155/https://wiki.freepascal.org/Release_engineering</a></blockquote></div></div><div dir="auto"><br></div><div dir="auto">That is a side effect of Anubis and could be adjusted by whitelisting the crawler from the Archive. </div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Are these pages also blocked from Google search and other search<br>
engines?  I am unable to check that but someone with write access to<br>
the web server can check and monitor the status of Google's web<br>
crawler indexes.  See here:<br>
<a href="https://support.google.com/webmasters/answer/9012289?hl=en" rel="noreferrer noreferrer" target="_blank">https://support.google.com/webmasters/answer/9012289?hl=en</a></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Ordinary search engine crawlers are already whitelisted by Anubis. </div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Question:<br>
"What will the long term consequences be of blocking any of the Free<br>
Pascal (fpc) websites (i.e. the main website, the forum, and the wiki)<br>
from AI / LLM tools, <a href="http://archive.org" rel="noreferrer noreferrer" target="_blank">archive.org</a>, and web search engines? How will<br>
users and potential new users of Free Pascal be affected? Summarize in<br>
one paragraph."<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">It's not relevant what a Stochastic Parrot thinks about this. What is important is the reality: if we're *not* blocking the Ai crawlers then the Wiki will be down for *everyone*. Before we added Anubis as a protection the wiki was often not accessible by anyone due to the high amount of traffic added by Ai crawlers. You can see this with the forum which regularly receives high amounts of traffic due to crawlers and then isn't reachable until one of the admins blocks a wide range of IPs used by those crawlers. </div><div dir="auto">And no, a CDN like Cloudflare is not a solution we are willing to use because that is it's own can of worms. </div><div dir="auto"><br></div><div dir="auto">Regards, </div><div dir="auto">Sven </div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
</blockquote></div></div></div>