Measured status, size and content hash of robots.txt, llms.txt and sitemap.xml across 50 AI, crypto and developer sites. Reproducible with the same requests; useful for judging how AI-readable a site is.
Self-collected: three public GETs per domain recording status code, byte size and content hash. Results reflect the fetch time; sites change.
Download full JSON (50 rows) Back to free data
| domain | has_llms_txt | has_sitemap | checks |
|---|---|---|---|
| 365rwa.vip | 是 | 是 | {'llms': {'bytes': 29799, 'sha256_16': '636395c11846a16f', 'status': 200}, 'robots': {'bytes': 3904, 'sha256_16': '1ae032f87d171be5', 'status': 200}, 'sitemap': {'bytes': 77679, 'sha256_16': '4d905ca4c37b880a', 'status': 200}} |
| 51cfo.team | 是 | 是 | {'llms': {'bytes': 15881, 'sha256_16': '925db66a00af776a', 'status': 200}, 'robots': {'bytes': 6689, 'sha256_16': 'fa2cd305ba15d321', 'status': 200}, 'sitemap': {'bytes': 133646, 'sha256_16': 'f05386e70a9f26ae', 'status': 200}} |
| 51kaifa.app | 是 | 是 | {'llms': {'bytes': 13429, 'sha256_16': '0fc73cb642cf5503', 'status': 200}, 'robots': {'bytes': 2270, 'sha256_16': '712c3a9479b99c1e', 'status': 200}, 'sitemap': {'bytes': 14099, 'sha256_16': '217728a032ff9008', 'status': 200}} |
| 51pay.pro | 是 | 是 | {'llms': {'bytes': 2537, 'sha256_16': 'd7bd19f115b5ccb9', 'status': 200}, 'robots': {'bytes': 2408, 'sha256_16': '34825e8b1e72dfbb', 'status': 200}, 'sitemap': {'bytes': 725, 'sha256_16': 'c9412cb889a457ee', 'status': 200}} |
| agentledger.company | 是 | 是 | {'llms': {'bytes': 4719, 'sha256_16': '2cc8518ccf29eadf', 'status': 200}, 'robots': {'bytes': 693, 'sha256_16': 'fe4f4ab4e57af23f', 'status': 200}, 'sitemap': {'bytes': 1482, 'sha256_16': 'd592feba45839ce5', 'status': 200}} |
| agentpay.xyz | 否 | 否 | {'llms': {'bytes': 0, 'sha256_16': '', 'status': 402}, 'robots': {'bytes': 0, 'sha256_16': '', 'status': 402}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 402}} |
| agentrank.xyz | 是 | 是 | {'llms': {'bytes': 34489, 'sha256_16': '9e8a320fafd042e7', 'status': 200}, 'robots': {'bytes': 1473, 'sha256_16': '1a9f0fc726000891', 'status': 200}, 'sitemap': {'bytes': 123575, 'sha256_16': 'd8914567a2719371', 'status': 200}} |
| ai.google.dev | 否 | 是 | {'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 81, 'sha256_16': '475cd087af2e4580', 'status': 200}, 'sitemap': {'bytes': 254, 'sha256_16': 'fecc22a34c5db914', 'status': 200}} |
| anthropic.com | 否 | 是 | {'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 71, 'sha256_16': 'b8bb03567cf862a9', 'status': 200}, 'sitemap': {'bytes': 75861, 'sha256_16': '040ab1161042d58f', 'status': 200}} |
| aws.amazon.com | 否 | 否 | {'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 13822, 'sha256_16': 'c1f42540a70f0dcd', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 404}} |
| azure.microsoft.com | 否 | 否 | {'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 2596, 'sha256_16': 'a47c168a428547e6', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 404}} |
| base.org | 是 | 是 | {'llms': {'bytes': 9355, 'sha256_16': 'dcde2556056a44e5', 'status': 200}, 'robots': {'bytes': 117, 'sha256_16': '38f09b6dbed569cd', 'status': 200}, 'sitemap': {'bytes': 455, 'sha256_16': 'a5acc3fc1a0d0a4e', 'status': 200}} |
| binance.com | 否 | 否 | {'llms': {'bytes': 0, 'sha256_16': 'e3b0c44298fc1c14', 'status': 202}, 'robots': {'bytes': 6722, 'sha256_16': '586a4080a9685511', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': 'e3b0c44298fc1c14', 'status': 202}} |
| bybit.com | 否 | 否 | {'llms': {'bytes': 0, 'sha256_16': '', 'status': 0}, 'robots': {'bytes': 0, 'sha256_16': '', 'status': 0}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 0}} |
| chainfir.com | 是 | 是 | {'llms': {'bytes': 5590, 'sha256_16': 'd59d99696ab1ef53', 'status': 200}, 'robots': {'bytes': 2121, 'sha256_16': '82db41183c31cc2b', 'status': 200}, 'sitemap': {'bytes': 22089, 'sha256_16': '95edf4d97eb3ff8c', 'status': 200}} |
| cloudflare.com | 是 | 是 | {'llms': {'bytes': 17173, 'sha256_16': '81d53b543800b2a5', 'status': 200}, 'robots': {'bytes': 1099, 'sha256_16': 'c6e360cc6e931ea3', 'status': 200}, 'sitemap': {'bytes': 200000, 'sha256_16': '49950fd64446d13f', 'status': 200}} |
| cohere.com | 是 | 是 | {'llms': {'bytes': 4805, 'sha256_16': 'cbe3c0cbc37093be', 'status': 200}, 'robots': {'bytes': 352, 'sha256_16': '35ca3084fe515fe5', 'status': 200}, 'sitemap': {'bytes': 128177, 'sha256_16': '0f5f828ce8b362cf', 'status': 200}} |
| coinbase.com | 是 | 否 | {'llms': {'bytes': 7321, 'sha256_16': '06ee994c899e49f7', 'status': 200}, 'robots': {'bytes': 3282, 'sha256_16': '7da87343a8d8b778', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 403}} |
| coingecko.com | 否 | 是 | {'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 8686, 'sha256_16': 'faa5226c7bfb7902', 'status': 200}, 'sitemap': {'bytes': 3824, 'sha256_16': '1c77ab458ecb0a5b', 'status': 200}} |
| defillama.com | 是 | 否 | {'llms': {'bytes': 7125, 'sha256_16': '0e91a4c237686a0f', 'status': 200}, 'robots': {'bytes': 129, 'sha256_16': '1d7188c396a799e9', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 403}} |
| docs.anthropic.com | 是 | 是 | {'llms': {'bytes': 93865, 'sha256_16': '9117fbefafd44f94', 'status': 200}, 'robots': {'bytes': 138, 'sha256_16': 'f4c78b01513e51d3', 'status': 200}, 'sitemap': {'bytes': 200000, 'sha256_16': '444fa8db6cf83e19', 'status': 200}} |
| ethereum.org | 是 | 是 | {'llms': {'bytes': 14976, 'sha256_16': '512a1b4503cb5242', 'status': 200}, 'robots': {'bytes': 264, 'sha256_16': '61aa9c441e8b4c6b', 'status': 200}, 'sitemap': {'bytes': 1975, 'sha256_16': '4ca2be7b2803feff', 'status': 200}} |
| feegate.org | 是 | 是 | {'llms': {'bytes': 12671, 'sha256_16': 'e0f0cb30125fa5e3', 'status': 200}, 'robots': {'bytes': 592, 'sha256_16': '82f498ea8a05969f', 'status': 200}, 'sitemap': {'bytes': 16347, 'sha256_16': 'f2e68cb4f91ddb93', 'status': 200}} |
| firebase.google.com | 否 | 是 | {'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 106, 'sha256_16': '7865b9ccbd536f70', 'status': 200}, 'sitemap': {'bytes': 397, 'sha256_16': '4a45323c91892d12', 'status': 200}} |
| ginkgoprotocol.org | 是 | 是 | {'llms': {'bytes': 2149, 'sha256_16': 'f3e4ea99a07d9986', 'status': 200}, 'robots': {'bytes': 531, 'sha256_16': 'cc51d053b94f6246', 'status': 200}, 'sitemap': {'bytes': 984, 'sha256_16': '6804493e6dd10ef8', 'status': 200}} |
| github.com | 是 | 否 | {'llms': {'bytes': 28658, 'sha256_16': '71d217ec31861520', 'status': 200}, 'robots': {'bytes': 14540, 'sha256_16': 'b622e2dd9b60e854', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 406}} |
| gpuprice.dev | 是 | 是 | {'llms': {'bytes': 23443, 'sha256_16': 'ea966dc56da68332', 'status': 200}, 'robots': {'bytes': 3592, 'sha256_16': 'b1f853fb2332fddb', 'status': 200}, 'sitemap': {'bytes': 163807, 'sha256_16': '200733511931002a', 'status': 200}} |
| huggingface.co | 否 | 是 | {'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 68, 'sha256_16': '045c12bc2b5f1820', 'status': 200}, 'sitemap': {'bytes': 692, 'sha256_16': '97848a713bd2b360', 'status': 200}} |
| kaifaai.app | 是 | 是 | {'llms': {'bytes': 8955, 'sha256_16': 'eb9ec9913e63e7b4', 'status': 200}, 'robots': {'bytes': 2203, 'sha256_16': '6ce8b55a858fd24b', 'status': 200}, 'sitemap': {'bytes': 16490, 'sha256_16': 'eb79b5da9b5e59f3', 'status': 200}} |
| langchain.com | 否 | 是 | {'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 46, 'sha256_16': '9bdb8a801af1e8f8', 'status': 200}, 'sitemap': {'bytes': 106241, 'sha256_16': '9774ccb94b00c669', 'status': 200}} |
| llamaindex.ai | 是 | 否 | {'llms': {'bytes': 23784, 'sha256_16': 'a2076644b9edc32a', 'status': 200}, 'robots': {'bytes': 23863, 'sha256_16': 'a754ed9f75de6ec7', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 404}} |
| mistral.ai | 是 | 是 | {'llms': {'bytes': 5477, 'sha256_16': '4748113d69cf70d1', 'status': 200}, 'robots': {'bytes': 70, 'sha256_16': 'e5543d29282e692d', 'status': 200}, 'sitemap': {'bytes': 224, 'sha256_16': 'd6542fbf81ff4ea4', 'status': 200}} |
| modelcontextprotocol.io | 是 | 是 | {'llms': {'bytes': 50529, 'sha256_16': '30b1a2dd5eca9efb', 'status': 200}, 'robots': {'bytes': 179, 'sha256_16': 'da617760d5f0ec30', 'status': 200}, 'sitemap': {'bytes': 55060, 'sha256_16': '6d9dd522d13dc04a', 'status': 200}} |
| npmjs.com | 否 | 否 | {'llms': {'bytes': 0, 'sha256_16': '', 'status': 403}, 'robots': {'bytes': 0, 'sha256_16': '', 'status': 403}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 403}} |
| okx.com | 是 | 否 | {'llms': {'bytes': 8899, 'sha256_16': '9eed9de977269ea0', 'status': 200}, 'robots': {'bytes': 10188, 'sha256_16': '0e7afd2d1b5d60cb', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 404}} |
| openai.com | 否 | 是 | {'llms': {'bytes': 0, 'sha256_16': '', 'status': 403}, 'robots': {'bytes': 98, 'sha256_16': 'c53100563b9d289e', 'status': 200}, 'sitemap': {'bytes': 3851, 'sha256_16': '7fb1eb6035037640', 'status': 200}} |
| pinecone.io | 是 | 是 | {'llms': {'bytes': 31850, 'sha256_16': 'c873dff48363de28', 'status': 200}, 'robots': {'bytes': 400, 'sha256_16': '56068c256f36a838', 'status': 200}, 'sitemap': {'bytes': 81869, 'sha256_16': 'b2541c24c3ea3161', 'status': 200}} |
| platform.openai.com | 否 | 是 | {'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 293, 'sha256_16': '08fe58693356d17e', 'status': 200}, 'sitemap': {'bytes': 189, 'sha256_16': '9432dd16b1b648ed', 'status': 200}} |
| pypi.org | 否 | 是 | {'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 325, 'sha256_16': 'fd0059b266de42bd', 'status': 200}, 'sitemap': {'bytes': 31217, 'sha256_16': 'a85478015735efd7', 'status': 200}} |
| qdrant.tech | 是 | 是 | {'llms': {'bytes': 27430, 'sha256_16': '2651a55abc4202c9', 'status': 200}, 'robots': {'bytes': 79, 'sha256_16': '7338bab815b53912', 'status': 200}, 'sitemap': {'bytes': 97069, 'sha256_16': '90e6cc3c34398fe8', 'status': 200}} |
| rentgpu.link | 是 | 是 | {'llms': {'bytes': 23443, 'sha256_16': 'dd4bf824076f6728', 'status': 200}, 'robots': {'bytes': 3592, 'sha256_16': '9c70da3b377003b1', 'status': 200}, 'sitemap': {'bytes': 163807, 'sha256_16': 'cd8fb17b05c12eb6', 'status': 200}} |
| replicate.com | 是 | 是 | {'llms': {'bytes': 3408, 'sha256_16': '1b527e8c5a0dac11', 'status': 200}, 'robots': {'bytes': 120, 'sha256_16': 'fb728bd6c9304b5b', 'status': 200}, 'sitemap': {'bytes': 706, 'sha256_16': '6852e14a4c0b82d9', 'status': 200}} |
| solana.com | 否 | 否 | {'llms': {'bytes': 0, 'sha256_16': '', 'status': 429}, 'robots': {'bytes': 0, 'sha256_16': '', 'status': 429}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 429}} |
| stripe.com | 是 | 否 | {'llms': {'bytes': 69923, 'sha256_16': 'd1251f7b78e9f0d5', 'status': 200}, 'robots': {'bytes': 643, 'sha256_16': '23166bdd2477d69a', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 404}} |
| supabase.com | 是 | 是 | {'llms': {'bytes': 3298, 'sha256_16': 'a852f5ea1b51727e', 'status': 200}, 'robots': {'bytes': 121, 'sha256_16': '11eb54a98dca3f52', 'status': 200}, 'sitemap': {'bytes': 440, 'sha256_16': '3ae228012be064ce', 'status': 200}} |
| telmach.org | 否 | 否 | {'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 404}} |
| vercel.com | 是 | 是 | {'llms': {'bytes': 5397, 'sha256_16': '4ab4c962d55a7b4b', 'status': 200}, 'robots': {'bytes': 575, 'sha256_16': 'a8599e75d7d666b9', 'status': 200}, 'sitemap': {'bytes': 200000, 'sha256_16': 'e6e07961880daa8f', 'status': 200}} |
| weaviate.io | 是 | 是 | {'llms': {'bytes': 30077, 'sha256_16': '76aea86810eac399', 'status': 200}, 'robots': {'bytes': 556, 'sha256_16': 'f0d7abe6b9f7e78f', 'status': 200}, 'sitemap': {'bytes': 56624, 'sha256_16': '30578e3f841d6f21', 'status': 200}} |
| web3hire.help | 是 | 是 | {'llms': {'bytes': 14267, 'sha256_16': '21771fde6d3389fc', 'status': 200}, 'robots': {'bytes': 6926, 'sha256_16': '7f119c901d5761bb', 'status': 200}, 'sitemap': {'bytes': 192036, 'sha256_16': '181d3cf3581844f1', 'status': 200}} |
| x402.org | 是 | 是 | {'llms': {'bytes': 3272, 'sha256_16': 'afed9750bde37b18', 'status': 200}, 'robots': {'bytes': 2840, 'sha256_16': '73b1ff5ae5b4edcf', 'status': 200}, 'sitemap': {'bytes': 580, 'sha256_16': 'f9da56ffcc403ab4', 'status': 200}} |
Table shows up to 300 rows; all 50 rows are in the JSON file.