免费区 · Free Data

站点 AI 可读性探测（robots / llms.txt / sitemap）

对 50 个 AI、加密与开发者站点实测 robots.txt、llms.txt、sitemap.xml 的可访问状态、字节与内容 hash。同一命令任何人可复算，用于判断一个站点对 AI 爬虫的友好度。

50 条记录 · 采集于 2026-11-03T10:17:03Z · 来源 https://feegate.org/free/ai-readability

本站自采数据：对每个域名只发 3 次公开 GET，记录状态码、字节数与内容 hash。探测时间为采集时刻，站点随时可能变化。

下载全量 JSON（50 条） 返回免费区

前 300 条

domainhas_llms_txthas_sitemapchecks
365rwa.vip是是{'llms': {'bytes': 29799, 'sha256_16': '636395c11846a16f', 'status': 200}, 'robots': {'bytes': 3904, 'sha256_16': '1ae032f87d171be5', 'status': 200}, 'sitemap': {'bytes': 77679, 'sha256_16': '4d905ca4c37b880a', 'status': 200}}
51cfo.team是是{'llms': {'bytes': 15881, 'sha256_16': '925db66a00af776a', 'status': 200}, 'robots': {'bytes': 6689, 'sha256_16': 'fa2cd305ba15d321', 'status': 200}, 'sitemap': {'bytes': 133646, 'sha256_16': 'f05386e70a9f26ae', 'status': 200}}
51kaifa.app是是{'llms': {'bytes': 13429, 'sha256_16': '0fc73cb642cf5503', 'status': 200}, 'robots': {'bytes': 2270, 'sha256_16': '712c3a9479b99c1e', 'status': 200}, 'sitemap': {'bytes': 14099, 'sha256_16': '217728a032ff9008', 'status': 200}}
51pay.pro是是{'llms': {'bytes': 2537, 'sha256_16': 'd7bd19f115b5ccb9', 'status': 200}, 'robots': {'bytes': 2408, 'sha256_16': '34825e8b1e72dfbb', 'status': 200}, 'sitemap': {'bytes': 725, 'sha256_16': 'c9412cb889a457ee', 'status': 200}}
agentledger.company是是{'llms': {'bytes': 4719, 'sha256_16': '2cc8518ccf29eadf', 'status': 200}, 'robots': {'bytes': 693, 'sha256_16': 'fe4f4ab4e57af23f', 'status': 200}, 'sitemap': {'bytes': 1482, 'sha256_16': 'd592feba45839ce5', 'status': 200}}
agentpay.xyz否否{'llms': {'bytes': 0, 'sha256_16': '', 'status': 402}, 'robots': {'bytes': 0, 'sha256_16': '', 'status': 402}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 402}}
agentrank.xyz是是{'llms': {'bytes': 34489, 'sha256_16': '9e8a320fafd042e7', 'status': 200}, 'robots': {'bytes': 1473, 'sha256_16': '1a9f0fc726000891', 'status': 200}, 'sitemap': {'bytes': 123575, 'sha256_16': 'd8914567a2719371', 'status': 200}}
ai.google.dev否是{'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 81, 'sha256_16': '475cd087af2e4580', 'status': 200}, 'sitemap': {'bytes': 254, 'sha256_16': 'fecc22a34c5db914', 'status': 200}}
anthropic.com否是{'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 71, 'sha256_16': 'b8bb03567cf862a9', 'status': 200}, 'sitemap': {'bytes': 75861, 'sha256_16': '040ab1161042d58f', 'status': 200}}
aws.amazon.com否否{'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 13822, 'sha256_16': 'c1f42540a70f0dcd', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 404}}
azure.microsoft.com否否{'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 2596, 'sha256_16': 'a47c168a428547e6', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 404}}
base.org是是{'llms': {'bytes': 9355, 'sha256_16': 'dcde2556056a44e5', 'status': 200}, 'robots': {'bytes': 117, 'sha256_16': '38f09b6dbed569cd', 'status': 200}, 'sitemap': {'bytes': 455, 'sha256_16': 'a5acc3fc1a0d0a4e', 'status': 200}}
binance.com否否{'llms': {'bytes': 0, 'sha256_16': 'e3b0c44298fc1c14', 'status': 202}, 'robots': {'bytes': 6722, 'sha256_16': '586a4080a9685511', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': 'e3b0c44298fc1c14', 'status': 202}}
bybit.com否否{'llms': {'bytes': 0, 'sha256_16': '', 'status': 0}, 'robots': {'bytes': 0, 'sha256_16': '', 'status': 0}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 0}}
chainfir.com是是{'llms': {'bytes': 5590, 'sha256_16': 'd59d99696ab1ef53', 'status': 200}, 'robots': {'bytes': 2121, 'sha256_16': '82db41183c31cc2b', 'status': 200}, 'sitemap': {'bytes': 22089, 'sha256_16': '95edf4d97eb3ff8c', 'status': 200}}
cloudflare.com是是{'llms': {'bytes': 17173, 'sha256_16': '81d53b543800b2a5', 'status': 200}, 'robots': {'bytes': 1099, 'sha256_16': 'c6e360cc6e931ea3', 'status': 200}, 'sitemap': {'bytes': 200000, 'sha256_16': '49950fd64446d13f', 'status': 200}}
cohere.com是是{'llms': {'bytes': 4805, 'sha256_16': 'cbe3c0cbc37093be', 'status': 200}, 'robots': {'bytes': 352, 'sha256_16': '35ca3084fe515fe5', 'status': 200}, 'sitemap': {'bytes': 128177, 'sha256_16': '0f5f828ce8b362cf', 'status': 200}}
coinbase.com是否{'llms': {'bytes': 7321, 'sha256_16': '06ee994c899e49f7', 'status': 200}, 'robots': {'bytes': 3282, 'sha256_16': '7da87343a8d8b778', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 403}}
coingecko.com否是{'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 8686, 'sha256_16': 'faa5226c7bfb7902', 'status': 200}, 'sitemap': {'bytes': 3824, 'sha256_16': '1c77ab458ecb0a5b', 'status': 200}}
defillama.com是否{'llms': {'bytes': 7125, 'sha256_16': '0e91a4c237686a0f', 'status': 200}, 'robots': {'bytes': 129, 'sha256_16': '1d7188c396a799e9', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 403}}
docs.anthropic.com是是{'llms': {'bytes': 93865, 'sha256_16': '9117fbefafd44f94', 'status': 200}, 'robots': {'bytes': 138, 'sha256_16': 'f4c78b01513e51d3', 'status': 200}, 'sitemap': {'bytes': 200000, 'sha256_16': '444fa8db6cf83e19', 'status': 200}}
ethereum.org是是{'llms': {'bytes': 14976, 'sha256_16': '512a1b4503cb5242', 'status': 200}, 'robots': {'bytes': 264, 'sha256_16': '61aa9c441e8b4c6b', 'status': 200}, 'sitemap': {'bytes': 1975, 'sha256_16': '4ca2be7b2803feff', 'status': 200}}
feegate.org是是{'llms': {'bytes': 12671, 'sha256_16': 'e0f0cb30125fa5e3', 'status': 200}, 'robots': {'bytes': 592, 'sha256_16': '82f498ea8a05969f', 'status': 200}, 'sitemap': {'bytes': 16347, 'sha256_16': 'f2e68cb4f91ddb93', 'status': 200}}
firebase.google.com否是{'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 106, 'sha256_16': '7865b9ccbd536f70', 'status': 200}, 'sitemap': {'bytes': 397, 'sha256_16': '4a45323c91892d12', 'status': 200}}
ginkgoprotocol.org是是{'llms': {'bytes': 2149, 'sha256_16': 'f3e4ea99a07d9986', 'status': 200}, 'robots': {'bytes': 531, 'sha256_16': 'cc51d053b94f6246', 'status': 200}, 'sitemap': {'bytes': 984, 'sha256_16': '6804493e6dd10ef8', 'status': 200}}
github.com是否{'llms': {'bytes': 28658, 'sha256_16': '71d217ec31861520', 'status': 200}, 'robots': {'bytes': 14540, 'sha256_16': 'b622e2dd9b60e854', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 406}}
gpuprice.dev是是{'llms': {'bytes': 23443, 'sha256_16': 'ea966dc56da68332', 'status': 200}, 'robots': {'bytes': 3592, 'sha256_16': 'b1f853fb2332fddb', 'status': 200}, 'sitemap': {'bytes': 163807, 'sha256_16': '200733511931002a', 'status': 200}}
huggingface.co否是{'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 68, 'sha256_16': '045c12bc2b5f1820', 'status': 200}, 'sitemap': {'bytes': 692, 'sha256_16': '97848a713bd2b360', 'status': 200}}
kaifaai.app是是{'llms': {'bytes': 8955, 'sha256_16': 'eb9ec9913e63e7b4', 'status': 200}, 'robots': {'bytes': 2203, 'sha256_16': '6ce8b55a858fd24b', 'status': 200}, 'sitemap': {'bytes': 16490, 'sha256_16': 'eb79b5da9b5e59f3', 'status': 200}}
langchain.com否是{'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 46, 'sha256_16': '9bdb8a801af1e8f8', 'status': 200}, 'sitemap': {'bytes': 106241, 'sha256_16': '9774ccb94b00c669', 'status': 200}}
llamaindex.ai是否{'llms': {'bytes': 23784, 'sha256_16': 'a2076644b9edc32a', 'status': 200}, 'robots': {'bytes': 23863, 'sha256_16': 'a754ed9f75de6ec7', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 404}}
mistral.ai是是{'llms': {'bytes': 5477, 'sha256_16': '4748113d69cf70d1', 'status': 200}, 'robots': {'bytes': 70, 'sha256_16': 'e5543d29282e692d', 'status': 200}, 'sitemap': {'bytes': 224, 'sha256_16': 'd6542fbf81ff4ea4', 'status': 200}}
modelcontextprotocol.io是是{'llms': {'bytes': 50529, 'sha256_16': '30b1a2dd5eca9efb', 'status': 200}, 'robots': {'bytes': 179, 'sha256_16': 'da617760d5f0ec30', 'status': 200}, 'sitemap': {'bytes': 55060, 'sha256_16': '6d9dd522d13dc04a', 'status': 200}}
npmjs.com否否{'llms': {'bytes': 0, 'sha256_16': '', 'status': 403}, 'robots': {'bytes': 0, 'sha256_16': '', 'status': 403}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 403}}
okx.com是否{'llms': {'bytes': 8899, 'sha256_16': '9eed9de977269ea0', 'status': 200}, 'robots': {'bytes': 10188, 'sha256_16': '0e7afd2d1b5d60cb', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 404}}
openai.com否是{'llms': {'bytes': 0, 'sha256_16': '', 'status': 403}, 'robots': {'bytes': 98, 'sha256_16': 'c53100563b9d289e', 'status': 200}, 'sitemap': {'bytes': 3851, 'sha256_16': '7fb1eb6035037640', 'status': 200}}
pinecone.io是是{'llms': {'bytes': 31850, 'sha256_16': 'c873dff48363de28', 'status': 200}, 'robots': {'bytes': 400, 'sha256_16': '56068c256f36a838', 'status': 200}, 'sitemap': {'bytes': 81869, 'sha256_16': 'b2541c24c3ea3161', 'status': 200}}
platform.openai.com否是{'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 293, 'sha256_16': '08fe58693356d17e', 'status': 200}, 'sitemap': {'bytes': 189, 'sha256_16': '9432dd16b1b648ed', 'status': 200}}
pypi.org否是{'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 325, 'sha256_16': 'fd0059b266de42bd', 'status': 200}, 'sitemap': {'bytes': 31217, 'sha256_16': 'a85478015735efd7', 'status': 200}}
qdrant.tech是是{'llms': {'bytes': 27430, 'sha256_16': '2651a55abc4202c9', 'status': 200}, 'robots': {'bytes': 79, 'sha256_16': '7338bab815b53912', 'status': 200}, 'sitemap': {'bytes': 97069, 'sha256_16': '90e6cc3c34398fe8', 'status': 200}}
rentgpu.link是是{'llms': {'bytes': 23443, 'sha256_16': 'dd4bf824076f6728', 'status': 200}, 'robots': {'bytes': 3592, 'sha256_16': '9c70da3b377003b1', 'status': 200}, 'sitemap': {'bytes': 163807, 'sha256_16': 'cd8fb17b05c12eb6', 'status': 200}}
replicate.com是是{'llms': {'bytes': 3408, 'sha256_16': '1b527e8c5a0dac11', 'status': 200}, 'robots': {'bytes': 120, 'sha256_16': 'fb728bd6c9304b5b', 'status': 200}, 'sitemap': {'bytes': 706, 'sha256_16': '6852e14a4c0b82d9', 'status': 200}}
solana.com否否{'llms': {'bytes': 0, 'sha256_16': '', 'status': 429}, 'robots': {'bytes': 0, 'sha256_16': '', 'status': 429}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 429}}
stripe.com是否{'llms': {'bytes': 69923, 'sha256_16': 'd1251f7b78e9f0d5', 'status': 200}, 'robots': {'bytes': 643, 'sha256_16': '23166bdd2477d69a', 'status': 200}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 404}}
supabase.com是是{'llms': {'bytes': 3298, 'sha256_16': 'a852f5ea1b51727e', 'status': 200}, 'robots': {'bytes': 121, 'sha256_16': '11eb54a98dca3f52', 'status': 200}, 'sitemap': {'bytes': 440, 'sha256_16': '3ae228012be064ce', 'status': 200}}
telmach.org否否{'llms': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'robots': {'bytes': 0, 'sha256_16': '', 'status': 404}, 'sitemap': {'bytes': 0, 'sha256_16': '', 'status': 404}}
vercel.com是是{'llms': {'bytes': 5397, 'sha256_16': '4ab4c962d55a7b4b', 'status': 200}, 'robots': {'bytes': 575, 'sha256_16': 'a8599e75d7d666b9', 'status': 200}, 'sitemap': {'bytes': 200000, 'sha256_16': 'e6e07961880daa8f', 'status': 200}}
weaviate.io是是{'llms': {'bytes': 30077, 'sha256_16': '76aea86810eac399', 'status': 200}, 'robots': {'bytes': 556, 'sha256_16': 'f0d7abe6b9f7e78f', 'status': 200}, 'sitemap': {'bytes': 56624, 'sha256_16': '30578e3f841d6f21', 'status': 200}}
web3hire.help是是{'llms': {'bytes': 14267, 'sha256_16': '21771fde6d3389fc', 'status': 200}, 'robots': {'bytes': 6926, 'sha256_16': '7f119c901d5761bb', 'status': 200}, 'sitemap': {'bytes': 192036, 'sha256_16': '181d3cf3581844f1', 'status': 200}}
x402.org是是{'llms': {'bytes': 3272, 'sha256_16': 'afed9750bde37b18', 'status': 200}, 'robots': {'bytes': 2840, 'sha256_16': '73b1ff5ae5b4edcf', 'status': 200}, 'sitemap': {'bytes': 580, 'sha256_16': 'f9da56ffcc403ab4', 'status': 200}}

表中最多展示 300 条；完整 50 条见 JSON 文件。