クロール
2022/2/28 7:32:00
『Xユーザーの辻正浩 | Masahiro Tsujiさん: 「「最大手検索エンジン以外はサーバ負荷からまともにクロールさせてもらえない問題」の対応のため、Microsoft Bingはサイト管理者からコンテンツを送りクロールを削減するBing Content Submission APIや他社と連携したIndexNowの仕組みなどで試行錯誤した。 一方BraveはGoogleを名乗ってクロールした」 / X』表最強説User-Agentを一般のコンピュータに偽装してクロールする輩デライトをクロールMJ12botDotBotあれあれ思考をクロール現実をクロール『t_wの輪郭』の輪郭に編集日時を表示Scrapboxだけ検索するWebサービス
User-Agentを一般のコンピュータに偽装してクロールする輩
2022/10/25 10:45:00
『t_wの輪郭』にUser-Agentが下記のアクセスがちょいちょい来ていた。Date last visitedが乱れてちょっと気になる程度の頻度。
内部リンクが無いはずの所にアクセスしており、足跡が妙なため、nginxのログを見たら、なぜか律儀にrobot.txtにアクセスしている。
熱心な読者が来てくれているとぬか喜びしてしまった。
しかしまあ、輩と書いてしまったが、User-Agent以外はお行儀が良い。
MJ12bot
2022/10/10 11:46:00