PerplexityBot… 実はAI Crawl Controlで
AIさん、みんなクロールしてってなってても、
ことごとく、拒否られてるんですよね
そう、ボット ファイト モードが動いています。
なんででしょう。みんないいよーってやってるのに…
ボット ファイト モードをONにしておかないと
webサイトがサーバダウンするので解除する気は
ないのですが…
なんで拒否られるのだろうかと調べてみました
こんなやり方でクロールしているそうなんです
生成AIの情報取るのに効率重視のようで、そこでブチ切れて
たんですね
ですので、ボットファイトモードが優先的に動くみたいです
そして、そこの企業が作ってるブラウザ
Cometは、Googlechromeと同じユーザーエージェントを持ちます。
まぁ、「私はロボットではありません」を設置しており人間確実なので
拒否する方法は存在しません
として、米国のarchive.org(NSAの後ろ盾ありという噂もある)
に勝ちにいこうとしてる所も日本ではありますけど
普通にブラウザでアクセスしてても、学習させてそうなイメージを持ちそう
ですね
Chromiumベースなので、そのままにしますけどもね。
0 件のコメント:
コメントを投稿