t_wの輪郭

Node.jsクローラーデライトの生HTMLファイル容量puppeteer2020年9月20日デライト外部検索通類実現性検証ページメタ情報の容量デライトクローラ
ページメタ情報の容量野良クローラの推定容量デライト外部検索通類をデプロイしたあれクロールを途中から再開できるようにしたデライトクローラデライト外部検索通類 構成概要図デライト外部検索通類『大規模なデータをJSON.stringifyとBlobを使って保存しようとしたら,ブラウザがエラーを出すときの対処法』一部機能をNode.jsからD言語に移行するJSON.stringifyに大きいオブジェクトを渡すと、JSONに変換してくれない入門自作検索エンジンpuppeteerでクロールする様子桁数を一個減らしたいクローラで得られるページ数検索エンジンをブラウザエクステンションで実装するアイデアデライトの生HTMLファイル容量ページのメタ情報だけを保存メタ情報あれ

=15.718837606837608[KB]
=0.015350427350427352[MB]
=8.98 / 585 [MB]
　
関連するURLのリストを持つと、やはり容量が大きくなる
数だけ持つべきかもしれない
　
ページランクを無視するならURLは残さなくてもいい

デライト外部検索通類をAWSへデプロイした。↓のリンクから利用できる
http://ec2-52-193-108-6.ap-northeast-1.compute.amazonaws.com:8080/
　
デライトクローラが取得した1万9千の輪郭から検索できる

  • 1秒未満で検索が完了する
  • 10個までしか検索結果が表示されない
    • ページャー未実装
  • 検索結果に重複がある
    • 重複を削除する処理が未実装
  • 見た目が悪い
    • CSS未実装
      • node.jsで直接HTMLを吐き出しているため、複雑なフロントエンドを作るのは手間がかかる
        • テンプレートエンジンなどに乗り換えたい
  • 検索結果の並びがクロールされた順番になっている
    • ページランクで並び変える機能が未実装