主な機能
3段階のクロールレベル
Fast、Balanced、Deepから選べ、優先ページから順に読み込み、サイトマップを読み取り、スクリプトだけで構築されたサイトにはブラウザでの描画による代替手段を使います。パーキングドメイン、停止中のサイト、ブロックされたサイトは記録して別扱いにし、データとしては扱いません。
会社情報と技術
JSON-LDの種類、会社番号とVAT番号、CMS、ECプラットフォーム、ホスティング、SSLの有効期限、アクセス解析と広告ピクセル、そして営業中の事業者、ショップ、メディア、ブログといったウェブサイトの種類を取得します。
根拠付きのAI補完
オプションのAIリサーチが、対象項目について根拠がある場合に、不足している説明、業種、所在地、公開連絡先を補完します。採用された値には、出典URLと裏付けとなる文章が保持されます。
受信箱の用途とメールチェック
各アドレスには用途(問い合わせ、営業、予約、サポート)のラベルが付き、プライバシー、不正報告、no-reply用の受信箱はアウトリーチの対象から除外されます。検証では、構文、メールのルーティング、有効にした場合はメールボックスのチェック結果を報告します。
エクスポート前の確認状態
レコードには、取得済み、補完済み、確認待ち、送信可能のいずれかの状態が付きます。CSV、XLSX、JSONLでエクスポートするか、検証結果ごとに分けたメールアドレスのみのリストとして出力できます。
Layer 3と英語翻訳
Layer 3は、ウェブサイトに記載された追加の事実を、それぞれ引用した文章にひも付けて追加します。対象となる外国語の説明には英語版が付き、元の文言も保持されます。
仕組み
各ウェブサイトをクロールする
各ドメインについてDNSと到達可能性を確認します。robots.txtで禁止されているページはスキップします。Fastはトップページ、Balancedはメニュー、フッター、主要ページ(最大15ページ)を読み取り、Deepは2階層までリンクをたどります(初期設定20ページ、最大50ページ)。問い合わせ、会社概要、サービス、予約、料金、ポリシーのページが優先されます。
ソース照合
ウェブサイトを起点に、Map Extractはサイト自体の根拠(ドメイン、名称と郵便番号または市区町村、電話番号、住所)から最大7回の地図検索を計画し、ウェブサイトのドメインが一致する場合にのみ掲載情報を採用します。その後、対象となるFacebookとInstagramのプロフィールを同じ企業と照合します。
不足項目を補完する
オプションのAIリサーチが、対象項目について根拠がある場合に不足を補完します。採用された各値には出典URLと裏付けとなる文章が保持され、裏付けのない提案は空欄のままです。Layer 3はウェブサイトに記載された追加の事実を加えることができ、外国語の説明には原文と並べて英語版が付きます。
レコードを確認する
各レコードとそのソース、状態(取得済み、補完済み、確認待ち、送信可能)を確認します。すべてのメールアドレスには、営業用や予約用などの受信箱の用途と、どのチェックを実施したかを示す検証結果が付きます。
エクスポートまたは引き渡し
承認したレコードを、品質、ソース、日付で絞り込んでCSV、XLSX、JSONLでエクスポートするか、アウトリーチモジュールに渡します。アウトリーチ側では、独自の許諾チェック、配信停止、承認ステップが維持されます。
ウェブサイトデータ抽出に関するよくあるご質問
始めるには何が必要ですか?
ドメインまたはURLの一覧(貼り付けまたはインポート)、Windows PCにインストールしたMap Extract、インターネット接続です。重複の処理、サブドメインのフィルター、メールアドレスとドメインのブロックリストは、実行前に設定します。
robots.txtを尊重しますか?
はい。robots.txtを読み取り、禁止されているページはスキップします。法的な情報を記録するため、プライバシーページや規約ページは読み取る場合があります。アクセスをブロックするサイトやCAPTCHAを表示するサイトはブロックとして記録され、隔離されたドメインはお客様が選択した場合にのみ再試行されます。
英国企業をCompanies Houseと照合できますか?
はい、英国向けのワークフローとして可能です。サイト上で見つかった会社番号や社名を使って登記簿との一致を探し、登記上の事務所所在地、ステータス、ステータスの履歴を記録します。Companies House APIの利用には、ご自身で取得する無料のAPIキーが必要です。
AIキーは必要ですか?
いいえ。収集、ウェブサイトのクロール、照合、エクスポートはAIなしで動作します。AI補完、Layer 3、英語翻訳には、ご自身のGemini APIキー、ローカルのLM Studioモデル、ブラウザ経由のAIなど、設定済みのプロバイダーが必要で、そのプロバイダー独自の規約と料金が適用されます。
レコードの精度はどの程度ですか?
Map Extractは各ソースが公開している内容を保存し、出典リンクを並べて保持します。掲載情報はウェブサイトのドメインの一致によってひも付けられ、別の地域の結果にはフラグが付き、AIによる値は裏付けとなる文章がなければ保存されません。ソースは変化し、不完全な場合もあるため、レコードを利用する前にご確認ください。
レコードはどこに保存され、何が共有されますか?
プロジェクトはお使いのWindows PC上のSQLiteデータベースにローカル保存され、何をエクスポートするかはお客様が選択します。実行時には有効にしたソースへリクエストが送信され、AIを有効にした場合は、プロンプトと選択したコンテキストが選んだAIプロバイダーに送られます。アプリが収集した公開の企業情報およびソーシャル上の結果は、ライセンスが有効でアプリが実行されている間、Map Extractのサーバーに自動的にアップロードされます。詳しくはプライバシー通知をご覧ください。