主な機能
対応するスクレイピングソースを選ぶ
このビルダーをすべての単独モジュールを操作するコントローラーとして扱うのではなく、このプロジェクトに必要なソースを有効にします。
順序とバッチサイズを設定する
ソースの順序、ローテーション前のキーワード数、ウェブサイトのバッチサイズを選択します。
タイミングと同時実行数を設定する
利用可能なレート制御を使って、待機時間と同時に実行するソースの最大数を設定します。
保存した検索ジョブを実行する
保存したワークフローを使ってメインのスクレイピングキューを処理し、進捗とエラーを確認します。
項目名(9項目)
モジュールのスキーマにある実際の列名です。項目は、ソースがその値を公開している場合にのみ埋まります。
作業に合ったログイン済みアカウントを使い分けられます。
保存した各IDは、それぞれのプラットフォームのセッションとCookieを保持します。ブラウザプロファイルでは公開ページのウォームアップを利用できます。対応モジュールでそのIDを選択すると、プロファイル全体のローテーションが対応する切り替えポイントで行われます。
仕組み
対応するソースを選ぶ
必要な順序で収集ステップを追加する
各ステップの入力とオプションを設定する
ワークフローを保存する
小さなテストを実行し、収集したレコードを確認する
スクレイピング Workflow Builderに関するよくあるご質問
ワークフローではどのソースを使えますか?
Googleマップ、Bing Maps、Apple Maps、Google検索、Bing検索、Trustpilot、Facebook、Instagram、ウェブサイトのクロールです。実行順序と有効にするソースはお客様が設定します。
処理を並行して実行できますか?
はい。最大9つのソースワーカーを同時に実行でき、それぞれが専用のブラウザを持ち、約2分ずつ順番に処理しながら1つのキューを共有します。
これは汎用のノーコード自動化プラットフォームですか?
いいえ。Map Extractが対応する検索と抽出のステップを連携させるものです。任意の連携、独自のAPIアクション、あらゆるモジュールの組み合わせに対応するとはうたっていません。
各ソースの設定は引き続き必要ですか?
はい。組み合わせたワークフローを実行する前に、関連するソースの入力と上限を保存してください。
ワークフローを保存すると実行が始まりますか?
設定の保存と実行は別々の操作です。開始する前に、選択したプロジェクトと入力をご確認ください。
結果はどこで確認できますか?
選択したプロジェクトのメインの企業レコードとジョブの画面で確認し、必要なレコードを確認してエクスポートしてください。