Map Extract
Доступен

Извлечение данных с сайтов для полных записей о компаниях

Вставьте или импортируйте список доменов либо используйте сайты, найденные другими источниками. Map Extract проверяет каждый сайт, читает robots.txt, обходит самые важные страницы и сохраняет публичные контакты, структурированные данные о компании, юридические идентификаторы и технологические признаки, затем ищет подходящую карточку в Maps и профили в соцсетях.

Что Вы получаете

  • Три уровня обхода

    Fast, Balanced или Deep: сначала приоритетные страницы, чтение карты сайта и резервный рендеринг в браузере для сайтов, построенных только на скриптах. Припаркованные, неработающие и заблокированные сайты фиксируются и откладываются, а не считаются данными.

  • Сведения о компании и технологиях

    Типы JSON-LD, регистрационный номер компании и номер VAT, CMS, платформа электронной коммерции, хостинг, срок действия SSL, пиксели аналитики и рекламы, а также тип сайта: действующая компания, магазин, издатель или блог.

  • ИИ-обогащение с доказательствами

    Необязательный ИИ-поиск заполняет недостающее описание, категорию, местоположение или публичный контакт для подходящих полей там, где есть доказательства. Принятые значения сохраняют URL источника и подтверждающий их фрагмент.

  • Назначение ящика и проверка email

    Каждый адрес помечается по назначению (запросы, продажи, бронирования, поддержка), а ящики для вопросов конфиденциальности, жалоб и no-reply исключаются из рассылок. Проверка сообщает синтаксис, маршрутизацию почты и, если включено, результаты проверки ящика.

  • Состояния проверки перед выгрузкой

    Записи помечаются как собранные, обогащённые, ожидающие проверки или готовые к отправке. Выгрузка в CSV, XLSX или JSONL либо в простые списки email, разделённые по результату проверки.

  • Layer 3 и перевод на английский

    Layer 3 добавляет дополнительные факты, указанные на сайте, каждый из которых привязан к цитате. Подходящие описания на иностранных языках получают английскую версию, а исходная формулировка сохраняется.

Как это работает

  1. Обход каждого сайта

    Каждый домен проверяется на DNS и доступность. Страницы, запрещённые в robots.txt, пропускаются. Fast читает главную страницу, Balanced читает меню, подвал и ключевые страницы (до 15), а Deep проходит два уровня ссылок (по умолчанию 20, максимум 50). Первыми идут страницы контактов, «о компании», услуг, бронирования, цен и правил.

  2. Сопоставление источников

    Начиная с сайта, Map Extract планирует до семи поисков в Maps на основе данных самого сайта (домен, название с почтовым индексом или городом, телефон, адрес) и принимает карточку только тогда, когда домен её сайта совпадает. Затем подходящие профили Facebook и Instagram сверяются с той же компанией.

  3. Заполнение недостающих полей

    Необязательный ИИ-поиск заполняет пробелы в подходящих полях там, где есть доказательства. Каждое принятое значение сохраняет URL источника и подтверждающий фрагмент; неподтверждённые предложения остаются пустыми. Layer 3 может добавить дополнительные факты, указанные на сайте, а описания на иностранных языках получают английскую версию рядом с оригиналом.

  4. Проверка записи

    Проверьте каждую запись, её источники и состояние: собрана, обогащена, ожидает проверки или готова к отправке. У каждого адреса email есть назначение ящика, например продажи или бронирования, и вердикт проверки, в котором указано, какие проверки выполнены.

  5. Выгрузка или передача

    Выгрузите одобренные записи в CSV, XLSX или JSONL с фильтрами по качеству, источнику и дате или передайте их в модуль рассылки. У модуля рассылки собственные проверки разрешений, списки исключений и этапы одобрения.

Website Data Extractor: частые вопросы

Что нужно для начала работы?

Список доменов или URL (вставленный или импортированный), Map Extract на компьютере с Windows и подключение к интернету. Обработка дубликатов, фильтры поддоменов и списки блокировки email и доменов задаются до запуска.

Соблюдает ли программа robots.txt?

Да. Файл robots.txt читается, а запрещённые страницы пропускаются. Страницы с политикой конфиденциальности и условиями всё же могут читаться, чтобы зафиксировать юридические сведения. Сайт, который блокирует доступ или показывает CAPTCHA, фиксируется как заблокированный, а домены в карантине повторно проверяются только по Вашему выбору.

Можно ли сопоставлять британские компании с Companies House?

Да, в рамках британского сценария. Номер или название компании, найденные на сайте, можно использовать для поиска совпадения в реестре, при котором сохраняются зарегистрированный адрес, статус и история статуса. Для использования API Companies House нужен Ваш собственный бесплатный ключ API.

Нужен ли ключ ИИ?

Нет. Сбор данных, обход сайтов, сопоставление и выгрузка работают без ИИ. Для ИИ-обогащения, Layer 3 и перевода на английский нужен настроенный провайдер, например Ваш собственный ключ API Gemini, локальная модель LM Studio или ИИ-маршрут через браузер, и действуют условия и тарифы этого провайдера.

Насколько точны записи?

Map Extract сохраняет то, что публикует каждый источник, и хранит рядом ссылку на источник. Карточки прикрепляются по совпадению доменов сайтов, результаты из неверной области помечаются, а значения ИИ сохраняются только при наличии подтверждающего фрагмента. Источники меняются и могут быть неполными, поэтому проверяйте записи, прежде чем на них полагаться.

Где хранятся мои записи и что передаётся?

Проекты хранятся локально на Вашем компьютере с Windows в базе данных SQLite, и Вы сами решаете, что выгружать. Запуски отправляют запросы к включённым источникам, а если Вы включите ИИ, Ваш запрос и выбранный контекст уходят выбранному ИИ-провайдеру. Публичные результаты о компаниях и из соцсетей, собранные приложением, автоматически загружаются на серверы Map Extract, пока оно лицензировано и запущено; это объясняется в уведомлении о конфиденциальности.

Начните с одного небольшого запуска, результат которого можно проверить

Прочитайте руководство по Website Data Extractor, проверьте статус бесплатного демо и системные требования, затем выберите лицензию для Вашего компьютера с Windows.