Парсинг сайтов недвижимости - кейс по тендерам

Хочу, чтобы на моём сайте всегда отображались все актуальные объекты, которые сейчас выставлены на торги.

И чтобы это было с картой, с категориями, и обновлялось само.

Клиент

Что мы сделали

01. Парсинг сайтов

Клиент предоставил список из 30 источников. Это крупные площадки, где выкладывают торги (не только недвижимость, там и автомобили и техника и леса и инструменты). Под каждый сайт мы написали отдельного бота — универсального решения тут нет, везде разные верстки, параметры, защита от автоматических скриптов.

02. Структурирование данных

Самая частая проблема при парсинге: у каждого сайта свои формулировки. Где-то написано "офис", где-то "административное помещение", где-то вообще ничего. Чтобы клиенту было удобно, мы привели всё к единой структуре:

• Категории: офисы, склады, жилая недвижимость, машиноместа и т.д.
• Местоположение: подключили карты.
• Фильтрация: сделали разбивку по типу, цене, площади.

И да, в некоторых источниках категория вообще не указана, только описание — «Продается объект…». Мы написали свою маленькую нейросеть, которая по описанию понимает, что это за тип недвижимости. Работает неплохо, уже сэкономила сотни часов ручной проверки. (но, если честно, не идеально - путает иногда, особенно землю и землю с домом, а иногда и купить с арендой путает, глупая пока, но мы работаем, уже на 90% ею довольны и это не подключение сторонних ИИ, это своя, наша прелесть..)

03. Интеграция с сайтом клиента

Сайт клиента был не готов к приему такого объема данных. Мы доработали систему:

• Добавили карту с точками объектов.
• Сделали фильтры.
• Подключили админку, чтобы можно было скрывать/редактировать объекты вручную, если надо.

Теперь всё парсится, грузится и показывается без участия клиента.

04. Обход защиты

Многие сайты защищаются от парсинга — ограничивают количество запросов, выдают капчи, блокируют IP. Это нормально, мы умеем с этим работать. Иногда обход защиты занимает день-два, иногда — до недели. Но благодаря тому, что источников 30, даже если временно один-два отключаются — на сайте у клиента ничего не исчезает. Просто чуть позже всё догружается.

05. Бизнес аналитика

• Формат файла: Создание XML-файла по стандартам Яндекса для Товарной Галереи (https://yandex.ru/support/direct/ru/product-gallery/about).
• Структура данных: Включение описания товаров, цен, наличия, фотографий, метаданных (например, бренд, модель, категория).
• Обязательные поля: ID товара, название, цена, наличие, ссылка на изображение, категория.
• Дополнительные параметры: описание, характеристики (например, мощность, габариты), метки.

Что в итоге

Многие сайты защищаются от парсинга — ограничивают количество запросов, выдают капчи, блокируют IP. Это нормально, мы умеем с этим работать. Иногда обход защиты занимает день-два, иногда — до недели. Но благодаря тому, что источников 30, даже если временно один-два отключаются — на сайте у клиента ничего не исчезает. Просто чуть позже всё догружается.

Многие сайты защищаются от парсинга — ограничивают количество запросов, выдают капчи, блокируют IP. Это нормально, мы умеем с этим работать. Иногда обход защиты занимает день-два, иногда — до недели. Но благодаря тому, что источников 30, даже если временно один-два отключаются — на сайте у клиента ничего не исчезает. Просто чуть позже всё догружается.

Почему это сработало

• У клиента была понятная цель..
• Мы не просто написали парсер, а встроили всю систему в его сайт.
• Наши программисты умеют не только в код, но и в логику бизнеса — поэтому сделали не просто выгрузку, а инструмент для работы. (ладно, программисты в логику бизнеса даже и близко не вникали, аккаунт менеджер наш вникал и ставил полезные для клиента и понятные для программистов ТЗ)

Если у вас похожая задача — можем реализовать под ключ. Хотите мониторить товары, отслеживать цены, собирать объявления — настроим.Всё будет работать. Даже если сайты-источники будут этому активно сопротивляться :)