Для сайтов часто встает вопрос наполнения за счет переноса контента с других сайтов. И иногда это принимает форму переноса неструктурированного контента, т.е. переноса с html-страниц другого сайта. Вариант решения данной проблемы я представлю в серии статей.
Решая такую задачу, я обратил внимания, что в ее можно свести к двум этапам: скачивание и получение другого сайта структурированных данных (csv или xml) и второй этап — это загрузка структурированных данных уже через штатный интерфейс 1С-Битрикс. А для первого этапа, который может представлять техническую сложность, уже можно применять фреймворки для парсинга на базе python. Один из таких фреймворков — это Scrapy.
Устанавливается фреймворк при помощи команды pip install scrapy.
После этого нужно создать проект: scrapy startproject project1
После этого появится папка project1 со стартовым набором файлов фреймворка, с которого можно начать работу над парсером. Подробная документация приведена по ссылке https://docs.scrapy.org/en/latest/ . Если будет запрос от моих подписчиков, то я могу написать подробную статью с примером такого рода парсинга.