Парсинг посилань на картинки з сайту і їх масова закачування

Спочатку я вам розповім про свою задачу.

Треба було з одного сайту скачати всі фотки з галерей. Було близько 30 сторінок, на кожній з яких було приблизно 50-100 фотографій. Їх треба було скачати.

Проблем то? Загалом вирішив зробити наступним чином, відкрив одну сторінку з галерей, натиснув «Зберегти як» (або Cntrl + S) в Google Chrom. І скачати цілком сторінка з усіма файлами.

Природно все картинки теж повинні були скачати. АЛЕ скачати лише їх мініатюри. Заліз в Html-код і побачив наступну розмітку для однієї з фотографій.

Тобто, потрібні мені картинки перебували в атрибуті «data-href». Справа в тому, що браузер не сприймає такий атрибут, як посилання на файл.

І ось я почав капати інтернет в пошуках рішення. Найочевиднішим рішенням, мені здалося Спарс все через Datacol. Але під рукою не було ліцензії, а купувати вдруге якось не хотілося.

І в підсумку знайшов безкоштовну програму, для елементарного парсинга з сайту happy-hack.ru. За допомогою неї можна Спарс всі посилання на всі потрібні нам зображення.

Увага: антивирусник може порахувати її як вірус, хоча у мене ніяких проблем не було.

У ній все просто, забиваємо посилання на сторінку, правила і натискаємо старт. Поясню детальніше.

2 і 3. Ми вбиваємо правила для копіювання шляху на зображення так, щоб між «від» і «до» був шлях на зображення (не забуваємо про подвійні лапки, вони теж потрібні). приклад:

4. Натискаємо кнопку «Старт» і чекаємо завершення.

На виході отримуємо текстовий файл, в яких через підрядник написані посилання.

Тепер залишається їх скачати, потрібна була програма, в який можна імпортувати всі посилання і завантажити разом, для цього знайшов програму Download master. скачати її можна тут.