Керівництво як створити павука-парсера на php, все про створення сайтів

Парсер, павук, бот, робот або все одно як ви його назвете - це програма, яка автоматично отримує (парсит) і обробляє дані з сайтів.

Наприклад, Google індексує і ранжирує сторінки за допомогою численних павуків і ботів. Крім того, є перевіряльники посилань, HTML валідатори і веб-шпигуни. Так, в цій статті ми вам покажемо, як зробити свого веб-шпигуна на PHP.

Завантажити (.zip, 31 Кб) І звичайно, головна мета такого шпигуна - відстеження цін конкурентів.

Навіщо вам це? Вам може бути і не знадобиться, а покупцеві або замовникові, має багато конкурентів, дуже навіть. За допомогою такого павука дуже зручно відстежувати ціни в автоматичному режимі.

1 - Вимоги

2 - Основи

Почнемо з основного функціоналу, і для цього спробуємо отримати трохи даних від джерела. Припустимо, що ви продаєте взуття, і Zappos ваш основний конкурент (про це можна тільки мріяти).

4 - Розумний шпигун за допомогою cron

За допомогою cron. ми можемо автоматизувати виконання завдань. Дуже корисно для збереження резервних копій баз даних, оптимізації та багатьох інших рутинних штук, які не хочеться робити вручну.

Щоб наповнювати нашу таблицю даними, нам потрібно створити завдання для cron, яке буде виконуватися кожен день о 1 годині ночі.

У нас є команди, необхідні для цього:
Подивитися файл cron

5 - Трохи симпатичних діаграм

Якщо ви плануєте використовувати ці дані, то непогано б їх якось оформити.

В цьому випадку можна підключити gvChart jQuery плагін. Він бере дані з таблиць, оформлення через масив, і виводить їх у вигляді симпатичних діаграм.