PHPのGoutteでWebスクレイピング

PHP

2015.03.072016.03.26

スクレイピングしてWeb上のデータを自動で取得するで。

1. Composerをインストール
2. Goutteをインストール
3. GoutteでWebスクレイピング
1. 参考

1. Composerをインストール

composerはプロジェクトごとに。

cd ~/work/api

curl -sS https://getcomposer.org/installer | php

いかが表示された。

#!/usr/bin/env php
All settings correct for using Composer
Downloading…

Composer successfully installed to: /Users/runble1/work/api/composer.phar
Use it: php composer.phar

インストールされたか確認

~/work/api/composer.phar –version

いかが表示された。

Composer version 1.0-dev (533eeddcb7575f11ddf1d9893237ab1fa0ec1fc9) 2014-11-18 10:42:37

パスを通す

mv composer.phar /usr/local/bin/

ln -s /usr/local/bin/composer.phar /usr/local/bin/composer

composer –version

いかが表示された

Composer version 1.0-dev (533eeddcb7575f11ddf1d9893237ab1fa0ec1fc9) 2014-11-18 10:42:37

2. Goutteをインストール

インストールする

composer require fabpot/goutte:~2.0

いかが表示される

./composer.json has been created
Loading composer repositories with package information
Updating dependencies (including require-dev)
– Installing guzzlehttp/streams (2.1.0)
Downloading: 100%

– Installing guzzlehttp/guzzle (4.2.3)
Downloading: 100%

– Installing symfony/dom-crawler (v2.5.6)
Downloading: 100%

– Installing symfony/css-selector (v2.5.6)
Downloading: 100%

– Installing symfony/browser-kit (v2.5.6)
Downloading: 100%

– Installing fabpot/goutte (v2.0.2)
Downloading: 100%

symfony/browser-kit suggests installing symfony/process ()
Writing lock file
Generating autoload files

vendorディレクトリが作成されているはず。

中身を見てみる

"require": {
"php": ">=5.4.0",
"symfony/browser-kit": "~2.1",
"symfony/css-selector": "~2.1",
"symfony/dom-crawler": "~2.1",
"guzzlehttp/guzzle": "4.*"
},