2018-03-11

Python3で画像をスクレイピングしてローカルに保存する|BeautifulSoupを利用

Python3はスクレイピングを簡単にできるライブラリが提供されており、非常に簡単にスクレイピングを行うことが可能です。

今回はPython3の外部ライブラリである

BeautifulSoupを利用して当サイトのトップページの記事一覧画像をスクレイピングして、ローカルフォルダにダウンロードする方法を解説します。

プログラミング初心者　独学者向けに分かりやすく解説できるよう以下内容を進めていけば、当サイトのトップページの画像をローカルに保存できます。

Rubyの場合は Rubyでサイトをスクレイピングし、ローカルに画像を保存するをご覧ください

１：BeautifulSoup、requests、lxmlのpipをダウンロード

事前にpipを利用して各種ライブラリをダウンロードします。

pip install requests
pip install beautifulsoup4
pip install lxml

requestsはWebページを取得する際に利用します

beautifulsoup4は取得した要素を分解し、任意の箇所を取り出す処理で利用します。

lxmlはhtmlパーサーになります。

２：以下コードを保存

# coding:utf-8

import requests
from bs4 import BeautifulSoup

url = 'https://programming-beginner-zeroichi.jp/'
# スクレイピングするユーザーエージェントを指定
headers = {'User-Agent':'Mozilla/5.0'}
soup = BeautifulSoup(requests.get(url,headers=headers).content,'lxml')
images = [] # 画像リストの空配列

for img in soup.find_all('img', class_="img", limit=5):
    # コンソールへスクレイピング対象の画像URLを表示。特段必須ではない
    print(img.get("src"))
    # imagesの空配列へsrcを登録
    images.append(img.get("src"))

# imagesからtargetに入れる
for target in images:
    re = requests.get(target)
    with open('/Users/smt/Documents/img/' + target.split('/')[-1], 'wb') as f: # imgフォルダに格納
      # .contentで画像データとして書き込む
      f.write(re.content)

# スクレイピング終了確認
print("画像保存が完了しました。")

３：ローカルにimgフォルダを作成

作成されたimgの保存pathは下記になるように設定します

img path：/Users/smt/Documents/img/

pathの画像

3213123123.pn

フォルダは作らなくてもよいですが、自身で指定フォルダが有る際は、コードの下記部分を自身の指定フォルダに変更してください。

with open('/Users/smt/Documents/img/' + target.split('/')[-1], 'wb') as f:

４：コンソール上で実行

コンソール上で下記が表示されれば、スクレイピングとローカルフォルダへの画像保存が完了しています。

https://s3-ap-northeast-1.amazonaws.com/images.programming-beginner-zeroichi.jp/uploads/2_Flat_logo_on_transparent_256.png
https://s3-ap-northeast-1.amazonaws.com/images.programming-beginner-zeroichi.jp/uploads/267569.jpeg
https://s3-ap-northeast-1.amazonaws.com/images.programming-beginner-zeroichi.jp/uploads/pc2121.jpg
https://s3-ap-northeast-1.amazonaws.com/images.programming-beginner-zeroichi.jp/uploads/createblog1.jpg
https://s3-ap-northeast-1.amazonaws.com/images.programming-beginner-zeroichi.jp/pictures/avatars/000/000/089/medium/wwwpic.jpg
画像保存が完了しました。

5：各コードの解説

ユーザーエージェントを指定

headers = {'User-Agent':'Mozilla/5.0'}

当サイトはMBとPCでデザインが違う為PCのユーザーエージェントを指定しています。

MBの場合はMBのユーザーエージェントを指定することが可能です。

htmlでパースして取得

.contentで文字列として対象を取得 'lxmlでhtmlをパースします

soup = BeautifulSoup(requests.get(url,headers=headers).content,'lxml')

取得要素を指定

imgタグだけを指定すると全imgを取得してしまうので imgのクラスを指定します。

3123112.png)

for img in soup.find_all('img', class_="img", limit=5):

上記の通りimg要素とclass_="img"で要素を指定しています。 classは予約語なので、classを指定する際は

class_

と指定します。その他IDでも指定可能です。

また全記事を指定してスクレイピングすると量が多いのでlimitで、５件のみを取得する設定にしています。

limitを消去すれば全記事の画像を取得します。が 当サイトへ負荷が発生するので、お控え下さい。

IMG要素のリンクURLを取得する

img.get("src")でimg要素のsrc（URL）を取得します。 images.appendで空配列に対象URLを追加します。

 images.append(img.get("src"))

画像を保存する

images配列をtarget変数に格納します。その後with openで指定フォルダにimg要素を格納し .contentで画像データとして書き込みます。 ※.contentを指定しなければ.textで保存されます。

for target in images:
    re = requests.get(target)
    with open('/Users/smt/Documents/img/' + target.split('/')[-1], 'wb') as f: # imgフォルダに格納
      # .contentで画像データとして書き込む
      f.write(re.content)