Python プログラミング

[Python] BeautifulSoup4の使い方とインストール方法

2018年6月27日

こんにちは!シミダイ(@shimidai2100)です。

PythonでWebスクレイピング時にオススメのライブラリ「Beautiful Soup 4」です。

Webスクレイピングを活用することで、Webサイトから大量に情報を取得したりWebの情報取得を自動化したりできるので業務効率が上がります。

また機械学習に必要な大量データを取得する時にも便利ですので、この記事で使い方をマスターしてください。


Beautiful Soup 4とは?何でSoupなの?

Beautiful Soup 4」とはHTMLXML取得解析編集するためのライブラリになります。

「Beautiful Soup 4」は前身として「Beautiful Soup 3」がありましたが、Python 3系で利用されるは「Beautiful Soup 4」です。

「Beautiful Soup 3」はPython 3系では利用できないので注意してください。

なぜ「Soup」なのか?というと、マークアップの世界では

不正なマークアップを持つもの、しっかりと閉じられていないマークアップタグを"タグスープ"」と呼びます。

恐らくそこからモジって、「Beautiful Soup」というライブラリ名になったのでしょう。

参考Beautiful Soupのマニュアルドキュメント

Beautiful Soup 4のインストール

「Beautiful Soup 4」のインストール方法は下になります。

pip install beautifulsoup4

「beautifulsoup4」としっかり記載しないと「Beautiful Soup 3」がインストールされてしまいます。

また「Beautiful Soup 3」はPython 3系では利用できないので注意してください。

より高速にHTML、XMLを解析するために「lxml」ライブラリも合わせてインストールしておきましょう。

pip install lxml

また最新HTML5タグを解析するならば「html5lib」ライブラリも合わせてインストールします。

pip install html5lib

さらにWebサイトから直接HTMLを取得し、解析するするためには「requests」ライブラリも合わせてインストールしておきましょう。

pip install requests

Beautiful Soup 4の基本的な使い方

「Beautiful Soup 4」のHTML解析の基本的なコーディングは下になります。

import lxml
from bs4 import BeautifulSoup

html =  """HTMLテキスト"""
soup = bs4.BeautifulSoup(html.text, "lxml")

1行目の「lxml」ライブラリをインポートします。

2行目の「from bs4 import BeautifulSoup 」とインポートします。

このコーディング方法をマニュアルにも書いてある「beautiful soup 4」の一般的な書き方になります。

5行目の「bs4.BeautifulSoup(html.text, 'lxml')」に注目してください。

第2引数に「'lxml'」を渡していますが、これがPython3系でHTMLを解析する時に最も高速なコーディング方法になります。

昔のブログなどでは「BeautifulSoup(markup, "html.parser") 」と書かれていることが多いですが今は使いません。

下は各パース方法のメリット・デメリットになります。

BeautifulSoup4でHTML・XML解析時のメリット・デメリット

XMLファイルを解析する時は下のように書きます。

BeautifulSoup(markup, "lxml-xml") 
または
BeautifulSoup(markup, "xml")

またWebサイトからHTMLファイルを取得する時の基本的なコーディングになります。

import requests
import lxml
from  bs4 import BeautifulSoup

url = '<解析対象ファイルのURL>'
html = requests.get(url)
soup = BeautifulSoup(html.text, "lxml")

HTMLからタグ情報取得

実際にHTMLファイルからタグ情報を取得する方法を紹介します。

[table id=44 /]

classでの検索は「class_」ですので注意してください。

※ find_all()メソッド以外は検索対象に合致したタグの1つ目が出力されます。

なお、今回読み込むHTMLファイルは以下になります。

<html>
 <head>
  <title>The Dormouse''s story</title>
 </head>
 <body>
  <p class="title"><b>The Dormouse''s story</b></p>
  <p class="story">
   Once upon a time there were three little sisters; and their names were
   <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
   ,
   <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>
   and
   <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
  </p>
 </body>
</html>

下がサンプルコードになります。

import lxml
from  bs4 import BeautifulSoup

if __name__ == '__main__':
    html_text = '''
    <html>
     <head>
      <title>The Dormouse''s story</title>
     </head>
     <body>
      <p class="title"><b>The Dormouse''s story</b></p>
      <p class="story">
       Once upon a time there were three little sisters; and their names were
       <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
       ,
       <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>
       and
       <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
      </p>
     </body>
    </html>
    '''
    soup = BeautifulSoup(html_text, "lxml")

    print(soup.find("title"))
    # <title>The Dormouse''s story</title>

    print(soup.find_all("a"))
    # [<a class ="sister" href="http://example.com/elsie" id="link1" > Elsie </a>,
    #  <a class ="sister" href="http://example.com/lacie" id="link2" > Lacie </a>,
    #  <a class ="sister" href="http://example.com/tillie" id="link3" > Tillie </a>]

    print(soup.find("a", href="http://example.com/lacie"))
    # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>

    print(soup.find("a", id="link3"))
    # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>

    print(soup.find("p", class_="title"))
    # <p class="title"><b>The Dormouse''s story</b></p>

    print(soup.html.head)
    # <head>
    # <title>The Dormouse''s story</title>
    # </head>

CSSセレクタを使用したタグ情報取得

CSSのセレクタを使用したタグ情報の取得方法は紹介します。

[table id=45 /]

上記のようにCSSセレクタのように柔軟にタグ情報を取得することができます。

classが複数適用されている場合には、下のようにピリオドでclass名を繋げて記載します。

css_soup = BeautifulSoup('<p class="body strikeout"></p>')
css_soup.select("p.strikeout.body")
# [<p class="body strikeout"></p>]

css_soup.find_all("p", class_="body strikeout")
# [<p class="body strikeout"></p>]

css_soup.find_all("p", class_="strikeout body")
# []

find_all()」メソッドだとclass名その記載されている順序を守る必要がありますが、

select()」メソッドだと記載されて順序は意識する必要はありません。

下がサンプルコードになります。

import lxml
from  bs4 import BeautifulSoup

if __name__ == '__main__':
    html_text = '''
    <html>
     <head>
      <title>The Dormouse''s story</title>
     </head>
     <body>
      <p class="title"><b>The Dormouse''s story</b></p>
      <p class="story">
       Once upon a time there were three little sisters; and their names were
       <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
       ,
       <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>
       and
       <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
      </p>
     </body>
    </html>
    '''
    soup = BeautifulSoup(html_text, "lxml")

    print(soup.select("title"))
    # [<title>The Dormouse''s story</title>]

    print(soup.select_one("a"))
    # <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

    print(soup.select("a[href]"))
    # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
    #  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
    #  <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

    print(soup.select('a[href="http://example.com/lacie"]'))
    # [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

    print(soup.select("p.title"))
    # [<p class="title"><b>The Dormouse''s story</b></p>]

正規表現を使用したタグ情報取得

正規表現を使用したタグ情報を取得は、「re」ライブラリを使用して行います。

import re
soup.find(re.compile(<正規表現>))
または
soup.find_all(re.compile(<正規表現>))

下がサンプルコードになります。

import lxml
import re
from  bs4 import BeautifulSoup

if __name__ == '__main__':
    html_text = '''
    <html>
     <head>
      <title>The Dormouse''s story</title>
     </head>
     <body>
      <p class="title"><b>The Dormouse''s story</b></p>
      <p class="story">
       Once upon a time there were three little sisters; and their names were
       <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
       ,
       <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>
       and
       <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
      </p>
     </body>
    </html>
    '''
    soup = BeautifulSoup(html_text, "lxml")

    for tag in soup.find_all(re.compile("^b")):
        print(tag.name)
    # body
    # b

タグの属性や値を取得

タグの属性や値を取得するには、「name」タグや「string」タグを利用します。

[table id=47 /]

下がサンプルコードになります。

import lxml
from  bs4 import BeautifulSoup

if __name__ == '__main__':
    html_text = '''
    <html>
     <head>
      <title>The Dormouse''s story</title>
     </head>
     <body>
      <p class="title"><b>The Dormouse''s story</b></p>
      <p class="story">
       Once upon a time there were three little sisters; and their names were
       <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
       ,
       <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>
       and
       <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
      </p>
     </body>
    </html>
    '''
    soup = BeautifulSoup(html_text, "lxml")

    print(soup.title)
    # <title>The Dormouse''s story</title>
    print(soup.title.name)
    # title
    print(soup.title.string)
    # The Dormouse''s story

取得したHTMLテキストを出力

取得したHTMLテキストを出力するには「prettify()」メソッドを使用します。

[table id=46 /]

下がサンプルコードになります。

import lxml
from  bs4 import BeautifulSoup

if __name__ == '__main__':
    html_text = '''
    <html>
     <head>
      <title>The Dormouse''s story</title>
     </head>
     <body>
      <p class="title"><b>The Dormouse''s story</b></p>
      <p class="story">
       Once upon a time there were three little sisters; and their names were
       <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
       ,
       <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>
       and
       <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
      </p>
     </body>
    </html>
    '''
    soup = BeautifulSoup(html_text, "lxml")

    print(soup.prettify())
    # <html>
    #  <head>
    #   <title>
    #    The Dormouse''s story
    #   </title>
    #  </head>
    #  <body>
    #   <p class="title">
    #    <b>
    #     The Dormouse''s story
    #    </b>
    #   </p>
    #   <p class="story">
    #    Once upon a time there were three little sisters; and their names were
    #    <a class="sister" href="http://example.com/elsie" id="link1">
    #     Elsie
    #    </a>
    #    ,
    #    <a class="sister" href="http://example.com/lacie" id="link2">
    #     Lacie
    #    </a>
    #    and
    #    <a class="sister" href="http://example.com/tillie" id="link3">
    #     Tillie
    #    </a>
    #   </p>
    #  </body>
    # </html>
    print("==========================================================================================")
    print(soup.head.prettify())
    # <head>
    #  <title>
    #   The Dormouse''s story
    #  </title>
    # </head>

関連記事

-Python, プログラミング

Copyright© shimidai2100 , 2020 All Rights Reserved.