Webスクレイピングによるデータ収集 | データの取得と準備 | Pythonによる機械学習を学ぶ

Webスクレイピングによるデータ収集（BeautifulSoup、Scrapy）

機械学習プロジェクトでは、データの収集が重要なステップです。公開データセットが適切でない場合や、自分のプロジェクトに合ったデータが不足している場合、Webスクレイピングを利用してインターネット上からデータを取得することが有効です。この記事では、PythonでのWebスクレイピング手法として、BeautifulSoupとScrapyの2つの方法を解説します。

Webスクレイピングの基本

Webスクレイピングとは、Webページからデータをプログラムを使って自動的に抽出する技術です。Pythonでは、BeautifulSoupやScrapyなどのライブラリを使って簡単にスクレイピングが可能です。

注意: Webスクレイピングを行う際は、対象サイトの利用規約を確認し、適切な範囲で行ってください。サイトによってはスクレイピングを禁止している場合があります。

BeautifulSoupを使ったスクレイピング

BeautifulSoupは、PythonでHTMLやXMLファイルを解析するためのライブラリです。Webページの構造を読み取り、特定の要素を簡単に抽出できます。

BeautifulSoupのインストール

1. まず、BeautifulSoupとHTTPリクエストを送るためのrequestsライブラリをインストールします。

pip install beautifulsoup4 requests

BeautifulSoupを使った基本的なスクレイピングの流れ

ここでは、簡単なWebページから特定のデータを抽出する例を示します。

import requests
from bs4 import BeautifulSoup

# WebページのHTMLを取得
url = "https://example.com"
response = requests.get(url)

# BeautifulSoupを使ってHTMLを解析
soup = BeautifulSoup(response.content, "html.parser")

# タイトル要素を抽出
title = soup.find("title")
print(title.get_text())

このコードでは、指定したURLからWebページのHTMLを取得し、BeautifulSoupを使ってHTMLを解析しています。soup.find()メソッドを使って、HTML内の特定の要素（ここでは<title>）を抽出し、内容を表示します。

他の要素の抽出

BeautifulSoupでは、複数の要素や特定のクラスやIDを持つ要素を簡単に取得することができます。

# クラス名が'sample'のすべての
タグを取得
divs = soup.find_all("div", class_="sample")

# 抽出した内容を表示
for div in divs:
    print(div.get_text())

このコードでは、クラス名がsampleの

pip install scrapy

scrapy startproject myproject

import scrapy

class ExampleSpider(scrapy.Spider):
    name = "example"
    start_urls = ['https://example.com']

    def parse(self, response):
        title = response.css('title::text').get()
        yield {'title': title}

scrapy crawl example