マルチプロセスの利用

Pythonで重い計算処理や大量のデータ処理を高速化したい場合、複数の処理を同時に実行する「並行・並列処理」が有効です。そのための強力な標準ライブラリがmultiprocessing(マルチプロセス)モジュールです。
Pythonには似たような概念として「マルチスレッド(threading)」も存在しますが、Python特有の仕様(GIL: グローバルインタプリタロック)により、CPUをフルに使う重い計算処理ではマルチスレッドによる高速化の恩恵が受けられません。一方、マルチプロセスは完全に独立した複数の実行環境(メモリ空間)を立ち上げるため、マルチコアCPUの性能を最大限に引き出すことができます。
単一プロセスの作成と実行
Pythonで別プロセスを立ち上げて処理を実行するには、multiprocessing.Process クラスを使用します。
import multiprocessing
import time
def worker():
"""別プロセスで実行させたい関数"""
for i in range(3):
print(f"Worker(別プロセス): {i}")
time.sleep(1)
# Windows環境などでの予期せぬ無限ループを防ぐため、エントリーポイントのガードが必須
if __name__ == '__main__':
# 1. プロセスの作成(targetに実行したい関数名を指定)
process = multiprocessing.Process(target=worker)
# 2. プロセスの開始(バックグラウンドで関数が走り出す)
process.start()
# メインプロセス側の処理も同時に進む
for i in range(3):
print(f"Main(主プロセス): {i}")
time.sleep(0.5)
# 3. プロセスの終了待ち
# これを書かないと、別プロセスの完了を待たずにメイン処理が終了してしまう
process.join()
print("すべてのプロセスが終了しました。")
コードの詳細解説と重要ルール
上記のコードを実装・実行する際には、初心者が絶対につまずく重要なルールが2つあります。
if __name__ == '__main__':の記述(必須):Windows環境などでマルチプロセスを使用する場合、この記述(エントリーポイントのガード)が絶対に必要です。これがないと、新しく立ち上がったプロセスが自分自身のスクリプトを再読込した際に、無限にプロセスを生成し続けてPCがフリーズする致命的なバグを引き起こします。start()とjoin()の役割:start()は「処理の開始の合図」を出すだけで、呼び出した直後に次の行へ処理が進みます。そのため、プロセスの完了を同期(待機)させるためにjoin()メソッドを呼び出す必要があります。
複数プロセスの同時実行と引数の受け渡し
実務では、1つだけでなく同時に何個もプロセスを立ち上げて、それぞれに異なるデータ(引数)を渡して並列処理させることが一般的です。
import multiprocessing
import time
def worker(num, task_name):
"""引数を受け取る関数"""
print(f"Worker {num} ({task_name}) が開始されました。")
time.sleep(2)
print(f"Worker {num} が終了しました。")
if __name__ == '__main__':
processes = []
# 3つのプロセスをループで作成・起動
for i in range(3):
# argsパラメータにタプル形式で引数を渡す。要素が1つの場合は (i,) のようにコンマが必要
p = multiprocessing.Process(target=worker, args=(i, f"タスク{i}"))
processes.append(p)
p.start()
# 立ち上げたすべてのプロセスが「すべて終わるまで」ここでまとめて待機
for p in processes:
p.join()
print("全タスクが完了しました。")
このコードを実行すると、3つのタスクがほぼ同時に開始され、約2秒後に一斉に終了します。通常通り順番に実行すると 2秒 × 3回 = 6秒 かかる処理が、並列化によって約2秒で終わるようになります。
プロセス間の通信(Queueの利用)
マルチプロセスは「それぞれが独自のメモリ空間を持つ」ため、並行処理においてデータの競合が起きにくい反面、「通常のグローバル変数などを経由したデータの共有が一切できない」という性質があります。
別プロセスで計算した結果やデータをメインプロセスに送り返したい場合は、マルチプロセス専用の通信手段である Queue(キュー) オブジェクトを経由させる必要があります。
import multiprocessing
def square_worker(numbers, result_queue):
"""受け取った数値を2乗して、Queueに詰め込む関数"""
for n in numbers:
result_queue.put(n ** 2) # put() でデータを安全に送信
if __name__ == '__main__':
# プロセス間で共有できるQueueを作成
data_queue = multiprocessing.Queue()
target_data = [1, 2, 3, 4, 5]
# プロセスを作成し、引数としてQueueを渡す
p = multiprocessing.Process(target=square_worker, args=(target_data, data_queue))
p.start()
p.join()
# Queueからデータを取り出す(データが入っている間ループ)
print("メインプロセスで結果を回収:")
while not data_queue.empty():
print(data_queue.get()) # get() でデータを受信
Queue は、最初に投げ入れたデータが最初に出てくる「FIFO(先入れ先出し)」構造のデータパイプラインです。put() でデータを安全に投げ込み、受け取り側は get() を使うことで、メモリ空間の壁を越えてデータを安全にやり取りできます。
マルチスレッド(threading)との違いまとめ
並行処理を実装する際の使い分けの指標です。
| 比較項目 | マルチプロセス(multiprocessing) |
マルチスレッド(threading) |
|---|---|---|
| メモリ空間 | 完全に独立(プロセスごとに専用メモリを確保) | 同じメモリ空間を複数のスレッドで共有する |
| データの共有 | Queue や Pipe などの専用システムが必要 |
同じ変数に直接アクセスできる(競合に注意が必要) |
| 得意な処理 | CPUに負荷がかかる重い計算処理 (画像処理、機械学習の並列化、大量の数値計算) |
I/O(入出力)の待ち時間が多い処理 (Webスクレイピング、ファイルの大量ダウンロード) |
| メモリ消費量 | 実行環境ごと複製するため多い | 省スペースで軽量に動作するため少ない |
まとめ
- CPUのパワーを上限まで引き出す:マルチプロセスはメモリ空間を分離して複数の独立した実行環境を作るため、PythonのGILによる制限を受けずにCPUの複数コアをフル活用できます。
__main__のガードとjoinを徹底する:Windows環境での無限ループを防ぐif __name__ == '__main__':の記述や、親プロセスが先走って終了するのを防ぐjoin()の待機処理は必須の実装作法です。- データのやり取りには
Queueを挟む:変数の書き換えによる情報共有ができない仕様であるため、安全なパイプラインであるQueueオブジェクトのput()とget()を用いて通信を行う必要があります。
大量のデータ分析や、膨大な画像・動画ファイルのバッチ変換など、ハードウェアの性能を極限まで引き出したい実務シーンにおいて、マルチプロセスの並列化テクニックはアプリケーションの実行速度を劇的に改善するコア技術となります。