멀티쓰레드1 multi threading으로 빠르게 크롤링하기 데이터를 모으는 작업을 하면서 속도를 높일 수 있는 방법을 찾아보다가, '멀티쓰레드'를 활용해서 크롤링을 해보려고 한다. 실제로 작업 과정이 대폭 줄었으며, 간단한 예제를 통해 보여주고자 한다. 1. 멀티스레드란?멀티쓰레드(Multithreading)는 하나의 프로세스 안에서 둘 이상의 쓰레드(작업 단위)가 동시에 실행되는 개념이다. 이를 통해 CPU 자원을 보다 효율적으로 사용하고, 프로그램의 응답성이나 처리 속도를 향상시킬 수 있다. 2. 필요한 라이브러리time, request, bs4, threading를 사용할 것이다. 각 라이브러리에 대해 간단하게 설명해보겠다.1) time - 시간 관련 라이브러리시간 측정, sleep 등 다양한 시간 관련 라이브러리2) request - HTTP 요청 라이브.. 2025. 5. 12. 이전 1 다음 728x90
