[DeadLock] 프리징 현상 발생

[JunYupK]

크롤링 진행 중 1000개가 넘는 기사를 크롤링 중 데드락과 흡사하게 멈춰버리는 현상이 발생하였습니다.

예상되는 원인으로는 1000개의 기사를 크롤링 중 계속하여 크롬 새 창을 띄우는데, 1000개면은 브라우저 창이 1000개가 넘어버리므로 메모리가 부족한 현상때문에 멈추는 것으로 생각됩니다.

추후 이를 해결하기 위해 100개의 기사를 크롤링 후, Crwaler를 중단 후 창을 모두 종료 후 다시 이어서 진행하는 형식으로 진행해야 할 것 같습니다.