ray, OOM

ray를 이용해서 처리 속도를 높이고 있다. 그런데 왠지 모르게 몇몇 부분에서 OOM 오류가 발생했다. Graphite를 이용한 정보 수집으로는 그런 낌새를 도무지 알아차릴 수 없었다. 그래서 의심가는 부분들을 하나씩 확인해 보았다. 7초당 한 번 정도 graphite 정보를 수집했다. top 으로 1초 마다 확인을 해보니 실제로 free 메모리가 매우 줄어드는 경우가 짧게나마 있는 것을 확인할 수 있었다.

obj 파일을 만들 때에만 메모리 부족이 발생하고 있었다. 그래서 사용하는 cpu를 3개 줄여서 하니 속도는 느리지만 무사히 해당 과정을 종료할 수 있었다.

오늘의 교훈. OOM이 발생할 경우 좀 더 세밀하게 살펴 봐야한다.