처음에 왜 문제가 발생하지 않았는지 모르겠다. Jupyterlab과 마찬가지로 subfolder를 지정해서 reverse proxy를 하기 위해서는 rserver.conf 설정이 필요하다.
www-root-path=rstudio
RStudio Workbench Administration Guide – Appendix H — rserver.conf
The following is a list of available options that can be specified in the rserver.conf configuration file, which controls behavior of the rserver process, allowing you to tune HTTP, authorization options, and other settings that broadly affect RStudio Server.