소요 사태 이후 십여 년간 일본인 인구는 더이상 늘지 않았다. 다만 완자이와 케네디타운 일대에서는 일본인 학교가 계속 운영되었다. 태평양 전쟁 발발 이후 일본군이 대영제국에 선전포고한 뒤 홍콩 전투를 치루면서, 홍콩의 일본인 인구는 급감하여 80명에 불과하게 되었다. 이 당시에는 만주 사변 이후 세워진 만주국의 경우처럼 일본군이 침략한 지역에는 일본 민간인들이 정착하는 경우가 많았지만, 1941년부터 1945년까지의 일본군 점령 기간 동안 홍콩에는 소수의 관료와 공무원들을 제외하면 일본 민간인이 급격히 유입되지는 않았다. 

기존에 재홍콩 일본인들이 이용하던 기관들은 일본군이 점거해 군용으로 사용하였다. 예를 들어 홍콩의 일본어 일간지였던 홍콩일보는 일본어판 발행을 중단하였지만 중국어판과 영어판은 발행을 지속하여 상부로부터 공식 승인된 뉴스를 전하는 용도로 이용되었다 일본군은 여느 점령지와 마찬가지로 홍콩 사람들에게도 혹독한 통치를 가하였지만, 홍콩에 남은 일본 민간인 중에서는 곤경에 처한 중국인 이웃을 돕고자 했던 사람들도 있었다. 예컨대 훗날 법조인으로 활동하는 패트릭 유는 회고록에서 가족들을 데리고 홍콩을 탈출해 마카오와 광저우 만 (당시 각각 포르투갈령과 프랑스령으로 일본군 점령 지역이 아니었음)을 거쳐 중국 본토로 탈출하는데 성공하였는데, 이 과정에서 일본 학교의 교장으로부터 큰 도움을 받았다고 회고한다.
홍콩에 일본인이 급격히 유입된 시기는?
1941년부터 1945년까지