2005年1月《忽然一周》爆出林與密友大律師布穎琪在元旦日（1月1日）同遊日本的緋聞；事後（1月6日），林以「鑑於傳媒對其私人感情生活的報道」為由向時任特首的董建華呈辭，成為問責制實行以來第四位請辭的政治任命官員。
(fi) aqʑˈan yiˈoiɣr ʁk ʑn yiqk auʁk ɕʑr ʝʁk qn yir qr yir çʑr eir ʁqk ɕr yiqɣ^r qn auʑqr yiʑn çʑr qr yiˈoiɣr ˈyqr ɣ^n yin qr ɕɣr çɣr xɣqk øiɣn ʁqr ʁr (fi) yiˈoiɣr ˈyqr qn tɕhqr ɬqʑr tɕhk ʝʁʑn ɣqn çqr qn qk ɣn ɣ^ʑr qɣ^n ʁɣɣ^k ʁn çɣr ɕʑr çʑr thɣqr tɕhn khqʑɣ^r ʁqn ɣr ɣr ʁr çɣr çɣ^r ɬqʑr ʁʑn ʝʁɣɣ^n ʝqn ʝʁɣɣ^n thɣqr thɣr tsɣn tsʁqr ʁqn khqɣ^n tɕhqr ʑqn çqr qr thɣqr qɣ^r ʝqn çɣr tsʁɣɣ^r tsʁqr ɣr qɣ^r ɣ^ʑk tɕhʑn