Thuở thiếu thời có hai lần Bác theo cha đến sống trên đất Huế, lần thứ nhất từ năm 1895 - 1901 với cái tên Nguyễn Sinh Cung, lần thứ hai từ năm 1906 - 1909, khi đã ở tuổi thanh niên và mang tên Nguyễn Tất Thành.

Xem ra nghề trộm cắp với hai lần xộ khám không thể giúp hắn giàu nhanh chóng. Để mau chóng thành "đại gia", vừa ra tù, Phạm Hữu Lợi lập tức chuyển sang nghề làm trùm cá độ.