O njegovom privatnom životu se vrlo malo zna. Poznato je da je holandski slikar iz 19. veka Vinsent van Gog odsekao uvo, ali malo njih zna pozadinu.
Van Gog i Pol Gogen bili su dva umetnika čiji je rad uključivao obilje boja. Dvojica slikara su delili stan u južnoj Francuskoj u čuvenoj Žutoj kući, gde je Van Gog pokušavao da stvori komunu umetnika.
U početku su njih dvojica bili bliski, uživajući u prijateljskom rivalstvu koje je bilo od koristi obojici. Ali van Gog je imao probleme sa nervima, dok je Gogen vodio buran život. Na kraju su počeli da se često svađaju.
Jednom priliko njih dvojica su se žestoko posvađali u decembru 1888. godine, Gogen je rekao policiji da je izašao iz kuće da se prošeta kada je van Gog jurnuo na njega sa otvorenim brijačem, ali je onda otrčao kući.
Gogen je odlučio da se ne vraća kući. Van Gog je u muci britvom odsekao deo levog uha, dajući komad prostitutki koja je u tom trenutku bila kod njega. Gogen se vratio ujutru i video van Goga sa glavom oblivenom krvlju. Van Gog je odveden u bolnicu, a zatim u ludnicu.