Az Anderlechtben nevelkedő futballista ott volt Pekingben is, az ötkarikás játékokon és a belga csapattal a negyedik helyen végzett, miután a brazilok 3-0-ra lemosták őket a bronzmérkőzésen.
Kompany eddig 20 mérkőzésen szerepelt a felnőttek között a nemzeti csapatban, gólt még nem szerzett. 2006-ban szerződött a német kikötőváros együtteséhez, ahol két idény alatt mindössze 28 találkozón kapott lehetőséget.