Veslařský ostrov se rozkládá mezi Císařskou loukou a Podolím – s tím že přiléhá ke břehu toho druhého a také k Podolí patří katastrálně. Vznikl díky písečným naplaveninám na konci zimy, kdy ledy občas dokázaly zatarasit celou řeku.
Stará historie ostrova není příliš bohatá. První písemná zmínka je o něm z roku 1420, dále je známo, že se dříve jmenoval Schwarzenberský. Byl totiž v majetku tohoto významného rakouského rodu, který se v našich zemích uchytil napevno po bitvě na Bílé hoře, kdy část původní šlechty, z důvodu „nevhodné“ víry musela svou vlast opustit. Šlechtici na tomto ostrově zpracovávali dříví splavované po Vltavě z jejich rozsáhlých panství v jižních Čechách. Nacházel se zde jak sklad tak i pila. Dřevo bylo významným zdrojem příjmu knížecího rodu, jedním z jejich projektů byl obdivuhodný Schwarzenberský plavební kanál, díky kterému jejich přírodní zelené zlato mohlo putovat i do Vídně, která toužila po neustálém přísunu stavebního materiálu. V první polovině devatenáctého století dokonce Schwarzenbergové získali privilegium vyvážet dřevo do ciziny. Ale s postupem času vorařství začalo ztrácet svůj význam a tím pádem i využití ostrova se muselo změnit.
Ve dvacátých letech dvacátého století začal být ostrov využíván pro různé volnočasové pohybové aktivity. Na tzv. Švarcáku se nacházely koupaliště, hřiště i dětský koutek. Ve třicátých letech se objevily plány na zasypání vltavského ramene a vytvoření nového nábřeží. Díky tomu zde měly vzniknout lukrativní stavební parcely. Tyto plány ale nakonec nebyly pro nedostatek financí realizovány. Po druhé světové se k dosti megalomanským plánům už nikdo nevracel. Místo toho ostrov začal sloužit jako pražské sídlo různých veslařských klubů a díky tomu došlo i v roce 1952 k jeho přejmenování na Veslařský. V letech 1956 až 1958 došlo ke spojení s břehem výstavbou betonového mostu, který má délku sedmdesát metrů. Kromě funkce sportovní toto místo plní také významnou roli při zásobování Pražanů pitnou vodou – nachází se zde zařízení odebírající vltavskou vodu, kterou později zpracovává blízká Podolská vodárna.