Skipsrederfamilien Olsen har satt sitt preg på Hvitsten. Petter (1821-1899) og hans kone Bolette Olsen (1829 -1923) bodde her og gav i 1887 både bedehus og skole til Hvitsten.
Hvitsten skole er en av de eldste i Vestby og er i dag kontorbygg for noen av Fred. Olsens virksomheter. Den gamle kirken i stavkirkestil, bygget i 1903, var også en gave fra Bolette Olsen. Petter og Bolette hadde 7 barn og Fred.Olsen (1857-1933) var den som har markert seg mest.Han flyttet rederiet til hovedstaden i 1902, omskapte det fra seil til damp og senere til motor – og har med rette fått monument i Hvitsten. Det er han som opprettet malingsfabrikken Stabil ytterst på odden i 1905 - Stabil ble revet i 2008.
http://www.fredolsen.no/?aid=9042299
Thomas Frederik Olsen - Fred. Olsen
http://www.firmament.no/
http://www.rammegaard.no/
Petter Halfdan Rudolf Fredrik Olsen - Petter Olsen