Palme hade tillsammans med sin fru Lisbeth samt sonen Mårten och dennes fästmö under kvällen besökt biograf Grand för att se den svenska komedifilmen Bröderna Mozart. När filmen strax efter klockan elva på kvällen var slut lämnade paret Olof och Lisbeth Palme biografen och promenerade söderut längs Sveavägen, korsade gatan, och fortsatte förbi butiken Dekorima.
På trottoaren vid gatukorsningen alldeles intill butiken klev en man fram och sköt ihjäl statsministern med ett skott och avlossade ytterligare ett skott, som missade, mot hans fru. Mördaren flydde därefter springandes från mordplatsen upp för trapporna vid Tunnelgatan mot Malmskillnadsgatan och därefter vidare längs David Bagares gata där alla spår efter honom tar slut.
En av polisens piketbussar befann sig vid tidpunkten för mordet, omkring tjugo över elva på kvällen, uppe på Malmskillnadsgatan, längs mördarens flyktväg. Gatan var 1986 ett känt problemområde i Stockholm med bland annat öppen gatuprostitution och patrullerades därför flitigt av polisen. Den första polispatrullen var dessutom på plats på mordplatsen mindre än tre minuter efter att Palme mördats – trots det kom mördaren undan.
Jakten på Palmes mördare var den närmaste tiden efter mordet resultatlös, även om tipsen strömmade in till polisen. De enda spår gärningsmannen lämnat efter sig och som polisen lyckats säkra var de två avfyrade kulorna varav den ena dödat Olof Palme. Vare sig mordvapnet eller hylsorna från de två avfyrade patronerna har återfunnits.
Först hösten 1988 kom ett genombrott i polisutredningen då utredarna fattade misstankar om att en man vid namn Christer Pettersson, en känd tidigare dråpdömd missbrukare som befunnit sig i närheten av brottsplatsen vid tidpunkten för mordet, kunde vara den gärningsman de letade efter. Pettersson hade förhörts av polisen redan den 28 maj 1986 men då avfärdats som tänkbar mördare eftersom det ansågs osannolikt att Sveriges statsminister mördats av "buset från gatan".
Den 14 december 1988 pekade Lisbeth Palme ut Pettersson som mördare vid en videokonfrontation och ytterligare två vittnen, en kioskägare samt en bilist, pekade även de ut Pettersson som en man som följt efter paret Palme under mordkvällen. Christer Pettersson anhölls därför och häktades senare på sannolika skäl misstänkt för mordet på Olof Palme.
Christer Pettersson dömdes den 27 juli 1989 av en oenig Stockholms tingsrätt till livstids fängelse för mord på Olof Palme och "framkallande av fara för annan" syftandes på det skott han avlossat mot Lisbeth efter det dödande skottet. Domen överklagades till Svea hovrätt som frikände Christer Pettersson i sin dom den 2 november 1989. Hovrätten var enig i sitt beslut och lyfte bland annat fram att Pettersson saknade motiv för att mörda Palme, att det saknades viktig teknisk bevisning och att den enda som kunnat peka ut Pettersson som mördaren var Lisbeth Palme.
Mordet på den svenske statsministern har gett upphov till et stort antal spekulationer och konspirationsteorier om vem som mördade Palme och varför. En av dem som var övertygad om att en konspiration inom polisen låg bakom mordet var kommissarie Gösta Söderström som ingick i den första polispatrullen på mordplatsen och som tog befälet på brottsplatsen.
Söderström har uttalat sig i media och hävdar bland annat att två piketbussar, varav den ena var den piketbuss som befann sig på Malmskillnadsgatan vid mordtillfället, tog emot ett anrop riktat till "särskild personal" ungefär vid samma tidpunkt som mordet innan han själv fick larmet från larmcentralen. Han trodde att mördaren fick hjälp att komma undan av personer inom polisen och att de piketpoliser som tog upp jakten på mördaren kan ha ingått i en sådan poliskonspiration. Söderström avled 2008.