1960年3月21日的沙佩维尔(Sharpeville)惨案让白人政府和人口占多数的黑人之间的对立加剧。曼德拉放弃了非暴力抵抗,并创建了“民族之矛”(Umkhonto we Sizwe)——非国大的军事组织。他到处给政府制造麻烦,这给他赢得了“黑色蘩蒌”("the Black Pimpernel")的绰号。1962年,他在纳塔尔被捕,被判刑5年。
紧张的开放式大选谈判在进行,伴随着城市中的暴力和种族矛盾,内战威胁近在眼前。在这样的氛围中,曼德拉与总统FW德克勒克(FW de Klerk)分享了1993年的诺贝尔和平奖。是德·克勒克下令释放曼德拉,并解除了对非国大活动的禁令的。尽管同时出现在世界舞台上,曼德拉继续公开批评德克勒克。
南非历史上首次开放的大选结果是,非国大及其联盟得到了63%的选票。75岁的曼德拉成为南非第一位黑人总统。他设立了“真相与和解委员会”(Truth and Reconciliation Commission),这被广泛赞扬。在长期被种族隔离政府占据的比勒陀利亚政府大厦,他开始了坚定和充满魅力的执政,把具体的政府事务大量留给部长们。
曼德拉接手的国家被几十年的种族矛盾所毒害,白人担心黑人的报复。他顶住党内极端的黑人种族主义者的压力,领导了一个多种族的政府,德克勒克在前两年担任副总统。1995年南非作为东道主赢得了橄榄球世界杯(Rugby World Cup),曼德拉身穿南非队的球衣——这件球衣几乎没有被黑人穿过——给队长弗朗索瓦·皮纳尔(Francois Pienaar)颁发冠军奖杯。