l961年6月曼德拉创建非国大军事组织“民族之矛”,任总司令。1962年8月,曼德拉被捕入狱,当时他年仅43岁,南非政府以“煽动”罪和“非法越境”罪判处他5年监禁。1964年6月,他又被指控犯有“企图以暴力推翻政府”,改判为无期徒刑。在狱中长达27个春秋,他备受迫害和折磨,但始终未改变反对种族主义、建立一个平等、自由的新南非的坚强信念。
1983年和1985年,曼德拉曾先后荣获联合国教科文组织授予的“西蒙·博利瓦国际和第三世界社会经济研究基金会颁发的“第三世界奖”。
1990年2月11日,南非当局在国内外舆论压力下,被迫宣布无条件释放曼德拉。同年3月,他被非国大全国执委任命为副主席、代行主席职务,1991年7月当选为主席。l994年4月,非国大在南非首次不分种族的大选中获胜。同年5月,曼德拉成为南非第一位黑人总统。l997年l2月,曼德拉辞去非国大主席一职,并表示不再参加l999年6月的总统竞选。1999年6月正式去职。