ב־1942 הצטרף מנדלה לשורות מפלגת השחורים הקונגרס הלאומי האפריקאי (ANC). ב־1944 הוא סייע להקמת ליגת הנוער של ה־ANC. ב־1952 הוא נבחר לרכז המתנדבים בקמפיין ההתנגדות למשטר האפרטהייד. הוא נסע ברחבי דרום אפריקה וארגן פעילות מחאה נגד חוקי ההפרדה הגזעית המפלים נגד השחורים, המהווים את הרוב במדינה. הוא הועמד לדין על חלקו בארגון המחאה ונידון לעונש מאסר על תנאי. לאחר מכן הוטל עליו צו הגבלה, שאסר עליו לצאת מאזור יוהנסבורג למשך חצי שנה. במהלך תקופה זאת הוא טווה תוכנית לביזור מבנה ה־ANC לתאים מחתרתיים.

מנדלה היה כלוא בבתי כלא שונים בדרום אפריקה 27 שנים, מתוכן 18 שנים ברובן איילנד עד מרץ 1982. יחד עם שלושה מנהיגים אחרים של הקונגרס הלאומי האפריקאי הועבר מנדלה ביום 31 במרץ 1982 לכלא פולסמור (Pollsmoor) באחד מפרבריה הדרומיים של העיר קייפטאון, ובו ריצה מנדלה את עונש המאסר עד לסוף שנת 1988. בתחילת חודש דצמבר 1988 הועבר נלסון מנדלה לבית הסוהר ויקטור פרסטר (Victor Verster) ליד העיר פארל שבדרך היין. את צעדיו הראשונים לעבר החירות עשה נלסון מנדלה ביום 11 בפברואר 1990 מבית סוהר זה. בכניסה לבית הסוהר מוצב כיום פסל דיוקן של מנדלה, על בסיס צילום שצולם בעת יציאתו מבית הסוהר. במהלך תקופת מאסרו הפך מנדלה לסמל המאבק באפרטהייד, שמו התפרסם בעולם כולו והחל מאבק בינלאומי לשחררו. בתקופה האחרונה של מאסרו החל מנדלה לקיים מגעים חשאיים עם אישי ממשל בכירים, ובהם הנשיא פרדריק וילם דה קלרק. מנדלה שוחרר מהכלא, כאמור, ב־11 בפברואר 1990, לאחר שהוא וחבריו ל־ANC הסכימו להשעות את המאבק המזוין ולקיים משא ומתן עם השלטון.

במהלך שנת 2013 אושפז מנדלה מספר פעמים בשל זיהום בריאות. ב-5 בדצמבר 2013 הוא נפטר בביתו, ביוהנסבורג‏ ב-10 בדצמבר 2013 נערך באצטדיון סוקר סיטי ביוהנסבורג טקס אשכבה למנדלה, בו נכחו מנהיגים ממדינות רבות, בהם נשיא ארצות הברית ברק אובמה‏. ב-15 בדצמבר הוא הובא לקבורה בטקס ממלכתי בכפר ילדותו קונו שבפרובינציית הכף המזרחי.