पटेल ने सूट और टोपी पहने हुए अंग्रेज़ी बोलने वाले अमीर वकील के अपने व्यक्तित्व को छोड़ा, और गांधी के नक्शेकदम पर खादी को अपनाया। १९१८ में इस परिवर्तन के तुरंत बाद, खेड़ा में किसानों के अभियान के साथ पटेल ने सार्वजनिक सेवा के जीवन की शुरुआत की। अंग्रेज़ी प्रशासन ने असफल फसल के बावजूद क्षेत्र में कर के भुगतान को स्थगित करने के लिए किसानों की याचिकाओं पर विचार करने से इनकार कर दिया था।गांधी को संघर्ष का नेतृत्व करने के लिए कहा गया था और उन्होंने अभियान के लिए पटेल को अपने सहायक कमाण्डर के रूप में चुना। नरहरी पारिख, मोहनलाल पंड्या और अब्बास तैयबजी जैसे अपने साथियों के साथ जुड़कर वल्लभभाई पटेल ने एक राज्यव्यापी विद्रोह करने के लिए ग्रामीणों को एकत्रित करके उनसे करों का भुगतान ना करने का आग्रह किया। प्रशासन द्वारा किसानों की मांगें पूरी किये जाने के साथ खेड़ा अभियान ने बड़ी सफलता मिली। खेड़ा के किसानों की आँखों में पटेल तुरंत ही नायक बन गए।
१९२० तक अपनी वकालत छोड़कर पटेल ने स्वयं कों सार्वजनिक सेवा के जीवन कों समर्पित कर दिया। उन्होंने महिलाओं के सशक्तिकरण के लिए काम किया, और गुजरात में शराब, अस्पृश्यता और जाति के भेदभाव के खिलाफ लड़े। उन्हें १९२२, १९२४ और १९२७ में अहमदाबाद का नगर अध्यक्ष चुना गया था, और वे अहमदाबाद में सकारात्मक परिवर्तन लाने में सफल रहे। उन्होंने १९२३ में नागपुर में एक क़ानून के खिलाफ़ सत्याग्रह का नेतृत्व किया था, जिसने भारतीय ध्वज को लहराने पर प्रतिबंध लगाने की मांग की थी। इस अवधि के दौरान, वे गुजरात प्रदेश की कांग्रेस समिति के अध्यक्ष चुने गए थे।
१९२८ में सरदार ने अपना ध्यान गुजरात के बारडोली गाँव की ओर केन्द्रित किया, जहाँ एक अकाल की दुर्दशा के साथ करों में भारी वृद्धि ने बड़े पैमाने पर कष्ट उत्पन्न किया था। करों की पूर्ण वापसी की मांग करने के लिए एक अभियान शुरू किया गया। इस संघर्ष के दौरान सरदार के चतुर नेतृत्व कौशल और संगठनात्मक क्षमताएँ सामने आकर राष्ट्रीय प्रसिद्धि में बदल गईं। उनके उल्लेखनीय योगदान और नेतृत्व क्षमता के लिए बारडोली के किसानों ने प्यार से उन्हें सरदार की उपाधि दी थी। तब से, वे हमेशा इसी नाम से जाने जाते रहे।