આશરે ૧૭ વર્ષના હતા ત્યારે પટેલના લગ્ન ઝવેરબા નામની ગણા ગામની એક છોકરી સાથે થયા હતા. કમનસીબે ઝવેરબા અને તેમના સહજીવન વિષે ખૂબ જ ઓછી માહિતી જાણવા મળે છે. ૧૯૦૪માં તેમને એક પુત્રી મણિ અને ૧૯૦૫માં એક પુત્ર ડાહ્યા હતા. ઝવેરબા ૧૯૦૯માં ૨૯ વર્ષની નાની વયે મૃત્યુ પામ્યા હતા ત્યારે તેમના બાળકો માત્ર ૫ અને ૩ વર્ષના હતા.

જ્યારે ઘણાં વર્ષો બાદ, પટેલની પુત્રી મણિબેનને તેમની માતા વિષે પૂછવામાં આવ્યું હતું ત્યારે તેમણે ફક્ત એમ જ કહ્યું હતું કે 'મને કંઈ ખ્યાલ નથી'. તેમના પિતાએ ક્યારેય તેમની માતા વિષે વાત કરી નહોતી.

આ તસવીર સરદાર પટેલને (જમણેથી છેલ્લા) તેમની માતા લાડબા અને તેમના ભાઈઓ સાથે બતાવે છે. જોકે, પટેલની પત્ની ઝવેરબાની એક પણ તસવીર નથી.