张家玉，字玄子，号芷园，广东东莞人，明万历四十三年十二月十三日(公元1616年1月31日)出生于东莞县城西北村头村(今东莞市万江区村头)一个贫穷家庭，家玉生性聪敏，精通经文，“好击剑，任侠，多与草泽豪士游“，这一点对他日后影响很大。
张家玉19岁考取秀才，为广州儒学生员。22岁乡试中举人后，其族兄张一凤任广西左江兵备参议，招他到官署中读书，明崇祯十六年(公元1643)家玉中进士，授翰林院庶吉士，时年29。
崇祯十七年(公元1644)三月，李自成农民起义军攻入北京，家玉报名被执，四月，家玉上《陈情书》及《荐人才书》与李自成，《陈情书》请宾而不臣。《荐人才书》荐刘宗周、黄道周、史可程(史可法弟)、魏学濂等。自成召见，长揖不跪；许以官职，亦拒绝，于是被缚于五凤楼，七日不食，后获释。当李自成率兵抵抗吴三桂时，家玉乘隙奔回故乡。十二月，在南京成立的南明弘光政府以六等定从李自成诸臣罪，家玉罪在五等，逮问至东莞，拘至南京，为有力者辩解，乃得免。
弘光元年(公元1645)五月，清兵攻破南京，弘光帝朱由崧被俘。张家玉走杭州，与黄道周、苏观生(亦东莞人)、郑鸿逵等奉唐王朱聿键至福州。闰六月，朱聿键即帝位，改元隆武，家玉被授为翰林院侍讲，兼管理《起居注》，不久兼理吏、户、礼三科事。七月初一，隆武帝征江西，家玉请从军，隆武帝爱其文武兼备，命为任兵科给事中，监督御右营郑彩的永胜军，出杉关，又赐“正大光明“银印及数指令性的“堂帖“，便宜行事。十月，清将金声桓围抚州，张家玉率军驰援。十一月，自十一日至十四日，先在许湾(今江西临川)，后于千金坡，与清兵遭遇，家玉用埋伏诱敌之计，率众奋战，接连大败清军，十六日解抚州之围。
隆武二年(清顺治三年，公元1646)正月，家玉多次请郑彩乘胜出兵西进，郑彩畏缩，家玉请之再三，不得已，遣前锋，至硝石，清兵将至，郑彩竟尽撤其军，弃新城(今江西省黎川)，入杉关。家玉与新城知县李翔招募乡兵防守。清兵至，家玉自带亲军、乡兵二百余人与清兵战于城南，在这场保卫福州门户的屏障--新城之战中，因众寡悬殊，家玉兵败、中箭、堕马、折臂昏迷，幸得司都林雄蒙被、冒箭冲入阵中，才把他救回。
当时，隆武朝中，郑芝龙掌管兵权，芝龙与清招抚江南大学士洪承畴有同乡之谊，蓄意降清，竟然与洪承畴暗中相约：“(清兵)由旱路则撤杉关，由水路则撤水师。“郑彩畏敌如虎，家玉有感于郑氏的不可靠，遂自请募兵于潮惠，二月下旬，得到隆武帝钦准筹饷招兵，并为未来的新军赐名“武兴营“，寓意光武中兴，委家玉为新军“监督总理“。三月，家玉至潮惠，即招降镇平(今广东蕉岭)赖其肖，得万人，又招降啸聚山林的黄元吉、黄如海，得万人；家玉在潮惠共招农民军十余万人，选取其中精壮万人分为五营。下当家玉整顿军容准备开赴前线时，抚州、福州相继陷于清兵之手，隆武帝被俘于汀州。刚刚建立起立的武兴营新军，因大势已去，士无固志，粮饷又缺，张家玉在失望之中，只好将武兴营解散。于八月返回家乡东莞，另谋起事。
十一月，苏观生拥立朱聿□(钅粤)于广州，年号绍武，丁魁楚、瞿式耜拥立朱由榔于肇庆，年号永历。广东“百里之内，两君抗拒“，二帝先而诋斥指责，继而兵戎相见，于是高峡、三水之间，无日不战。清将佟养甲、李成栋乘虚由潮惠以轻骑侵广州，十二月十四日，清兵破广州，杀朱聿□(钅粤)。清廷新任命的两广总督佟养甲，慕家玉之名，于是致书家玉，尽威逼利诱之能事，被严辞拒绝。佟养甲又纠合与家玉有交往的降清明臣及家玉同榜进士张元琳劝降，亦被家玉以：“玉惜此发也(当时清兵入关，便令人民按清制剃发)，拔去一茎，即禅我以清朝天子，犹且不屑，拘拘官爵，岂足云乎？！“拒绝。他一方面积极组织义军，一方面派人与南海陈子壮、顺德陈邦彦两路义军联络。(三人后被合称为“广东三忠“)
永历元年(清顺治四年，公元1647)正月，东莞知县余经国降清，清军入东莞，到处烧杀抢掠，引起东莞人民强烈反抗，中堂、道滘等水乡一带人民纷纷组织抗清。道滘的胜利鼓舞了张家玉，他立即派人到道滘联系，道滘首领叶如日派船迎家玉，尊为主帅。家玉精选骁勇精壮乡兵五千余人，加紧训练，申明约束，整顿军纪，誓师抗清。
三月初四，家玉起兵道滘，得惠阳淡水农民武装首领李万荣加入。三月十四，家玉率义军约联博罗韩如琰义军攻入莞城，活捉清知县郑鋈，擒杀清典吏赵元鼎，同时任命原明朝的东莞儒学训导张珆为知县。布置停当后即还师道滘，为收复广州作准备。十七日，清广东提督李成栋率大军攻东莞县城，张家玉与之大战于万家租。由于仓促应战，且清军人多势众，家玉兵败，退回道滘。二十八日，清军攻道滘，大战三昼夜，义军虽斩杀清军千余人，但自军亦伤亡惨重，道滘遂陷。家玉败走新安西乡(今属深圳宝安)，得到当地大豪绅陈文豹的支持，“诸山骁勇皆起应之“，遂重整义军，接着攻克新安。四月初十，李成栋遣戚元弼及义子贾九率军攻西乡，为家玉所败。
六月十七日，李成栋亲率