在开展外交的同时，明朝认识到，要抵御倭寇，关键还得靠军事力量，加强海防建设。
    明朝初期的军队战斗力确实非常强，洪武时期拥有徐达、常遇春、汤和、蓝玉、李文忠、周德兴等大名鼎鼎的将领，他们带领军队南征北战，所向披靡，战无不胜，不仅打败陈友谅、张士诚、方国珍部队，还战胜元朝大军，将元顺帝赶到大漠深处。永乐年间的军队战斗力也是超级强悍，朱棣的军队能够以少胜多，从北京一路打到南京，夺了皇帝大位，此外朱棣还亲自率军深入漠北征战蒙军，战果累累，这些都是军队能征善战的最好明证。
    面对倭寇，明朝初期的陆军毫不手软，显示出强者风范，在战斗中勇猛冲杀，打得倭寇哇哇叫。洪武二年，倭寇侵犯淮安，镇抚吴祐率兵抵御，在天麻山遭遇倭寇，官兵奋勇冲杀，大败倭寇，生擒57人。洪武七年，倭寇侵犯海州（今连云港），百户何达毫不畏惧，率兵与倭寇大战，斩首24人，其余倭寇落荒而逃。洪武三十一年，倭寇侵犯宁海（今山东牟平），卫指挥陶铎和其弟弟陶钺齐上阵，带领士兵勇斗倭寇，斩首30余人，其余倭寇见状纷纷溃逃。
    永乐十一年（1413年），倭寇3000人围攻浙江昌国卫爵溪千户所（今宁波象山县爵溪），城外的倭寇密密麻麻的，数量之多创了明初纪录。倭寇开始攻城，但是城内守军并不畏惧，以矢石将攻城倭寇砸得脑袋开花，打退倭寇一次又一次的进攻，让倭寇死伤甚多。最后倭寇不得不放弃攻城而撤退。备倭指挥佥事周荣率军追击，杀死倭寇甚多，倭寇溺水死者不计其数。明军获得大胜。
    最出名最经典的战斗还得数望海涡大捷。望海涡位于辽东（今辽宁大连市金州区东北30公里的亮甲店街道金顶山）。永乐十七年四月，大明接到朝鲜人提供的情报，说有一群如饿狼般饥困的倭寇准备进攻大明。明成祖朱棣得悉后，命令辽东总兵官刘江在沿海全力做好防备，只要有机可乘，就尽力剿捕，不留后患，不得有误。
    刘江，宿迁人，本名刘荣，因替父从军而冒父名刘江。接到情报后，他立即开展战斗动员，利用军事设施做好各种准备工作。其实，在这之前，任辽东总兵官的刘江就注重海防设施建设，当他来到金州卫地方巡视，看到望海埚地高且广，旁可驻兵千余人，并听当地的百姓说，凡有倭寇到来，必经此地，这里实为滨海咽喉之地。于是，刘江就上疏朝廷，在此用石头垒堡筑城，置烟墩瞭望，以备倭寇来犯。朝廷当即同意刘江的奏疏。于是一座石头城在望海涡建成，并驻扎了军队。
    一天晚上，负责瞭望的哨兵发现东北方向的王家岛上有火光，于是立即向刘江报告。刘江预料一定是倭寇来到岛上，估计不久就会登陆，便立即调兵遣将，严阵以待。他令一位名为徐刚的将军率领步兵在山脚设伏；令一位名为钱真的将军率领马军绕到倭寇背后，准备截其归路；令百户姜隆率领壮士，绕道到海边，准备烧掉倭寇所乘寇船，让倭寇没法逃跑。
    果然不出所料，第二天，有约两千名倭寇乘三十多艘船驶来。倭寇登岸后，成一字形，鱼贯而行，直朝望海埚而来。倭寇看到望海涡附近没有任何异常，放松警惕，快步而走。当倭寇进入伏击圈，刘江下令旗举炮鸣，于是明军伏兵尽起，两翼并进，杀向倭寇。值得一提的是，明军还故意披头散发，装成真武神的样子吓倭寇，从精神上压倒敌人。倭寇毫无准备，被打得措手不及，虽然急忙抵抗，但明军气势正盛，斗志昂扬，而倭寇气势不佳，占不到半点便宜。倭寇见势不妙，开始撤退。但是已绕到倭寇背后的钱真率军杀出。且江隆率壮士潜至倭寇登陆地点，烧毁倭船，断敌归路。倭寇看到船只没了，明军如神兵一样降临，吓得魂不守舍，只剩下两种选择，其一是战死，其二是举手被擒。明军杀得起兴，没多久就斩首一千余级；对于投降的，算是手下留情，生擒了数百人。明军获得完胜。
    此战有效震慑了倭寇，《明史》记载：“自是倭大创，不敢复入辽东。”明成祖获得捷报后，十分高兴，下诏封刘江为广宁伯，其替父从军的事也不追究了，让其改回原名刘荣，对其他将士也进行奖赏。这也反映明初政治清明，该赏则赏明，不会像后来的嘉靖年间忠奸不分，功臣往往被诬陷遭罪。
    明初不仅陆军威武，水军也是十分厉害。
    明朝的水军发源于元末农民战争时期。朱元璋军队起初并无水军。他准备夺取江南地区时，苦无舟船，难渡长江天堑，实在是愁。正当朱元璋愁眉不展的时候，俞廷玉、俞通海父子和廖永忠、廖永安兄弟致书朱元璋，表示愿率战舰千艘，归附朱元璋。本来他们是为了保护乡里而聚兵巢湖，修船和训练水军，渐渐地发展壮大起来，竟然成为一支群雄瞩目的水上劲旅。他们觉得在诸路义军中，朱元璋最值得信赖、最有前途，决定投靠之。朱元璋得知后，大喜过望，笑道：“我正在谋划渡江，而巢湖水军就来归附，我大事可成矣！”然后亲自带着几位大将到巢湖，跟水军的领袖们进行会商，很快就一拍即合。自俞氏父子、廖氏兄弟归附之后，朱元璋一夜之间拥有一千多艘大小战舰，实力大增。
    后来这支水军在朱元璋夺取天下的过程中发挥出十分重要的作用。元军听说巢湖水军和朱元璋合作，胆战心惊，虽然派出部队应战，但被打得大败而逃。朱元璋因此势如破竹地攻占南京。接着，朱元璋依靠水军在太湖击败张士诚，在鄱阳湖击败陈友谅，控制整个长江流域，统一南方，奠定了明朝的根基。此后，汤和与廖永忠率领水军从宁波出发，从海道攻入福建，消灭了在元末割据福建的陈友定势力。之后，又从福建打到广东，从广东打到广西，由此统一了南方。
    大明帝国成立后，这支水军也没闲着，而是继续发挥作用。基于倭寇时不时侵犯大明疆土，朱元璋便命水军出海巡逻，主动寻找倭寇杀之，屡屡都有斩获。出海巡逻相比在沿岸防卫有个优点，那就是没等倭寇登岸劫掠，就将倭寇在大洋中予以消灭，让倭寇的破坏力大大降低。如洪武二年（1369年），太仓卫指挥佥事翁德率水军出海巡逻，在海上遇到倭寇，倭寇看得明军水军浩浩荡荡的气势，士气就下降不少。经过一番势如破竹的战斗，最后明军俘获倭寇92人。洪武七年（1374年），靖海候吴祯率水军出海巡逻，他不断扩大巡逻范围，直至琉球大洋，够远的，且在大洋中俘获不少倭寇，缴获不少船只。至此，倭寇看到明军水军，就像遇到天兵天将，脑中只有一个念头，赶紧跑，能跑多快就跑多快。
    到了永乐年间，大明的水军更加强大。当时朱棣高度重视水军的建设，愿意投入巨大的财力物力人力打造世界一流的水军。最典型的历史事件莫过于众所周知的郑和下西洋。郑和下西洋前后共七次，最远到达非洲。郑和下西洋是中国古代规模最大、船只和海员最多、时间最久的海上航行，也是当时世界历史上规模最大的海上探险活动。如永乐三年（1405年）郑和第一次下西洋，全队共有各种舰船208艘，共有官兵2。78万余名，其中军士2。68万名，包括总兵官郑和、都指挥2名、指挥93名、千户140多名以及旗校、旗卒等等。舰船配备大量当时最先进的武器装备。可以说比后来拥有130左右艘船、号称无敌舰队的西班牙舰队还无敌。
    从郑和下西洋一事可见永乐年间水军的厉害。明成祖朱棣也命水军出海巡逻。永乐六年（1408年）十二月，朱棣一次就派6支部队出海剿捕倭寇，每支50艘船左右，官兵五六千人，让倭寇闻风丧胆。永乐十四年（1416年），总兵官蔡福奉命率万人在山东海域巡逻，遭遇倭寇32艘船只进犯靖海卫（在今山东荣城市西南端），海上大战就此上演，经一番作战，明军大败倭寇。