隋文帝以杨素为行军总管，率兵讨伐。朱莫问自称南徐州刺史，以大兵占据京口，杨素率领舟师从扬子津进攻，击败朱莫问晋陵顾世兴自称太守，和他的都督鲍迁等又来抵抗，杨素予以迎头痛击，活捉鲍迁，俘虏三千余人。进而攻击无锡帅叶略，又将他平定。吴郡沈玄、玄杰等以兵围困苏州，刺史皇甫绩每战不利。杨素领兵救援，沈玄为势所迫，走投南沙帅陆孟孙。杨素击败陆孟孙于松江，生擒陆孟孙和沈玄。浙江叛帅高智慧自号东扬州刺史，有舰船千艘，屯据要害，兵势凶狠。

杨素发起攻击，自早晨至交后申时，浴血奋战，把他打败。高智慧逃奔人海，杨素紧迫不舍，高智慧又战，杨素又把他战败，擒获数千人。汪文进自称天子，占据东阳，命他的同党蔡道人任司空，守东安。杨素进讨，都一一平定。又击破永嘉沈孝彻。于是率步兵向天台，直指临海郡，追逐搜捕遗漏逃逸的叛军。前后百余战，所向披靡。隋文帝认为杨素长久劳顿在外，诏令还朝。加杨素之子杨玄感为上开府，赐彩绢三千段。杨素以为余贼未灭，恐为后患，又自动请缨。文帝诏令杨素为元帅，把东南军民事务全交他办。杨素再次乘胜到会稽。在这之前，南安豪族泉州人王国庆杀刺史刘弘，据州为乱，各处亡兵都去归附。王国庆自以为海路险阻，北方人不惯舟船，因此不设兵防卫。杨素率舰船从海上来到，王国庆慌张仓猝之间弃州而逃，余党散入海岛，或守溪洞。

杨素分遣诸将，水陆追捕。曾秘密令人对王国庆说：“你的罪状，死有余辜，只有斩送高智慧，还有可能得到赦免。”于是王国庆捕高智慧送交杨素，斩于泉州。余党都来归附，江南大定。隋文帝遣左领军将军独孤陀到浚仪迎接和慰劳杨素。及到京师，慰问备至，拜杨素子玄奖为仪同，赐黄金四十斤，加银瓶，装满金钱，缣三千段，马二百匹，羊二千只，公田百顷，宅一区。代苏威为尚书右射，与高专掌朝政。杨素为人巧言今色，矫揉造作，谁要和他比个高下，他都很在意。朝臣之内人们很推重高。而杨素的才能优于高，至于推诚体国，处事妥善，有宰相的识见风度，他却远远不如高。

阿谀曲承

文帝命杨素监造仁寿宫，杨素就平山填谷，督役严急，工匠死伤很多，据说宫旁时常听到鬼哭的声音。等到宫室建成，隋文帝命高去观看，回来奏称过于华丽，工匠死伤太多，隋文帝心中不高兴。杨素忧惧，没有办法，即于北门启奏独孤皇后说：“帝王所居，历来就有离宫别馆，现在天下太平，造这么一个宫殿，何必节省费用！”皇后以这个道理劝谕文帝，文帝不高兴的心情才得以消除。于是赐杨素钱百万，锦绢三千段。

突厥达头可汗侵犯边塞，朝廷以杨素为灵州道行军总管，出塞讨伐，赐帛二千段，黄金百斤。原先，诸将与突厥作战，常顾虑突厥骑兵突然袭击，所以都用战车步骑相参，用车载削尖的树枝为鹿角方阵，骑兵在内。杨素对人说：“这是防御的方法，不是决胜的良策。”于是尽除旧法，命令诸军为骑。

达头听到后大大欣喜，说：“这是老天爷赐给我好策略、好机会。”因而下马对天叩拜，率领精骑十余万而至。杨素奋起而击败达头，达头遭到重创而遁逃，杀伤将士无数，突厥兵众号哭而去。隋文帝优诏褒扬，赐缣二万匹，以及万钉宝带。杨素多权略，在战争中，不守陈规，应变无常则，但是驾驭军队严整，有犯军令者，立即斩杀，从不宽恕。每次临战，就寻找人的过失而斩杀，多时百余人，少也不少十数人，流血满地，但他谈笑自若。等到对阵，先令一二百人赴敌，能陷阵便无事，如不能陷阵而回，不问多少，一概斩杀不论。又令三二百人继续冲阵，如果退回，依前法斩杀。因此将士畏惧，抱必死之心，战无不胜，称为名将。

当时杨素正贵幸，文帝对他言听计从，凡从杨素出征，微功必录，至于其他将，虽有大功，多为文官所掩没。所以杨素虽然严厉残忍，士卒却愿意追随他。开皇二十年（），晋王杨广为灵朔道行军元帅，杨素为长史。杨广谦卑屈尊接交杨素。后杨广能够成为太子，也就是得力于杨素的筹谋。

不久，杨素代高为尚书左仆射，赐良马百匹，牝马二百匹，奴婢百口。这年，以杨素为行军元帅，出云州击突厥，屡战屡胜。突厥败走，杨素率军追击，直到夜间终于追上。恐突厥逃走，命令骑兵殿后，他自己则带领二骑和突厥降入二人，与突厥队伍并行而前，突厥并不知觉。当他们正在安顿宿营地时，催促后面的骑兵快速掩击，大败突厥。从此突厥远遁，大漠以南再也没有突厥王庭。