杨广一方面尽量做好自己的事，不要让人挑出毛病来。另外一方面也在想办法怎么搞掉杨秀与杨凉这两个兄弟。
蜀王杨秀有胆气，容貌瑰伟，美须髯，多武艺。论本事并不在杨广之下，让杨广心中极为的担心，而且蜀地多俊杰，对杨广的威胁也是最大的。
可是无意间得知一件事之后，杨广心中对于杨秀的忌惮顿时小了很多。原来蜀王杨秀虽然极为的出色，但是不知道怎么的，杨坚对这个儿子向来是极为的不满意，甚至曾经对独孤皇后说过：“杨秀必不得好死。朕活着的时候他不敢闹事，等他哥哥当皇帝后这小子肯定要造反。”
汉王杨凉虽然是并州总管，自山以东，至于沧海，南拒黄河，五十二州全部都归杨凉管辖。但是对于这个弟弟，杨广还是很清楚的，既无远谋，又无胆识，虽然大隋出精兵的地方全部都在杨凉的管辖之下，但是杨广却是丝毫不担心。
作为一个出色的人才，蜀王杨秀自然是极为的自傲的。可是在得知杨勇被废，杨广成为了太子之后，心中也是一阵地不平衡。
在杨秀看来自己比杨广要优秀许多。如果不是自己出生的太迟，杨广所立下的那些功劳就应该是自己地了。
前面杨勇成为太子，那是因为人家是嫡长子，自己没有什么话可说。现在嫡长子被废，自己竟然还是没有成为太子，让杨秀的心中觉得极为的不爽快。
眼见自己无法成为天子了，杨秀也就变的极为地不捡点，在蜀地“违犯制度，车马被服，一拟天子”，自己关起门来做皇帝。
杨广知道这件事之后心中极为的高兴。虽然眼见对这位四弟不是很喜欢，但是一直放在那里，杨广的心中还是有些不舒服。因为迟早会威胁到自己，现在杨秀违犯制度，车马被服，一拟天子。给了杨广攻击的借口。可以让杨秀永远无法威胁到自己。
在和杨素、古霄等人商议之后，杨广让杨素上表弹劾杨秀。
对于任何一个帝王来说，都不能容忍自己的权威受到威胁，就算是自己的兄、弟、妻、子也不行，杨秀的所作所为让杨坚对自己这个本来就不是很喜欢的儿子极为的讨厌，在朝堂上大发雷霆，说道：“当斩杨秀于市，以谢百姓！”
就算是这样，杨广还是有些不放心。派人做两个小木人，分别写上杨坚和汉王杨谅的名字，“缚手钉心，令人埋之于华山下”。然后，杨广又指派杨素等人把偶人挖出，诬称杨秀所为。杨坚暴怒如狂。马上废杨秀为庶人。禁锢终身，诛杀他手下数百僚属。
杨凉在知道杨秀之事之后。本来就对杨广不满的杨秀心中更加的紧张，以防突厥的名义，缮治甲兵，大发器具，训练士卒以备不时之需。
杨广做这一切的时候，并没有隐瞒古霄。古霄也是一句话都不说，默默地看着。
而这时候独孤皇后也已经过世了，没有人给杨秀说话，虽然最后杨坚也并没有将杨秀杀死，但是杨秀却也是形同废人。
这期间大隋和突厥还是时不时的有战事发生，古霄的官职也继续往上升，成为了大隋最年轻地柱国，虽然以古霄的功绩就算是成为上柱国也不是什么难事，但是杨坚并不想让古霄在自己手中就成为上柱国。
杨坚想要给后继者一个能够施恩给古霄的机会。
而在这些年之中，古霄虽然明面上什么都不做，但却一直都在暗地里招揽人手。
与他相反的，这数年来，杨素的权势也越来越大。杨素的弟弟杨约及从父文思、文纪、族父忌并为尚书、列卿，诸子无汗马之劳，位至柱国、刺史；广营资产，自京师及诸方都会处，邸店、碾、便利田宅，不可胜数。
家僮数千，后庭妓妾曳绮罗者以千数；第宅华侈，制拟宫禁；亲故吏布列清显。朝臣有违忤者，或至诛夷；有附会及亲戚，虽无才用，必加进擢，朝廷靡然，莫不畏附。敢与素抗而不桡者，独柳及尚书右丞李纲、大理卿梁而已。
时间很快就走到了仁寿四年，古霄知道这一年就是杨坚归天的时间，虽然自己忘记了杨坚是那一天归天的，但是肯定在这个时侯归天，那是没有问题的。
古霄打起精神来，等着最后时刻地到来。
正月，杨坚带着宣华夫人、容华夫人前往岐州仁寿宫享乐，将朝政交给了越来越成熟地杨广。
古霄这几年来也由于从来不插手朝政的原因，杨坚对古霄是越来越满意了。而且古霄和朝廷众臣基本上没有什么交往，在杨坚看来，古霄这是对自己极为地忠心。
古霄这些年来的谨慎小心，也算是有了回报。