杨达负责门下省；杨约负责内史省；牛弘专掌人事权；张衡、裴矩二人负责制诏；唯有黄明远在宰辅之中属于打酱油的，没有什么具体负责的事。
尚书省实际上除了虚名的尚书令，权利一分为二，左、右仆各掌一部分，相互制衡。但为尚书左仆杨素不管政务，权利全部为苏威掌握。此时尚书省还不是唐朝时期的执行机构，尚书仆作为真正的宰相，地位极高，也是一朝的核心。杨广素来不信任苏威，自是不愿意让苏威一人独霸尚书省。
尚书仆管理掌统理六官，为令之贰，令阙则总省事，劾御史纠不当者。六部九寺之中，左仆分管吏部、民部、礼部、太常、宗正、鸿胪、太府、司农，右仆分管兵部、刑部、工部、大理、太仆、光禄、卫尉、将作、都水，互为照应又互相监视。
黄明远想了想，自己负责杨素的那一摊实在不合适。左仆主要负责人事、钱粮、礼仪，权利太重，影响也大。而且自己若是上到苏威那个心眼的前面，岂不是让他忌恨。
因此黄明远道：“圣人隆恩，明远本该依从，只是尚书省尚有苏相，明远一个毛头子，若是掌管左仆之事，乃越过苏相，实为不妥。况且明远也不善钱粮、礼仪之事，贸然上手，反而影响朝政运转，还请圣人明鉴。”
杨广笑道：“你啊你啊，什么时候都是这般周全。既然如此，便让苏威分管左仆之事，你分管右仆之事。苏威这个人，滑头的很，你跟着苏威，可学其才，切不可学其油滑之道。”
黄明远只得点头应和。
教训了黄明远一顿，杨广才觉得舒畅了。就如很多父亲看到嘚瑟的儿子一样，总是能找到儿子的缺点然后狠狠地批一顿，才能感到酣畅淋漓。
两个儿子之中，杨昭那里，太过一本正经，杨广是没办法给他发脾气；至于杨暕，那就是个顽石，杨广根本没法感受到父亲的权威。所以杨广有事没事只好在黄明远这里找补一下心理落差了。
杨广不好女色，边几乎没有什么妃嫔，也只有萧氏所出的三子一女，而且三儿子早死，只剩下杨昭、杨暕二人，寻常时候，杨广倒是真把黄明远当成儿子。
包括给黄明远定亲，给黄明远的儿子取名字等事，都是在行使一个父亲的权利。尤其是黄明远与南阳公主的事，杨广现在也颇有些后悔，只是不能提，只得在别的方面给黄明远以补偿。
杨广信佛也信道，也曾经使人给黄明远算命，但皆是黄明远一生无帝命，无反骨等一类的法，因此杨广更不怀疑黄明远。
至于黄明远，倒也真的尊敬杨广，杨广在其生命之中扮演了一个父亲的角色，对黄明远影响非常重。只是黄明远本人又是个矛盾的综合体，既不愿跟着杨广陪葬，但也感念杨广的恩。
双方就这么一直以这样一种真诚而又虚伪的关系相处，直到多年以后。