法律分析：
除非你有确凿的证据,证明原委托的律师有不作为的事实,如果没有,就不能单方面随意解除原委托律师的代理行为,对方更不可能退回你的代理费.否则,你就还未打完前面的官司,就又涉及下一桩违约官司了。
法律依据：
《中华人民共和国民法典》
第九百一十九条 委托合同是委托人和受托人约定，由受托人处理委托人事务的合同。
第九百二十二条 受托人应当按照委托人的指示处理委托事务。需要变更委托人指示的，应当经委托人同意；因情况紧急，难以和委托人取得联系的，受托人应当妥善处理委托事务，但是事后应当将该情况及时报告委托人。
因篇幅问题不能全部显示，请点此查看更多更全内容