リンク後に青く表示される枠線は、WordPressの管理画面で読み込まれている以下のcssによって表示されているものです。
a:focus, a:focus .media-icon img { color: #124964; box-shadow: 0px 0px 0px 1px #5B9DD9, 0px 0px 2px 1px rgba(30, 140, 190, 0.8); }
別途管理画面で読み込ませているCSSに以下の記述を行うことで打ち消すことができます。
a:focus, a:focus .media-icon img { box-shadow: none; }