Fess を停止後、インストールしたディレクトリを削除することでアンインストールすることができます。
$ rm -r fess-<version>
Fess を停止後、RPMまたはDEBパッケージをアンインストールしてください。