Πλύνετε και σκουπίστε τις φέτες του ξιφία και κόψτε τις σε μικρότερα κομμάτια. Βάλτε τις φέτες ανάμεσα σε διαφανή μεμβράνη και, με τον κόπανο, χτυπήστε τες ελαφρά για να λεπτύνουν. Ψιλοκόψτε το δεντρολίβανο, το μαϊντανό και το σκόρδο.
Σ’ ένα μεγάλο αντικολλητικό τηγάνι ζεστάνετε ελάχιστα 3 κουταλιές λάδι και βάλτε τα φιλέτα του ξιφία μέσα. Μόλις το ψάρι αρχίσει να τηγανίζεται, γυρίστε το με μια σπάτουλα, πασπαλίστε το με λίγη φρυγανιά και περιχύστε το με λίγο λάδι. Επαναλάβετε όπως προηγουμένως, γυρίζοντας πάλι το ψάρι μόλις αρχίσει να τηγανίζεται, και ρίξτε λίγη τριμμένη φρυγανιά και λάδι. Ρίξτε το κρασί, αφήστε το να εξατμιστεί, προσθέστε το δεντρολίβανο, το μαϊντανό, το σκόρδο, αλάτι και φρεσκοτριμμένο πιπέρι.
Καθαρίστε, πλύνετε και σκουπίστε τα φινόκιο. Κόψτε τα κατά μήκος στη μέση και έπειτα σε λεπτές φέτες. Ανακατέψτε τα με ελιές, 2 κουταλιές ξίδι, 2 λάδι, αλάτι και φρεσκοτριμμένο πιπέρι. Σερβίρετε το ψάρι με τη σαλάτα φινόκιο.