Ανέλαβε πρώτος προπονητής του ΠΑΟΚ στη διάρκεια της σεζόν 1998-99, διαδεχόμενος το Σβι Σερφ και οδήγησε τον ΠΑΟΚ στην κατάκτηση του Κυπέλλου Ελλάδος, στον τελευταίο δηλαδή τίτλο που έχει κατακτήσει η ομάδα του ΠΑΟΚ.

Ηταν συνεργάτης του Πέταρ Σκάνζι στο ξεκίνημα της σεζόν 1999-00, αλλά όταν έγινε πρώτος προπονητής της ομάδας, οδήγησε τον ΠΑΟΚ στον τελικό των πλέι οφ, αποκλείοντας με μειονέκτημα έδρας και με 2-0 νίκες τον Ολυμπιακό.

Αποχώρησε από τον ΠΑΟΚ στη διάρκεια της σεζόν 2000-01 και επανήλθε, μετά από επτά χρόνια, το Δεκέμβριο του 2007. Στο διάστημα που μεσολάβησε, ο Κώστας Φλεβαράκης ήταν προπονητής στον Πανελλήνιο (2002-03), τη Σουηδική Ακροπόλ (2004-05), τον Κεραυνό Λευκωσίας (2005-06) με τον οποίο κατέκτησε το Κύπελλο Κύπρου, το Μακεδονικό (2006-07) και την Πολωνική Polpak (2006-07), ενώ από το 2005 είναι προπονητής και στην Εθνική ομάδα της Σουηδίας