Перед Олимпиадой-1980 Рыбаков просил тренеров о возможности перейти в более тяжёлую весовую категорию, однако те настояли на том, чтобы Виктор выступал в категории до 57 кг. Рыбаков был вынужден "сгонять вес" перед соревнованиями, и в итоге проиграл в полуфинале немцу из ГДР Руди Финку, у которого выиграл за год до этого на чемпионате Европы в Кёльне. Через год Виктор всё же перешёл в категорию до 60 кг и выиграл золото чемпионата Европы.
Виктор четырежды подряд становился обладателем Кубка Никифорова-Денисова, как самый техничный боксер чемпионата Европы (1975, 1977, 1979, 1981), даже на том чемпионате Европы (1977), который он не выиграл.
Завершил любительскую карьеру в 1982 году в возрасте 26 лет из-за разногласий с тренерским составом сборной СССР. После этого Рыбаков стал старшим тренером команды боксеров Группы советских войск в Германии.
Всего же за свою шестнадцатилетнюю карьеру на любительском ринге Виктор провел 219 боев и одержал 203 победы.
Знаменитый боксер Рыбаков ответил на пару вопросов "НАШЕГО СПОРТА":
- Виктор Григорьевич, вы выступили инициатором создания Союзной федерации бокса…
- Да, это так. Я лелею мечту провести чемпионат Советского союза. То есть чемпионат среди действующих спортсменов тех стан, которые когда-то входили в состав СССР.
- Сейчас в России большое внимание уделяют открытию специализированных школ бокса. Как вы думаете, что это даст?
- Конечно, создание школ бокса играет на популяризацию этого вида спота. Вообще, бокс - замечательный вид спорта, чисто мужской. Это первый вид спорта, который появился на земле, - кулачный бой между мужчинами. Не понимаю, что женщины делают на ринге - отказываюсь принимать это, не люблю и не верю. Это истинно мужской вид спорта. Что касается самого поединка, то это всегда честно, всегда по правилам, когда побеждает только сильнейший.
- В жизни вам довелось пережить много трудностей. Расскажите, что вам помогало?
- Да, в жизни я повидал много "веселого". Ну что я могу по этому поводу сказать? Нужно быть сильным и ничего не бояться, тогда всему возможно противостоять.
ВИКТОР РЫБАКОВ
- Семикратный чемпион СССР (1975-1980, 1982 гг.)
- Трехкратный чемпион Европы (1975, 1979, 1981 гг.)
- Победитель турнира "Дружба" (1974)
- Чемпион Европы среди юниоров (1974)
- Победитель молодежного первенства СССР (1974)
- Двукратный чемпион всесоюзного первенства СССР (1972, 1973)
- Двукратный серебряный призер Кубка мира (1979, 1981 гг.)
- Двукратный бронзовый призер Олимпийских игр (1976, 1980 гг.)
- Четыре раза владел Кубком Н.Никифорова-Денисова, как самый техничный боксер чемпионата Европы (1975, 1977, 1979, 1981 гг.)
- Заслуженный мастер спорта СССР.