OpenGL - Obracanie sceny góra/dół

Witam.
Zaczynam coś pisać w Opengl. Chciałem utworzyć scenę, w której mogę obracać kamerę dookoła kostki,
obracanie polega na obrocie lewo/prawo po wciśnięciu odpowiednio lewego i prawego przycisku na klawiaturze,
jest realizowane w bardzo prosty sposób.

Mam macierz View która jest przesunięta względem punktu (0, 0, 0) o (0, 0, -3), żeby oglądać scenę z pewnej odległości.
Macierz view obracam względem wektora (0, 1, 0) w bazie [X, Y, Z] kiedy chcę scenę obrócić w kierunku lewo/prawo. Problem natomiast pojawia się, gdy chcę ją obrócić w kierunku góra/dół (tak jakby spojrzeć na kostkę z góry).
Próbowałem uzyskać wektor skierowany w prawą stronę od aktualnie widzianej sceny jako iloczyn wektorowy wektora (0, 1, 0) i wektora translate z macierzy view, ale każda transformacja jest jakaś taka "krzywa".

Stąd moje pytanie, czy bez implementacji osobnego systemu kamery jest możliwe obracanie sceny góra/dół tylko za pomocą macierzy view?

Próbujesz zaimplementować własne gluLookAt()?