Pues si ya sabes programar en C y C++, ya tienes suficiente. No hace falta  un conocimiento especial. La gente normalmente se pone a programar juegos sabiendo menos de lo que dices que sabes. Por ejemplo se bajan el juego SDL mas sencillo que pueden encontrar, y lo estudian y hacen modificaciones y mejoras, leen la ayuda de SDL y eso deberia bastar y ponerte rapidamente "en el negocio". No quiero decir que no te venga bien leer libros, y a algunas personas practicamente hay que escupirles a la cara RTFM, pero en tu caso y si es cierto lo que dices,  creo que ganaras tiempo y aprenderas las cosas concretas que vas a necesitar con algo asi como esto, modificando un pequeñito juego en SDL.

Los juegos son programas que solo se distinguen por una atencion especial a la velocidad, a la experiencia del usuario y a cualidades artisticas. Tambien son cosas que se aprenden solo con la experiencia, y aunque un libro trate de machacarte  con la idea, es como cuando unos padres le machacan a un hijo "estudia para hacerte un hombre de pobrecho" al niño de 10 años que esta jugando en el barro. La experiencia solo se consigue manchandose las manos con la cosa real. Aunque los libros estan muy bien, y ya te digo :D