Buscando por ahí encontré esta solución, la pongo en caso de que alguien la necesite.

Código:
SELECT
      SUM(IF(tabla2.respuesta1 = 1, 1, 0)) "No importante",
      SUM(IF(tabla2.respuesta1 = 2, 1, 0)) "Poco importante",
      SUM(IF(tabla2.respuesta1 = 3, 1, 0)) "Importante",
      SUM(IF(tabla2.respuesta1 = 4, 1, 0)) "Muy importante"
FROM tabla2
Lo malo es que debo hacer un UNION con cada pregunta así que lo mejor que se me ocurre es hacer un FOR o algo por el estilo para ahorrar en código.