SCP si pero no ssh

[Juan Carlos Rojas Jordan]

Hola listeros, me encuentro con un problema, el escenario es el siguiente:
 
tengo un servidor ssh a través del cual los usuarios se conectan con clave public (solo los usuarios autorizados pueden hacerlo desde sus equipos previamente autenticados), todo va bien pero además necesito que utilicen scp para copiar archivos desde servidores remotos los cuales nisiquiera se la ip y solo me dejan abierta una consola genérica para poder transferir los archivos generados (ya se podría generar las claves cada ves que desee copiar algo , pero debo estar ahí para asistirlos). Pues bien mi pregunta es la siguiente, existe alguna manera de permitir a todos los usuarios copiar archivos a través de scp a mi servidor en algún área de data pero que solo  puedan conectarse a través de ssh quienes hayan generado su clave prublica.
 
 
Gracias