Es geht nur mit unterschiedlichen Usernamen für lokal und ftp.
Den Admin kannst du mittels /etc/ftpusers komplett für den ftp-Zugriff sperren, ebenso jeden weiteren usernamen den du dort einträgst.
Du musst also den Administratoren, und ich denke nur auf die kommt es an, für den ftp-Zugriff...