Der "Erstellen"-Knopf sollte einen Eintrag für "Websocket" haben, vielleicht hilft es, wenn man nur den setzt. Ansonsten rendert es tatsächlich proxy_set_header Direktiven. Das Meiste von dem ist aber auch schon von Haus aus dabei.
Du kannst Dir die erzeugten Regeln im Terminal ansehen: more...