Druga svetovna vojna, natančneje leto 1941 pa je pomenilo konec Jantarnega salona. Dvaindvajsetega junija 1941 je začel Hitler operacijo Barbarosa - napad na Sovjetsko zvezo. V njegovi vojski je delovala tudi skupina z imenom Štab podpolkovnika Rosenberga, ki je imela nalogo, da spravi na varno vse umetnine, ki jih zasežejo na zasedenih območjih. Potem ko je bilo odločeno, kako bodo Jantarni salon zaradi izredne krhkosti jantarja prevažali, so jantarni opaž sneli s sten, ga ovitega v mehko bombaževino zložili v zaboje ter prepeljali v Königsberg. Enako se je zgodilo tudi z vsem drugim inventarjem Jantarnega salona. Pod vodstvom direktorja königsberškega muzeja Alfreda Rhodeja, ki je bil takrat eden vodilnih ekspertov za jantar, so del Jantarnega salona v tretjem nadstropju gradu spet postavili na ogled javnosti. Preostali opaž je ostal v zabojih, ker so bili grajski prostori premajhni, da bi ga razstavili. »Zaklad se je vrnil domov,« so rop umetnine opravičevali Nemci - seveda so ob tem »pozabili« na dejstvo, da je prvotni Jantarni kabinet sestavljal le tretjino Jantarnega salona. Leta 1944, po prvih zavezniških bombnih napadih na Königsberg, so jantarni opaž sneli s sten in ga v zabojih shranili v obokani grajski kleti. Sedemindvajsetega in osemindvajsetega avgusta