Kiedy w październiku 1905 r. utworzono w Prusach Wschodnich trzecią po królewieckiej i gąbińskiej rejencję, na jej biura wynajęto kamienice przy obecnym pl. Gen. J. Bema (Kopernikus-Platz), w którego centrum znajdował się jeden z najpiękniejszych skwerów Olsztyna. Dwa, połączone w architektoniczną całość budynki o numerach 3 i 4 zostały zbudowane w latach 1902-1903 przez przedsiębiorcę budowlanego, mistrza brukarskiego i radnego Roberta Mrzyka.
1 listopada 1905 r. do budynku przybył nadprezydent prowincji Friedrich von Moltke, aby uroczyście otworzyć rejencję. Pierwszym prezydentem został wnuk wielkiego filozofa – Wilhelm von Hegel. Jego następcy urzędowali tutaj do 1911 r., kiedy pochodzący z żydowskiej rodziny wrocławskich bankierów prezydent Hans von Hellmann przeniósł biura do reprezentacyjnego gmachu w Al. Marsz. J. Piłsudskiego (Kleeberger-Straße).
W 1912 r. wybrano Olsztyn na siedzibę dowództwa świeżo utworzonego XX Korpusu Armijnego a nowym najemcą kamienic Mrzyka zostało wojsko. W budynku umieszczono biura dowództwa, intendentury, Naczelny Sąd Wojskowy i sąd wojskowy 37. dywizji. Parter zajęły biura i kancelarie komendanta Korpusu, na którego we wrześniu 1912 r. nominowano generała artylerii Friedricha Scholtza. Z tej okazji cesarz podniósł go do stanu szlacheckiego i awansował na generała pułkownika. Miesiąc później do budynku przeniesiono, zgodnie ze zwyczajem, wszystkie chorągwie i sztandary wojskowe jednostek olsztyńskiego garnizonu. Po wybuchu I wojny światowej, dowodzony przez von Scholtza XX Korpus samotnie powstrzymywał natarcie Armii Narew gen. Samsonowa a następnie wziął udział w najcięższych, zwycięskich walkach pod Tannenbergiem. Za swoje zasługi otrzymał razem z generałem Paulem von Hindenburgiem tytuł honorowego obywatela miasta.
Zob. Rafał Bętkowski, Olsztyn jakiego nie znacie, Olsztyn 2003, ss. 104-105
