Քաջազնունին մահացավ 1938-ի հունվարի 15-ին, Երևանի բանտային հիվանդանոցում թոքաբորբից՝ 70 տարին դեռ չբոլորած: Ստալինյան ռեժիմի կողմից նա պետք է գնդակահարվեր դեռևս 1937-ի դեկտեմբերի 5-ին՝ ՀԽՍՀ ՆԳԺԿ Եռյակի կայացված հերթական անհիմն որոշման համաձայն, այդ վճիռն ուղղակի ժամանակավորապես կարողացել էր կանխել բանտային բժիշկը։
Առաջին Հանրապետության անկումից հետո Քաջազնունին Խորհրդային Հայաստան էր վերադառձել 1924-ին, նպատակ ունենալով օգնել հայրենիքին և զբաղվել զուտ իր մասնագիտությամբ՝ ճարտարապետությամբ: Նա սկսում է դասավանդել է Երևանի պետական համալսարանում, այնուհետև նորաստեղծ Ճարտարապետության ու շինարարության ինստիտուտում, իսկ Լուսավորության Ժողկոմի կողմից նրան շնորհվում է պրոֆեսորի կոչում։ Քաջազնունու նախագծով ու անմիջական հսկողության ներքո Հայաստանում կառուցվում են բազմաթիվ բնակելի և գործարանային շինություններ: Մինչ ձեռբակալությունը նա բնակվել է Երևանում՝ ներկայիս Պուշկինի փողոցին գտնվող տան սենյակներից մեկում, Սախարովի հրապարակի հարևանությամբ:
Պետք է նշել, որ Հովհաննես Քաջազնունին այն հազվագյուտ քաղաքական գործիչներից էր, ով Առաջին Հանրապետության անկումից հետո փորձեց իրատեսականորեն վերլուծել այդ աղետի պատճառները: Մասնավորապես, 1923-ին գրված իր հայտնի զեկուցագրում նա նշում է, որ 1920-ի սեպտեմբերին Հայաստանի կառավարությանը անհրաժեշտ էր բանակցությունների գնալ Թուրքիայի քեմալական շարժման առաջնորդերի հետ, որպեսզի Հայաստանն այդպես դյուրին ռուս-թուրքական համաձայնության զոհը չդառնար: Լուսահոգի Ռաֆայել Իշխանյանն արդեն 1980-ականների վերջին այդ ամենը կանվանի «Երրորդ ուժի բացառման օրենք»:
1923-ին Քաջազնունին գրում էր. «Երբ սահմանի վրա զինական ընդհարումները սկսվել էին արդեն, թուրքերը առաջարկեցին մեզ տեսնել ու բանակցել: Մենք մի արհամարհական ժեստով մերժեցինք առաջարկը: Եվ դա մեծ հանցանք էր: Ոչ այն մտքով, որ վստահություն կար, թե բանակցությունները հաջողվելու են անպատճառ, այլ այն մտքով, որ մի խաղաղ ելք գտնելը անկարելի չէր (անհավանական, բայց ոչ անկարելի): Համենայն դեպս, մենք որոշ շանսեր ունեինք թուրքերին խոսք հասկացնելու: Այդ փորձը չարինք»: