Идея создания в школе музея принадлежит преподавателю физики, участнику Великой Отечественной Войны Борису Алексеевичу Шолохову.
Первым шагом в создании музея стала небольшая экспозиция «О прошлом память сохраним» в коридоре 2-го этажа гимназии, посвященная учащимся – участникам антифашистского подполья. Эту работу долгие годы вела О.М.Холина. Она была учителем русского языка и литературы у большинства ребят, хорошо знала как самих подпольщиков, так и их родителей. Вместе с нею работу по сбору материалов для музея вела Рекуха С.М., выпускница гимназии, первая учительница комиссара таганрогского подполья Семена Морозова. В поисковой работе активно участвовали школьники члены исторического кружка.
Когда материалов стало много, были оформлены стенды, размещенные в коридорах гимназии. Преподаватели и учащиеся вели большую поисковую работу, собирали материалы о выпускниках и учащихся школы участниках Великой Отечественной войны, организовывали встречи с ветеранами войны, разыскивали свидетельства очевидцев, шефствовали над матерями погибших ребят.
В 1981 музей обрел постоянное помещение и хранителя, Т.Т. Курьянову, которая постоянно работала в музее и вела огромную поисковую и просветительную работу среди учащихся. Члены поискового отряда и Т.Т. Курьянова вели обширную переписку с выпускниками участниками войны и членами подпольной организации, их родственниками, с поисковыми отрядами других учебных заведений, архивами Военкоматов, ЦК ВЛКСМ, знаменитыми выпускниками. Именно Т.Т. Курьянова вела переписку с Народной артисткой СССР Ф.Г. Раневской. Сегодня письма Фаины Георгиевны – ценнейшие экспонаты музея.
В 1982 году музей обрел официальный статус и получил свидетельство музея.
Экспозиция музея представлена по нескольким разделам. Это раздел, посвященный истории создания гимназии и железнодорожного училища в Таганроге в конце 19 века «Таким было начало». Раздел представляет материалы по организации женской гимназии, открытию четырехклассного железнодорожного училища, первых руководителях этих учебных заведений, выпускниках и преподавателях. Отдельной строкой написана история здания гимназии.
Следующий раздел экспозиции «Страницы истории» посвящен деятельности трудовой семилетней школы №6, обучавшей детей железнодорожников, и разместившейся в здании Мариинской гимназии. В 1935 году школа переходит в ведение Народного комиссариата путей сообщения, становится десятилеткой и получает почетное звание школы им. К.Е.Ворошилова. Среди экспонатов этого раздела особый интерес представляют аттестаты и похвальные листы учащихся первых лет Советской власти, фотографии выпусков, трудовые книжки и удостоверения сотрудников, отразившие смену названия гимназии.
Раздел «Никто не забыт. Ничто не забыто» знакомит посетителей с героической историей таганрогского молодежного подполья, в которое входили учителя, ученики и выпускники гимназии. В фондах музея хранятся уникальные экспонаты военного времени: личные вещи, письма, награды, свидетельства очевидцев, тюремные записки Раи Капля, Любови Татариновой, Валентины Хлоповой, Георгия Гончарова. Часть экспозиции посвящена не вернувшимся с фронта выпускникам, преподавателям и учащимся – ветеранам войны. В экспозиции фотографии, фронтовые письма, газеты военного времени, стихи выпускников, переписка поисковых отрядов с поисковиками других школ и военкоматами, родственниками выпускников.
«Учителями славится Россия» - это экспозиция, посвященная учителям гимназии. Здесь рассказ об учителе истории и географии женской гимназии, председателе педагогического совета, краеведе П.П.Филевском. Его перу принадлежит книга «Очерки прошлого Таганрогской Мариинской женской гимназии. 1861-1911», написанная к пятидесятилетию гимназии. В экспозиции фотографии, документы, воспоминания о Заслуженных учителях РСФСР К.И. Балыкове, А.С. Питерской, Е.В.Лактионовой, Леметюйненой Е.И. и других. Замечательные учителя, кавалеры ордена Ленина Жлобинская Н.О., Мухина Н.А..., ордена Красного знамени К.И.Балыков, В.А.Малашонок, О.Я.Лобова и многие другие воспитали, выучили, давших путевку в жизнь сотням и тысячам своих учеников.
Об этих учениках, прославивших гимназию, рассказывает экспозиция «Мой труд вливается в труд моей республики». В экспозиции представлены фотографии и письма Народной артистки СССР Ф. Г. Раневской, художников Н. Бута, С.И. Блонской и А.Н.Лебедевой-Тагриной, участницы «Народной воли» Н. Сегиды, поэтесс С. Парнок, Е.Тараховской, М. Борисовой, директора завода «Красный Котельщик», Героя Социалистического Труда, лауреата Государственной премии СССР Н.В. Лутай, проректора по научной и инновационной деятельности ТТИ ЮФУ В.М.Курейчик, Отличника здравоохранения Нагнибеда В.И., «Заслуженного юриста России» В.П.Назаренко и многих других.