Здание расположено в историческом центре г. Таганрога по красной линии ул. Греческой, в квартале, ограниченном ул. Греческой, Биржевым спуском, Каменной лестницей и кромкой северо-восточного склона берегового откоса Таганрогского мыса. Одноэтажный на высоком фундаменте дом с венецианскими окнами строил для себя в конце 1840-х гг. греческий купец 2-й гильдии Иван Дмитриевич Вафей. В начале 1870-х годов дом купил у семьи Вафей полковник Илья Васильевич Денисов, один из директоров попечительского совета о тюрьмах и член пожарного комитета. В конце 1870-х годов здание приобрела семья Алфераки.
По описи 1898 года особняк принадлежал жене присяжного поверенного Марии Браславской, оценочная стоимость здания составляла 3000 золотых рублей. Согласно описи 1915г. владелицей здания являлась Мария Константиновна Комнино-Варваци, оценочная стоимость здания составляла 18000 золотых рублей.
В разное время владельцами особняка были весьма известные люди. Благодаря их состоятельности особняк отличался репрезентативностью и заметно выделялся в стилистически однородной ансамблевой застройке Греческой улицы.
Планировка особняка типична для 40-50-х годов XIX века. Памятник представляет собой архитектурное произведение достаточно высокого уровня, но, к сожалению, архивные сведения о его архитектурной истории практически полностью отсутствуют. В архитектурно-художественном оформлении фасадов использованы приёмы и декор, характерные для эклектики.
По архитектурно-планировочному решению объект может быть отнесён к жилым домам усадебного типа.
Здание является памятником жилой архитектуры XIX века, формирует ансамбль постройки ул. Греческой, имеет градообразующее значение и отражает стилистическое многообразие застройки исторического центра города.