Húsið telst til minnstu bæjarhúsa á Íslandi eða aðeins tæplega 29 m² að grunnfleti með portbyggðu lofti. Hjörleifur Stefánsson arkitekt segir í bókinni Andi Reykjavíkur:

Úr grjótinu sem rutt var til að rækta túnblett byggðu fjölskyldurnar þetta litla og látlausa hús sem lýtur engum hátimbruðum fræðireglum um fegurð, aðeins hefðum hins fátæka manns um að nýta sér það sem nærtækt er og búa til skjól fyrir sig og ástvini sína með eins litlum tilkostnaði og auðið er. En húsið er einfaldlega fallegt og fegurð þess höfðar til alls þorra manna vegna þess að við skiljum vafningalaust hvernig húsið varð til og það segir fallega sögu um erfið lífskjör.

Haganlega gerð grjóthleðsla sem umlykur það litla tún sem tilheyrir Litlabæ vekur athygli því hún hefur kostað mikið erfiði en ekki síður hagleik. Hluti þessa grjótgarðs hefur án efa komið úr túni Litlabæjar en heildarhleðslan telur hundruð tonna og því ljóst að mikið grjót hefur verið sótt lengra að. Talið er líklegt að því hafi verið safnað í hrúgur á haustmánuðum en síðan flutt að Litlabæ á sleðum um vetur. Ekki er unnt að geta sér til um aldur þessara miklu mannvirkja en kunnugir telja þær vera margra alda gamlar og víst er að þær eru miklu eldri en bærinn. Ofan við bæinn var lítið útieldhús, sem einkum var notað til sláturgerðar á haustin og ullarþvottar.