Jörðin var ekki stór og bústofninn tók mið af því. Hvort heimili um sig hélt um 20 kindur og eina kú og var sá bústofn einungis til heimilsþurfta. Guðfinnur og Halldóra fluttu árið 1917 að Tjaldtanga sem er ysta nes á milli Seyðisfjarðar og Hestfjarðar. Tilgangur þeirra flutninga var að færa sig nær fiskimiðum í Ísafjarðardjúpi. Eftir það sat Finnbogi og fjölskylda hans ein að Litlabæ. Hann fær síðan búið í hendur syni sínum Kristjáni er aldurinn færist yfir.
Finnbogi var ein færasta skytta við Ísafjarðardjúp og hafði hann því búdrýgindi af refaskinnum fugli og sel. Allur þessi fengur nýttist vel. Refaskinn sem jafnan var nefnd grávara var í háu verði. Af fugli voru svartfuglsveiðar drýgstar einkum seinni part vetrar og um haust. Auk kjötsins var fiðrið nýtt í sængur og kodda. Selurinn var vel nýttur bæði skinn, kjöt og spik. Skinnið var verkað og selt.
Þar sem bæði þessi barnmörgu heimili voru bjargálna hafa varðveist af því sögur að þau bæði miðluðu þeim sem minna höfðu af lífsbjörg sinni bæði fiski og selkjöti. Bæði heimilin höfðu yfir að ráða árabátum og hét bátur Guðfinns Súgandi en bátur Finnboga Rauðka.
Fjöldi sagna hefur varðveist um Finnboga og skothæfni hans og er ýmsar þeirra að finna í bókinni Vaskir menn eftir Guðmund Guðna Guðmundsson. Er hér ein sú þekktasta:
Það var eitt sinn að Bogi var einn á ferð sem oftar og þá staddur við Bresssker, sem eru í miðju Djúpsins innan við Ögur. Þar lágu þá selir uppi og uggðu ekki að sér, en um fjöru eru þarna sker upp úr sjó. Tókst honum að komast að skerjunum í skjóli stærsta skersins og læðast upp á hleinarnar. Var hann þá með riffil, en annars notaði hann venjulega haglabyssu. Fékk hann þarna tvo seli í sama skotinu, fór skotið fyrst gegnum hjarta annars selsins en svo í höfuð öðrum. Reri hann nú með veiði sína upp í Breiðfirðinganes og tók að flá skepnurnar. Heyrir hann þá í tófu uppi í hlíðinni. Fleygði hann þá frá sér hníf og greip riffilinn og tókst að komast upp fyrir dýrið og skjóta það, en verður þá var við aðra tófu og gerði henni sömu skil. Fór hér allt saman, skjót og rökvís hugsun, frábært snarræði og afburða skothæfni.
Í sömu bók segir um Finnboga:
Sjómaður var hann góður, aðgætinn, veðurglöggur og stjórnandi ágætur. Öllum sem til hans þekkja og skyn bera á verk hans ber saman um að hann hafi alla tíð verið veiðimaður af lífi og sál. Hann var hagur í höndum og smiður góður er sagt sem dæmi að hann hafi smíðað fallegt manntafl, að hann hafi verið góður skákmaður og hlotið verðlaun oftar en einu sinni fyrir leystar taflþrautir.
Eitt þeirra fjölmörgu barna sem ólust upp á Litlabæ var Einar Guðfinnsson sem síðar varð þjóðþekktur athafnamaður. Hann segir frá æskuárunum á Litlabæ í Einars sögu Guðfinnssonar eftir Ásgeir Jakobsson:
Stríðið var þrotlaust hjá báðum hjónanna, honum við orfið eða árina, henni við heimilsverkin inni við og oft úti við líka, þegar hann var í verinu. Þau lögðu bæði nótt við dag, og gættu jafnframt ýtrasta sparnaðar í lifnaðarháttum til bjargar sér og sínum, því að ómegð hlóðst fljótt á þau en aðstæður erfiðar. Þau byrjuðu með tvær hendur tómar, eða ekki veit ég annað.
Jarðnæðið, sem fylgdi Litlabæ, mætti fremur kalla ræktunarlóð en jörð. Hálflenda foreldra minna bar ekki þann bústofn sem þau höfðu til heimilisþurfta, eina kú og 20 kindur, heldur varð að fá slægjur hjá öðrum og oft um langan veg að sækja og með mikilli fyrirhöfn og fylgdi því hið mesta bjástur að reyta saman hey fyrir þessa áhöfn. Faðir minn varð oft að fara í kaupavinnu til að vinna fyrir slægjum, því peningar voru engir til að borga með.
Lýsing Einars Guðfinnssonar á æskuárum sínum á Litlabæ er án efa dæmigerð saga sveitabarna og foreldra þeirra, sérstaklega á þeim bæjum sem treystu fremur á sjóinn en hinn hefðbundna landbúnað sér til bjargar. Gefum honum aftur orðið:
Þegar ég var að alast upp við Skötufjörðinn var hann fullur af fiski og lífi. Þorskur, síld og smokkur gekk í fjörðinn árlega og þar voru góð hrognkelsamið og mikið um fugl, sel og hrefnu. Finnbogi í Litlabæ, sambýlismaður okkar var ein færasta skytta við Djúp á uppvaxtarárum mínum. Aðalatvinna okkar drengjanna mín og Sigfúsar, þegar við stálpuðumst, var að róa í Skötufjörðinn. Þorskur var venjulega í firðinum frá því í júní og fram á jólaföstu. Pabbi átti lítinn bát sem Súgandi hét og reri honum þegar fiskur var í firðinum. Við fórum ungir að hjálpa til við Sigfús. Hann var snemma áræðinn og ég hef varla verið meira en átta ára þegar hann, sem þá var sjálfur ellefu ára, fór að hafa mig einan með sér að leggja og draga línuna. Þegar að landi kom hjálpaði mamma okkur að bera upp aflann, gera hann til og salta hann. Í aprílmánuði fórum við að leggja grásleppunetin. Eftir það var rauðmaginn og grásleppan mikið notuð til matar. Það sem ekki var borðað strax var saltað eða hengt upp og látið síga og var gott að grípa til þess á útmánuðum. Hveljan og hrognin voru gefin skepnum. Var að þessu hin mesta búbót. Aldrei man ég til þess að við Litlabæjarsystkin værum svöng og voru þó munnarnir margir og við þurftum mikið til okkar af mat eins og títt er um sveitabörn sem eru mikið á hlaupum og snemma fara að hjálpa til. Faðir okkar hélt okkur að vinnu en gætti þess jafnan að við hefðum nógan svefn og nóg að borða.
Einar sem seinna varð umsvifamikill útgerðarmaður og kaupmaður segir þessa gamansögu af sjálfum sér í samskiptum við Sigfús (Fúsa) elsta bróður sinn sem hann sagði vera til marks um að hann myndi ætla sér góðan hlut i viðskiptum við aðra :
Það man ég að heimilisfólkinu var skammtað stöku sinnum. Það var helst að smérið þryti og þá varð að grípa til annars viðbits. Annars var venjulega til flot ef smjörs var vant. Þess vegna er til sagan af okkur Fúsa bróður þegar hart var um viðbit. Það hafði verið skammtað með brauðinu flotskafa en einnig smjörklípa og var okkur Fúsa skammtað saman viðbitið. Þá átti ég að hafa sagt: «Borða þú flotið Fúsi ég skal borða smjörið!!»
Einar lýsir vel fiskimiðum, veiðum og meðferð afla í endurminningum sínum :
Helstu fiskimiðin í Skötufirði voru Hjallabugtin á móti býlinu Hjöllum, Fossabugt var til móts við Markeyri og Grunnurinn fram af Hvítanesi. Það var oft lagt í kringum þennan Grunn og þar var jafnan fiskisælt ef maður var fyrstur til að leggja. Á haustin veiddist oft í net og veiddum við þá sjálfir í beitu fyrir okkur. Netin voru mest lögð á Hjallabugnum fyrir innan Skarðseyrina en þegar leið á haustið þurftum við oft að flytja netin inn í Skötufjarðarbotn en þar stóð síldin oft fram yfir jól. Smokkur kom í fjörðinn á haustin og þá veiddum við hann einnig til beitu. Við gátum ekki fryst hann á þessum árum en hertum bolinn og söltuðum innvolsið. Þegar smokkurinn var í firðinum var þar ævinlega góður afli en þegar síldin gekk í fjörðinn, oftast nokkru seinna en smokkurinn, tók fiskurinn ekki beitu eða var genginn út.
Eitt af þekktari skáldum Íslendinga á 19. öld, Hjálmar Jónsson, jafnan kallaður Bólu Hjálmar segir í einu kvæða sinna: «Fátæktin var mín fylgikona.» Þessi orð áttu líka við um fjölskyldurnar á Litlabæ því það dugði ekki alltaf að leggja nótt við dag við öflun bjargræðis. Svo lýsir Einar Guðfinnsson sárustu minningu sinni frá Litlabæ:
Pabbi hafði róið með okkur strákana á Súganda litla og fiskað vel um haustið. Nokkru fyrir jólin kom svo mótorbátur frá Ísafirði að sækja fiskinn til okkar. Pabbi fór út á Ísafjörð með bátnum til að kaupa eitt og annað til jólanna. Hann fékk það svar að hann gæti ekki fengið úttekt fyrr en eftir áramót. Hann kom því allslaus heim. Þá var faðir minn beygður. Þó að ekki væri eins miklu tjaldað til um jólahald og nú er orðið gerði fólk sér, og þá einkum börnunum, einhvern dagamun. Ástæðan til þessa að reikningur föður míns stóð ekki betur en þetta, þrátt fyrir góðan afla, var mjög lágt verð þetta haust. Verðið á ýsunni var 5 aurar og 7 aurar á þorskinum miðað við fullsaltaðan fisk. Það var oft til lítils barist.
Sá fjöldi barna sem óx úr grasi á þessu litla kotbýli við Skötufjörð bjó alla tíð að því ástríki og umhyggju sem foreldrar þeirra veittu þeim. Þó að efnin væru takmörkuð var lífið samt gott og þau þroskuðu með sér þá eiginleika sem varð þeim öllum hollt vegarnesti út í lífið, dugnað, nægjusemi og umhyggju fyrir öðrum. Það má því segja að orð Einars Guðfinnssonar hafi átt við þau öll. Þau erfðu ekki fé, þau erfðu dyggðir.