História KS “Góral” sa datuje do roku 1956, kedy sa skupina mladých členov rozpusteného boxerského oddielu LKS Łodygowice (leží asi 6 km od Żywca) rozhodla založiť vlastný klub – LKS “Góral” Żywiec. Stalo sa tak 1. septembra toho roku a klub mal vtedy iba jeden oddiel, boxerský. Postupne začali pribúdať aj oddiely v iných športoch, no ten boxerský sa s desaťročnou prestávkou v rokoch 1971-81 udržal až doteraz a je vôbec najúspešnejší, keď klub odchoval niekoľko špičkových závodníkov, poľských majstrov, majstrov sveta (Tomasz Adamek, foto) či účastníkov olympijských hier.
O dva roky neskôr vznikol aj oddiel vzpieračov, ktorý rovnako ako ten boxerský nazbieral počas svojho pôsobenia veľa úspechov (napr. vzpieračka Agata Wróbel získala tituly ME, MS a olympijskú medailu). Medzi ďalšie oddiely, ktoré fungovali, prípadne ešte fungujú pri ZKS, patria cyklistický (Majsterka Poľska Irena Waligora), tenisový či oddiely v plážovom alebo klasickom volejbale. Väčšina z nich mala napriek veľkým športovým úspechom permanentne veľké finančné problémy, pre ktoré niektoré z nich medzičasom zanikli.
Podobne komplikovaný osud mal aj samotný futbalový klub. Ten bol založený v roku 1976, keď došlo k podpisu sponzorskej zmluvy medzi športovým klubom a miestnym pivovarom, ktorá natrvalo zmenila tvár tohto klubu. Futbalový tím začal úplne od podlahy v triede C. Odtiaľ však hneď prvý rok postúpil o súťaž vyššie. Na postup do ligových súťaží čakali do roku 1982. V tom roku bol za predsedu klubu zvolený T. Niepielski, pod ktorého vedením sa o rok neskôr podarilo otvoriť novú športovú halu. O rok neskôr hrali futbalisti okresnú ligu a ďalší rok postúpili dokonca do III. ligy.
Na ul. Browarnej, na ktorej sídli aj miestny pivovar, následne otvorili nový futbalový štadión. Na otvárací zápas prišlo cez 5000 divákov a tak sa veľa z nich nedostalo ani na tribúny. Spolu s nie dobrými výsledkami postupne klesal záujem divákov, Góral vypadol do IV. ligy. Mladí sa však od klubu neodvrátili a keďže pretrvával veľký záujem o hranie za tím, v roku 1986 sa vytvorili dva seniorské tímy – jeden hral okresnú ligu a ďalší A triedu. Na začiatku 90. rokov tím opäť postúpil do tretej ligy.
V tej dobe hrával za Góral Żywiec aj Tomasz Hajto, známy reprezentant Poľska a bývalý hráč tímov ako MSV Duisburg či Schalke 04. Po troch sezónach v III. lige vypadol Góral opäť o súťaž nižšie, tento raz však veľmi nešťastne. Na konci sezóny sa síce udržal nad čiarou zostupu, no po nečakanom zostupe druholigového tímu GKS Tychy o súťaž nižšie sa počet vypadávajúcich rozšíril. V štvrtej lige zakotvil tím ZKS Góral Żywiec na dlhé roky, počas nich sa väčšinou pohyboval v strede tabuľky.
Posledné dve dekády sú asi najťažšie v histórii klubu. Po revolúcii a následnej privatizácii pivovaru prišiel klub o športoviská a musel opustiť futbalový štadión na ul. Browarnej. Klub dostal ako náhradu malý štadión v časti Zabłocie (viď foto), ktorý si následne prerobil a hráva tam až doteraz. Po finančných problémoch sa klub zlúčil s ďalším miestnym klubom KS Czarni a tak od roku 2001 funguje pod názvom TS Czarni-Góral Żywiec.
Okrem zmeny názvu sa po spojení klubov zmenili aj farby klubu či logo. Fanúšikovia však aj naďalej chodia na zápasy v tradičných farbách – žltej, bielej a zelenej – a bojujú za prinavrátenie tradícii klubu späť.
V sezóne 2010/2011 skončil Góral v lige na nepostupovom 2. mieste. Po opätovnom sklamaní nastal tesne pred začiatkom novej sezóny nečakaný zlom. Po odhlásení sa jedného klubu z III. ligy a presunoch tímov medzi súťažami rozhodol futbalový zväz o postupe Góralu Żywiec o ligu vyššie. Od sezóny 2011/2012 je účastníkom IV. ligi Śląskiej grupy II, kde ho hneď v prvej sezóne čakali zaujímavé zápasy (na ihrisku i mimo neho) so súpermi ako AKS Mikołów či GKS Jastrzębie. Oba tímy však od sezóny 2013/14 už v IV. lige nepôsobia, zatiaľ čo Góral rok čo rok bojuje o postup do atraktívnej III. ligy, ktorý je aj po sezóne 2014/15 ešte viac v nedohľadne, keďže klub zo IV. ligy vypadol.
V sezóne 2015/2016 mužstvo pôsobí v Profi Credit okresnej lige – skupina Bialsko-Biala, v ktorej zvádza boj o opätovný postup do IV. ligy. Boj sa však neodohráva iba na ihrisku, ale aj za “zeleným stolom”. Fanúšikovia klubu sa stále usilujú o prinavrátenie pôvodného názvu klubu, s ktorým nesúhlasí primátor mesta a tiež zástanca klubu Czarni Źywiec. Fanúšikovia presadili zmenu názvu klubu na KS Góral 1956 Źywiec, avšak rozhodnúť musí ešte súd. Po športovej stránke vládne v klube spokojnosť. Jesennú časť zakončili futbalisti ZKS na 5. priečke s 9 bodovým mankom na prvého.
Počas jarnej časti sa podarilo futbalistom KS Góral poskočiť o jednu priečku a obsadili konečné 4. miesto s 9-bodovým mankom na prvý Beskid Skorczów.
Sezónu 2016/2017 odštartoval Góral opäť v Liga Okręgowa, kde po pätnástich zápasoch jesennej časti figuroval na tretej priečke s 8-bodovým mankom na druhú Wislu a s 10-bodovým mankom na prvý Ustroń. Sezónu nakoniec družina Góralu skončila na 4. mieste s rovnakým počtom bodov ako Czechowice – Dziedzice, na prvých dvoch miestach sa poradie nezmenilo.
Ďalšia sezóna sa niesla v znamení prebudovania kádra. Jeseň nebola tak úspešná ako v predchádzajúcej sezóne. Góral ju zakončil s 22 bodmi na 9. mieste a na jar si pohoršil ešte o jednu priečku a skončil desiaty.
V sezóne 2018/2019 sa podarilo hráčom Góralu obsadiť ôsmu priečku, čim zlepšili o dve miesta svoj výkon z predchádzajúcej sezóny.
Nasledujúca sezóna sa vplyvom svetovej pandémie korona vírusu, ktorá udrela v marci 2020, nedohrala. Góral bol na priebežnej 10. priečke z celkového počtu 16-tich účastníkov.
