Nejčastější laické chápání neuronových sítí je představa jakéhosi „umělého“ lidského mozku.
Ve skutečnosti máme k takovému porovnání ještě hodně daleko. 

Našli jsme a přeložili pro Vás článek, který dle mého soudu relativně jednoduše vysvětluje, co je to tzv. hluboké učení a jak souvisí s naším chápáním fungování lidského mozku. 

Petr Šrámek

Když Dr. Blake Richards (University of Toronto Scarborough) poprvé slyšel o hlubokém učení (deep learning), byl přesvědčen, že se nedívá jen na techniku, která revolučně mění umělou inteligenci. Věděl také, že se dívá na něco, co souvisí se základy fungování lidského mozku.

Začátkem roku 2000 absolvoval Richards kurz u doktora Geoffa Everesta Hintona na univerzitě v Torontu. Hinton byl architektem a průkopníkem algoritmu, který později ovládl svět. Tehdy pořádal úvodní kurz své metody „hlubokého učení“, inspirované lidským mozkem. Navzdory Richardsově přesvědčení byly této metodě dávány velké šance.

Lidský mozek nemá k dispozici důležitou funkci „zpětná vazba o chybě“, která je podstatnou součástí algoritmů hlubokého učení. Tím tyto algoritmy porušují základní, dávno prokázaná biologická fakta. Ale co kdyby i přes povrchní rozdíly mohly být algoritmy hlubokého učení a mozek slučitelné?

Ve studii, publikované v eLife, navrhl Richards nový algoritmus, založený na biologické struktuře neuronů v neokortexu. Tato vnější oblast mozku, také známá jako mozková kůra, je základnou vyšších kognitivních funkcí, jako je uvažování, předpovídání a flexibilní myšlení. Jeho tým spojil své umělé neurony dohromady do vícevrstvé sítě a zadal jim klasický počítačový úkol – identifikování ručně psaných čísel pomocí vidění.

Nový algoritmus fungoval dobře. Analyzoval příklady učení způsobem, který je charakteristický pro algoritmy hlubokého učení, přestože byl založen na odlišné biologii mozku. „Hluboké učení je tedy možné i v systému fungujícím na biologických principech“ konstatoval tým.

Vzhledem k tomu, že model je pouze počítačovou simulací, doufá Richards, že experimentální neurovědci otestují, zda funguje ve skutečném mozku. Pokud ano, mohly by pak být výsledky předány počítačovým vědcům, aby vypracovali další generaci masivně paralelních a nízkoenergetických algoritmů pro další zlepšení schopností umělé inteligence.

Hra s viníkem

Pravděpodobně jste už slyšeli o nedávném vítězství algoritmu hlubokého učení nad člověkem ve hře Go. Možná ale nevíte, jak vlastně takový algoritmus pracuje.

Stručně řečeno, hluboké učení se opírá o umělou neuronovou síť s virtuálními „neurony“. Stejně jako vysoký mrakodrap, je síť strukturována do hierarchií: neurony nižší úrovně zpracovávají aspekty vstupu – například horizontální nebo vertikální čáry, která nakonec na obrázku vytvoří číslici čtyři – zatímco vyšší neurony extrahují abstraktnější aspekty číslice čtyři.

Chcete-li neuronovou síť učit, je třeba jí poskytnout příklad toho, co hledáte. Signál se šíří dopředu v síti a každý neuron pracuje na zachycení nějaké zásadní informace o čísle čtyři.

Stejně jako když se děti poprvé snaží osvojit nějakou dovednost, ani neuronové síti to zpočátku nejde nejlépe. Síť „vyplivne“ to, jak si představuje, že by číslice čtyři měla vypadat: třeba jako Picassův obraz. A přesně v tomto okamžiku dochází k učení: algoritmus porovná svůj výstup s ideálním výstupem, a vypočítá rozdíl mezi oběma (nazvaný „chyba“). Chyba je odeslána zpět do neuronové sítě s informací pro každý neuron: pozor, v tomto jsi se zmýlil, příště je třeba přizpůsobit výpočet a zlepšit kvalitu výstupu.

Pomocí milionů takových příkladů a následných vylepšení se neuronová síť dostává blíže k požadovanému výsledku a její kvalifikace pro plnění daného úkolu se zvyšuje. Pro proces učení je rozhodující právě chybový signál. Bez efektivní „zpětné vazby“ síť neví, který z jejích neuronů dostatečně nereaguje. Díky nalezení problematických neuronů se síť může sama zlepšovat.

Mozek se chová stejně. Jak to přesně dělá? Nemáme tušení.

Biologické no-go

Je zřejmé, že i lidský mozek nepracuje pomocí principů hlubokého učení.

Zpětná vazba je zásadně potřebná funkce. Vyžaduje velmi specifické uspořádání neuronů a propojení, aby fungovala podle očekávání. Jeden každý neuron v síti musí obdržet zpětnou vazbu o chybě. Ale neurony v mozku jsou napojeny jen na vybrané další neurony v signálové cestě (pokud vůbec). Aby fungovala zpětná vazba, musely by být v mozku vzájemně propojeny všechny neurony na navazujících úrovních a získávat tak informace z miliard propojení – což je biologicky nemožné .

Zatímco některé algoritmy hlubokého učení umožňují i lokálnější formu zpětné vazby mezi neurony – vyžaduje se, aby jejich spojení dopředu a dozadu bylo symetrické . A to se téměř nikdy v mozkových synapsích nevyskytuje. Novější algoritmy navrhují i mírně odlišnou strategii tak, že implementují separátní cestu zpětné vazby. I když je to biologicky více přijatelné, mozek nemá samostatnou výpočetní síť určenou pro předávání zpětné vazby. Mozek má zato neurony se složitými strukturami, na rozdíl od jednoduchých „koulí“, které se v současné době používají v hlubokém učení.

Rozbočovací sítě

Richardsův tým se inspiroval pyramidovými buňkami, které naplňují lidskou mozkovou kůru. „Většina těchto neuronů má podobný tvar jako stromy. „Kořeny jsou hluboko v mozku a větve blízko povrchu„, říká Richards. „Zajímavé je, že kořeny získávají jinou sadu vstupů než větve, které jsou v horní části stromu.“

Jedná se o ilustraci modelu multi-oddílové neuronové sítě pro hluboké učení. Vlevo: Rekonstrukce pyramidálních neuronů z primární vizuální kůry myší. Vpravo: Ilustrace zjednodušených modelů pyramidálních neuronů. Image Credit: CIFAR

Stejně tak zajímavé je, že struktura neuronů bývá přesně tou „správnou“ pro efektivní vyřešení konkrétního výpočetního problému. Například zpracování smyslových vjemů: kořeny pyramidálních neuronů jsou umístěny tam, kde získávají senzorický vstup, zatímco vrcholy jsou vhodně umístěny pro zachytávání a přenos zpětné vazby.

Mohla tato složitá struktura vzniknout jako evoluční řešení pro vysílání zpětné vazby?

Tým vytvořil vícevrstvou neuronovou síť, založenou na stávajících algoritmech. Nepoužil všude stejné neurony: těm ve středních vrstvách – vloženým mezi vstupní a výstupní vrstvy – vytvořil určité „přihrádky“, stejně jako mají skutečné neurony.

Při učení s ručně psanými číslicemi fungoval algoritmus mnohem lépe než klasická jednovrstvá síť, ačkoli zde zcela chybí klasická zpětná vazba. Samotná buňková struktura byla dostatečná k tomu, aby přiřadila chybu: chybové signály na jednom konci neuronu jsou přirozeně udržovány odděleně od vstupu na druhém konci. Neuron je tak schopen spojit oba zdroje informací dohromady a najít nejlepší řešení. Existují pro to i biologické důkazy: neurovědci ví už dlouho, že vstupní větve neuronu provádějí lokální výpočty, které mohou být integrovány se signály, které se šíří zpět z tzv. výstupní větve. Nicméně stále ještě nevíme, jestli je toto opravdu způsob, jakým mozek pracuje. Na tuto otázku chce znát Richards odpověď od neurovědců.

Vytvořená neuronová síť analyzovala problém podobně jako tradiční algoritmy pro hluboké učení: využila svou vícevrstvou strukturu, aby získala postupně abstraktnější „představy“ o každém čísle. „Toto je princip hlubokého učení,“ vysvětlují autoři .

Deep Learning Brain

Bezpochyby se v budoucnu ukáže řada dalších zvratů a průlomů, protože počítačoví vědci zahrnují do algoritmů umělé inteligence více a více biologických principů. Jedním z aspektů, o které už Richards a jeho tým zajímají, je prediktivní funkce, ve které signály z vyšších úrovní sítě přímo ovlivňují, jak nízké úrovně sítě reagují na vstupy. „Zpětná vazba z vyšších úrovní neposkytuje pouze chybové signály; mohla by to být také využitelná spodními neurony k vylepšení jejich aktivity v reálném čase„, říká Richards.

Jejich síť ještě nepřekonává jiné nebiologicky založené (ale „mozkem-inspirované“) hluboké sítě. Ale o to nyní nejde. „Hluboké učení mělo obrovský dopad na UI, ale jeho dosavadní dopad na neurovědy byl omezený“ říkají autoři . Teď mohou neurovědci experimentálně testovat, zda je struktura neuronů základem našeho vlastního algoritmu hlubokého učení.

To, co bychom mohli vidět v příštím desetiletí, je skutečný cyklus výzkumu mezi neurovědou a umělou inteligencí, kde objevy neurovědy nám pomáhají rozvíjet nové UI a UI nám mohou pomoci interpretovat a pochopit naše experimentální data v neurovědách,“ říká Richards.

Volně přeloženo podle článku Shelly Fan „Do Our Brains Use Deep Learning to Make Sense of the World?“