AI United College

Неуроморфично рачунарство: Револуција у архитектури интелигенције

Увод: Зашто се фон Нојманова архитектура суочава са зидом?

Драги студенти, данас ћемо говорити о можда најважнијој револуцији у рачунарству од проналаска транзистора. Питање које се поставља није “да ли ће неуроморфично рачунарство заменити тренутне компјутере”, већ “када и како брзо”.

Фундаментална разлика: Дигитални vs. Аналогни свет

Данашњи компјутери: Дискретни дигитални аутомати

Фон Нојманова архитектура (1945-данас):
“`
CPU ←→ Меморија ←→ I/O
“`

Кључне карактеристике:
– Раздвојене меморија и процесирање (von Neumann bottleneck)
– Синхрони тактови – све се дешава у строго дефинисаним циклусима
– Дискретне вредности – 0 и 1, нема “можда”
– Секвенцијално извршавање инструкција
– Детерминистичко понашање

Мозак: Аналогни, асинхрони, стохастички систем

Биолошка “архитектура”:
“`
Неуроми ←→ Синапсе ←→ Дендрити ←→ Аксони
    ↕
Меморија је у везама (синаптички тежишта)
“`

Кључне карактеристике:
– Co-located меморија и процесирање – синапсе су истовремено “меморија” и “процесор”
– Асинхрони Events – нема глобални такт
– Аналогне вредности – континуирани распон вредности
– Масивно паралелизм – 86 милијарди неурона истовремено
– Стохастично понашање – “буке” је карактеристика, не грешка

Зашто се backpropagation не може извршити у мозгу?

Ово је кључно питање! Backpropagation алгоритам је математички елегантан, али биолошки немогућ.

Backpropagation захтеви:

1. Симетричне тежине – исте вредности “унапред” и “уназад”
2. Глобални сигнал грешке – информација о грешци мора стићи до свих неурона
3. Точне деривате – парцијални изводи по свим параметрима
4. Синхрони update – сви параметри се ажурирају истовремено
5. Раздвојене фазе – forward pass, затим backward pass

Зашто то није могуће у мозгу:

1. Нема “уназад” везе:
– Акон шаље сигнале само у једном смеру
– Нема физички механизам за пренос “грешке уназад”

2. Локални пластицитет:
– Синапсе мењају снагу на основу локалних сигнала
– Нема глобална “функција губитка”

3. Континуирано учење:
– Учење се дешава 24/7, не у “епохама”
– Нема раздвојених фаза тренирања/инференције

4. Стохастички сигнали:
– Неуроми испаљују стохастички (Poisson process)
– Нема прецизних нумеричких вредности

Како мозак заиста учи: Spike-Timing Dependent Plasticity (STDP)

Hebb-ово правило (1949):
“Neurons that fire together, wire together”

Модерна верзија – STDP:
“`
If пре-синаптички спајк дође ПРЕД пост-синаптички:
    → Синапса се јача (LTP – Long Term Potentiation)
   
If пре-синаптички спајк дође ПОСЛЕ пост-синаптички:
    → Синапса се слаби (LTD – Long Term Depression)
“`

Кључно: Ово је ЛОКАЛНО правило – синапса “одлучује” на основу локалних временских образаца!

Математички модел STDP:
“`
Δw = {
    A₊ · exp(-Δt/τ₊)  if Δt > 0 (јачање)
    A₋ · exp(Δt/τ₋)   if Δt < 0 (слабљење)
}
“`
где је Δt = t_post – t_pre

Неуроморфично рачунарство: Покушај опонашања мозга

Дефиниција:
Неуроморфично рачунарство је парадигма која опонаша структуру и функцију биолошких неуронских мрежа у силицону.

Кључни принципи:

1. Event-driven computing уместо clock-driven
“`
Традиционални компјутер:
Clock: TICK → Process → TICK → Process → TICK

Неуроморфични:
Спајк → Process → (тишина) → Спајк → Process
“`

2. Co-located меморија и рачунање
“`
Традиционални:    CPU ←(bus)→ RAM
Неуроморфични:    Меморија ≡ Процесирање
“`

3. Аналогно-дигитални хибрид
– Силиконски неурони као аналогни кругови
– Спајкови као дигитални догађаји

4. Масивни паралелизам
– Хиљаде неурона раде истовремено
– Нема секвенцијално извршавање

Како се граде неуроморфични chip-ови?

Дизајн силиконског неурона:

Leaky Integrate-and-Fire Model:
“`
Мембрански потенцијал: V(t) = ∫(I_input – g_leak·V)/C dt

Када V достигне праг θ:
    → Генериши спајк
    → Reset V на V_reset
    → Пошаљи спајк свим повезаним неуронима
“`

Физичка имплементација:
Кондензатор (C) = мембранска капацитивност
Отпорник (R) = мембранска резистенција 
Компаратор = детекција прага
Дигитални излаз = спајк

Синаптички дизајн:
“`
Синапса = Променљива проводљивост између неурона
Имплементација: Memristor или floating-gate transistor

Тежина синапсе ∝ Проводљивост
STDP се имплементира као локални кругови који мењају проводљивост
“`

Главни неуроморфични системи данас:

1. Intel Loihi (2017-)
Архитектура:
– 128 неурохорија (neurocore)
– 131.072 неурона по чипу
– 128 милиона синапси
– On-chip STDP учење

Кључне карактеристике:
– 14nm производна технологија
– 60mW потрошња енергије
– Real-time STDP пластицитет

2. IBM TrueNorth (2014)
Архитектура:
– 4.096 неурохорија
– 1 милион неурона
– 256 милиона синапси
– Само инференција (нема учење на чипу)

Енергетска ефикасност:
– 70mW за цео чип
– 1000x мање енергије од традиционалних процесора

3. SpiNNaker (Универзитет у Манчестеру)
Концепт:
– 1 милион ARM процесорских језгара
– Свако језгро симулира ~1000 неурона
– Укупно: ~1 милијарда неурона

4. BrainChip Akida
Комерцијални фокус:
– Edge AI апликације
– Ултра-ниска потрошња енергије
– On-chip учење за прилагођавање

Енергетска супериорност неуроморфичних система

Поређење потрошње енергије:

Традиционални deep learning:
“`
NVIDIA V100 GPU: 300W
Тренирање GPT-3: ~1,287 MWh
Инференција за image classification: ~100mJ по слици
“`

Неуроморфични системи:
“`
Intel Loihi: 60mW (цео чип!)
IBM TrueNorth: 70mW
Image classification: ~1μJ по слици (100.000x мање!)
“`

Зашто су толико ефикаснији?

1. Sparse активација – само део неурона активан у датом тренутку
2. Event-driven – енергија се троши само када се дешавају спајкови
3. Нема движења података између процесора и меморије
4. Аналогни рачунање – не морају се кодирати бројеви у битове

Поређење алгоритама учења:

Backpropagation (традиционални):

Предности:
– Математички прецизан
– Брза конвергенција
– Добро разумљив и дебагируем

Недостаци:
– Потребне лабеле за supervised learning
– Катастрофично заборављање
– Огромна потрошња енергије
– Није биолошки веродостојан

STDP (неуроморфични):

Предности:
– Unsupervised учење
– Континуирано учење (нема катастрофично заборављање)
– Ултра-ефикасно енергетски
– Биолошки веродостојан
– Адаптивност у real-time

Недостаци:
– Спорија конвергенција
– Тешко за дебагирање
– Стохастичко понашање
– Мање прецизан од backprop-а

Практичне примене неуроморфичних система:

1. Sensory Processing

Визија:
– Dynamic Vision Sensors (DVS камере)
– Реагују на промене у сцени, не на цео фрејм
– 1000x мање података од традиционалних камера

Пример: Праћење објеката у реалном времену са μW потрошњом

2. Роботика

Сензо-моторна контрола:
– Real-time адаптација без external computing
– Учење моторних вештина кроз покушаје

Пример: Дрон који учи да лети избегавајући препреке

3. Edge AI

IoT сензори:
– Годинама рада на батерији
– Локално учење и адаптација

Пример: Паметни термостат који учи навике корисника

4. Медицински уређаји

Implantable devices:
– Ултра-ниска потрошња
– Real-time обрада биосигнала

Пример: Cochlear implant са адаптивним филтрирањем

Ограничења и изазови:

1. Програмабилност
– Изазов: Како “програмирати” неуроморфични систем?
– Проблем: Нема традиционални instruction set
– Решење: Еволуциони алгоритми, bio-inspired тренинг

2. Дебагирање
– Изазов: Стохастично понашање тешко за дебаг
– Проблем: Нема deterministic execution trace
– Решење: Статистичке методе анализе, ensemble подходи

3. Скалабилност
– Изазов: Како направити веће неуроморфичне системе?
– Проблем: Комуникација између чипова
– Решење: Хијерархијске архитектуре, spike-based protocols

4. Стандардизација
– Изазов: Нема стандардни programming model
– Проблем: Свака компанија свој приступ
– Решење: IEEE ради на стандардима

Будућност неуроморфичног рачунарства:

Краткорочно (2-5 година):
– Специјализоване примене: Sensory processing, edge AI
– Хибридни системи: Комбинација са традиционалним процесорима
– Побољшани чипови: Више неурона, боља ефикасност

Средњорочно (5-10 година):
– Програмска окружења: Лакше програмирање неуроморфичних система
– Масовне примене: Consumer електроника
– 3D интеграција: Вертикално слагање неуронских слојева

Дугорочно (10+ година):
– Биолошко-силиконски хибриди: Интеграција живих неурона са чиповима
– Quantum-неуроморфични системи
– Целовити computing екосистем базиран на spike-based протоколима

Револуционарни потенцијал:

Зашто је ово важно за будућност?

1. Енергетска криза: Дата центри троше 1% глобалне енергије
2. Edge computing: IoT потребује локалну интелигенцију
3. Real-time системи: Аутономна возила, роботика
4. Адаптивни системи: Учење током коришћења

Аналогија са историјом:
– 1940-1960: Vacuum tubes → Транзистори
– 1960-1980: Транзистори → Интегрисана кола 
– 1980-2010: CPU-ови → GPU-ови за паралелизам
– 2010-данас: GPU-ови → Неуроморфични чипови ???

Закључак: Парадигма промена у рачунарству

Неуроморфично рачунарство није само еволуција – то је револуција. Као што је транзистор заменио vacuum tube, неуроморфични чипови могу заменити фон Нојманову архитектуру за одређене класе проблема.

Кључне предности:
– 1000-10.000x мања потрошња енергије
– Real-time адаптабилност 
– Континуирано учење без катастрофичног заборављања
– Природно погодни за stochastic, uncertain environments

Кључни изазови:
– Програмабилност и дебагирање
– Стандардизација и toolchain развој
– Скалирање на веће системе

За нас као истраживаче на пресеку неуронауке и АИ, ово представља јединствену прилику да учествујемо в најузбудљивијој технолошкој револуцији 21. века!

Питање није “да ли”, већ “када” ће неуроморфично рачунарство постати mainstream. И одговор је – вероватно раније него што мислимо.