Tout le monde peut construire un réseau de neurones de nos jours. C’est presque aussi simple que de rédiger une liste de courses, en particulier avec un bon tutoriel et quelques exemples. Et vous connaissez probablement ce sentiment, lorsque vous pensez avoir compris l’idée et que vous ne lisez plus les consignes jusqu’à la fin. C’est comme nous qui construisons des réseaux de neurones artificiels sans savoir exactement comment fonctionne notre propre système de neurones.
Certains peuvent dire que nous savons comment fonctionne un cerveau et que nous savons de quelle fonction chaque partie du cerveau est responsable. Oui, mais en fait non.
Commençons par les bases.
Neurosciences
Les neurosciences (ou neurobiologie) sont une branche de la biologie et une étude du système nerveux qui, au fil des années de son développement, a combiné et appliqué l’anatomie, la chimie, la psychologie, la modélisation mathématique et bien d’autres pour tenter de comprendre les processus, les fonctions, et la structure des neurones et des circuits neuronaux.
Le système nerveux concerne essentiellement la communication vers, depuis et à l’intérieur du corps d’un animal. Et étant l’espèce la plus développée sur la planète Terre, nous avons une architecture extrêmement complexe en nous.
Le neurone
L’élément clé est le neurone. En termes de machine learning, c’est un élément logique décisif ou un nœud qui additionne les signaux d’entrée : et si le résultat est supérieur à un seuil, un signal de sortie est déclenché.
Jetez un œil à cette illustration quelque peu anatomique d’un seul neurone.
Comme toute cellule, le neurone a un noyau qui stocke la plupart du matériel génétique, une mitochondrie, qui est essentiellement une station énergétique d’une cellule, un appareil de Golgi, qui joue un rôle dans l’empaquetage des peptides et des protéines (y compris les neurotransmetteurs) dans les vésicules, nous en reparlerons plus tard… et tout cela flotte dans le cytoplasme.
Mais contrairement aux autres cellules, le neurone a deux types d’excroissances. Les dendrites reçoivent les signaux d’entrée, comme des antennes, elles sont courtes et font entre 100–200 μm à 1–2 mm mais elles sont nombreuses. Et un axone qui est le câblage de notre corps, il transfère le signal d’une cellule à une autre et peut mesurer jusqu’à un mètre de long.
Ainsi, de manière assez ironique, les cellules « écoutent » plus qu’elles ne « parlent » contrairement aux gens constitués de ces cellules.
Bien sûr, chaque neurone reçoit des signaux de nombreux autres neurones et, contrairement aux réseaux de neurones artificiels, nous n’avons pas ces couches de neurones plutôt strictes. Dans l’apprentissage profond (deep learning), il existe trois principaux types de connexions neuronales et donc trois types d’architectures de réseaux neuronaux :
Le réseau de neurones feed-forward ou à propagation avant, est celui où le signal traverse chaque couche en partant de la couche d’entrée et jusqu’à la couche de sortie et c’est tout. Le réseau de neurones résiduel (ResNet) fonctionne exactement comme le précédent, mais il a également ce que l’on appelle une connexion résiduelle qui est comme un raccourci, il saute une ou plusieurs couches et permet ainsi aux gradients de mieux « circuler », de ce fait il est possible de créer des architectures très profondes.
Le réseau neuronal récurrent a, comme vous pouvez facilement le deviner, une connexion récurrente. Contrairement au réseau de neurones feedforward, la connexion récurrente est bouclée, ce qui crée une sorte de mémoire dans les neurones.
Récap :
Ainsi, ces trois-là sont très basiques et ils couvrent une bonne partie des architectures de réseau neuronal artificiel de pointe. Plus important encore, ils peuvent vous montrer à quel point notre propre architecture neuronale est différente.
Le cerveau d’une souris mesure environ 0,02 millimètres de long et pourtant il a tellement de neurones et de connexions. Regardez la comparaison et imaginez à quel point nos cerveaux sont sophistiqués :
L’axone
L’axone est le long fil qui relie deux neurones et permet une transmission rapide d’un signal. Vous voyez, les connexions entre les cellules sont assez lentes, c’est pourquoi les axones peuvent atteindre 1 mètre de long afin que les signaux puissent traverser notre système nerveux plus rapidement.
Il existe deux types de signaux dans le système. Le signal intracellulaire est celui qui traverse la cellule (ou axone) et il est relativement rapide par rapport au signal intercellulaire qui saute d’une cellule à l’autre.
Mais quel est ce signal ? Un signal n’est que des ions se déplaçant à travers les cellules et leur mouvement génère quelque chose appelé le potentiel d’action.
Le potentiel d’action
Toutes les cellules de notre corps ont un potentiel membranaire, essentiellement défini comme une différence de charges à l’intérieur et à l’extérieur des cellules. La charge est plus positive à l’extérieur de la cellule en raison de la concentration élevée de sodium (Na) là-bas et elle est plus négative à l’intérieur de la cellule en raison de la concentration plus faible de sodium et de la concentration plus élevée de potassium (K).
Chaque neurone a un potentiel compris entre -70mV et -60mV, c’est une différence de potentiel relative entre l’intérieur et l’extérieur de la cellule, c’est pourquoi il est négatif. Maintenant que nous avons pris connaissance des charges, nous pouvons continuer à comprendre ce qu’est un signal.
Un potentiel d’action est une onde d’excitation se déplaçant le long de la membrane d’une cellule vivante sous la forme d’un changement à court terme du potentiel de membrane. Une image vaut mieux que mille mots :
Voici à quoi ressemble le potentiel de repos, c’est l’état où aucun signal n’est transféré. Et maintenant, comme vous le savez, examinons le potentiel d’action au travail :
Cela s’appelle une dépolarisation lorsque les charges changent de place comme cela et cela est causé par le signal circulant dans votre système nerveux. La dépolarisation se produit sur une très petite partie de la membrane, environ 1 micron, et lorsqu’elle se produit, le potentiel de la membrane change. Il doit dépasser le potentiel de seuil (~ -55mV) pour qu’un potentiel d’action se produise.
Vous venez probablement de vous rappeler que le perceptron inventé par Frank Rosenblatt en 1958 a également des seuils dans son architecture. Tout d’abord, un signal d’entrée doit passer un seuil sur des éléments sensoriels (essentiellement une couche d’entrée) pour aller plus loin. Deuxièmement, si la somme algébrique de tous les signaux d’entrée sur les éléments associatifs atteint un autre seuil, les valeurs de sortie de ces éléments seront 1, ou 0 sinon.
Enfin, un potentiel d’action est unidirectionnel, car lorsque les charges reviennent au potentiel de repos après la dépolarisation, cette partie de la membrane devient réfractaire à la dépolarisation pendant ~ 1 seconde, c’est comme un refroidissement.
La synapse
La connexion synaptique est un endroit où un neurone transmet un signal à un autre neurone. Et une synapse n’est qu’un de ces endroits où cela se produit.
Chaque neurone peut se synchroniser (se connecter) avec jusqu’à 10⁵ neurones et le cerveau humain adulte contient au moins 10¹⁰ neurones. Ainsi, lorsque les chercheurs en IA, les neuroscientifiques et les scientifiques, en général, vous disent que nous sommes les ordinateurs les plus sophistiqués du marché, vous pouvez apporter cela à la banque.
Contrairement aux ordinateurs, la plupart des connexions entre les cellules sont chimiques et non électriques. Les synapses électriques sont rarement utilisées dans notre corps, elles sont rapides car elles sont connectées par des jonctions communicantes (en gros, il n’y a pas d’espace entre deux cellules et les ions vont directement d’une cellule à l’autre, c’est comme une connexion Ethernet) et il n’y a pas de régulation (toujours ouverte), alors que notre système nerveux est parfaitement régulé et réglé pour répondre aux plus petits stimuli à la fois de l’intérieur et de l’extérieur de notre corps.
D’autre part, les synapses chimiques sont lentes car, contrairement aux synapses électriques, elles transmettent des ions à travers un petit espace appelé fente synaptique (par analogie, c’est comme une connexion WIFI cette fois), et hautement réglables. La majorité des synapses chez les animaux supérieurs (mammifères) sont chimiques.
Pourtant, notre système de communication interne utilise à la fois des signaux électriques et chimiques. Lorsque les neurotransmetteurs de ces petites vésicules atteignent l’extrémité d’un axone, ils sont libérés dans la fente synaptique (un très petit espace, ~ 30 nm, entre les neurones), puis capturés par des récepteurs de l’autre côté. Et lorsque les neurotransmetteurs se lient aux récepteurs des dendrites ou d’un corps cellulaire, ils modifient le mouvement des ions dans une cellule, ce qui conduit finalement au potentiel d’action. Donc, en quelque sorte, nous avons un dispositif de conversion qui convertit les signaux électriques en signaux chimiques en signaux électriques.
Le concept de sommation
Parallèlement à tout cela, les synapses, tout comme le perceptron de Rosenblatt, ont un concept de sommation, qui est l’addition de toutes les entrées synaptiques sur un neurone receveur, où l’entrée synaptique est le changement du potentiel de membrane régi par le mouvement des ions. Il existe deux types de sommation :
La sommation spatiale, a à voir avec l’endroit où le signal est reçu. Et en fait, il peut être reçu presque n’importe où, des pointes de dendrite, des corps de dendrite, près du corps cellulaire, dans le corps cellulaire. Ainsi, tous ces signaux doivent être additionnés. Rappelez-vous combien de connexions entre les neurones nous avons et réalisez à nouveau à quel point notre réseau neuronal est complexe.
La sommation temporelle est une sommation sur une période de temps, environ une milliseconde. Par conséquent, l’addition porte sur le degré de modification du potentiel de membrane et, dans l’ensemble, si vous avez porté le potentiel de membrane d’un neurone receveur au seuil de potentiel d’action ou non. Le neurone se déclenche si et seulement si il a atteint le seuil. La somme est donc calculée sur les dendrites et le corps cellulaire, mais la réponse de la sommation est lue au niveau de la butte axonale, un endroit où un axone se détache du corps cellulaire.
La dernière chose que nous devons apprendre sur les synapses est qu’il existe des synapses excitatrices et inhibitrices. Pour parler en termes simples, les synapses excitatrices tentent de maximiser un signal et de rapprocher le potentiel de repos du seuil du potentiel d’action alors que les synapses inhibitrices tentent de tout calmer et au contraire d’amener le potentiel de repos plus loin du seuil. Un neurone peut avoir les deux types de synapses et en fonction de celui qui prédomine, le receveur sera invité à tirer ou à ne pas tirer.
En conclusion
Nous avons encore beaucoup à découvrir et nous n’avons fait qu’effleurer la surface à présent. La neuroscience est un domaine énorme, nous pouvons donc difficilement discuter des bases ici. Le but de cet article était de comprendre à quel point votre cerveau est complexe et en quoi les algorithmes de machine learning (apprentissage automatique) lui ressemblent.
Dans un prochain article, nous parlerons des neurotransmetteurs, de la fonction de guidage axonal, de la mémoire et bien d’autres, alors à très bientôt !
