Applied Realization of Neural Network and Neurolike Parallel-Hierarchical System Based on GPGPU

Abstract

У статті розглянуто основні аспекти й особливості прикладної реалізації нейромережевих і нейроподібних паралельно-ієрархічних систем на основі технологій GPGPU. У дослідженні проаналізовано архітектуру сучасних GPU та моделі паралельного програмування GPU, а також розглянуто способи оптимізації GPU-програм для паралельних обчислень у паралельно-ієрархічних системах загального призначення, запропонованих як мережева модель нейроподібної схеми оброблення інформації. На основі проведених досліджень і отриманих результатів запропоновано програмні модулі для реалізації на CPU та GPU великомасштабних нейронних і нейроподібних паралельно-ієрархічних мереж різних топологій.

The paper considers main aspects and features of applied realization of neural network and neurolike parallelhierarchical systems based on GPGPU technologies. The research performs the analysis of the architecture of modern GPU and models of GPU parallel programming, as well as considers ways of GPU programs optimization for parallel computing in general-purpose parallel-hierarchical systems, proposed as a networking model of neurolike scheme of information processing. On the basis of research performed and results obtained software modules are offered for realization at CPU and GPU of large-scale neural and neurolike parallel-hierarchical networks of different topologies.