胎儿还在母体内时，大脑就有听觉、触觉和嗅觉等神经活动，有的甚至能回忆起出生时的情景。这是美国的德威特-杰布利博士验证过的事实，其中比较有影响的是他在中国西藏地区发现了早在8世纪就有从胎龄第26周开始的记忆记录。随着年龄的增长，人们的记忆力逐渐增强，就其增长而言，婴儿期的记忆力增长最快，儿童可以迅速记住电视图像和儿童歌曲，因为他们早在胎儿时期就已经形成了这种能力。大脑的发育先于四肢的发育。
人的出生始于受精卵，受精卵在子宫内着床后依次分化为外胚层、中胚层和内胚层，其中外胚层是大脑的原始形态。它开始是一个圆板，然后发育成神经管。如果最初的神经管继续发展，它只能长成鱼的细长的大脑，但胎儿的神经管在开始时是弯曲和折叠的，以便在有限的空间内容纳更多的细胞，这才形成了复杂的大脑，最终被沟纹覆盖。到了胚胎期的第4周，胎儿的大脑已经完成了其原始形态的主要部分。到第6周时，大脑上可以记录电信号。第7周，胎儿面部走廊形成，眼睛、鼻子和嘴依稀可辨。到第9周，脑干和脊髓的大小是大脑的一半，用细探针触碰额头时，胎儿已经可以低头，表明触觉神经的出现。大脑继续发育，直到第四个月，这时胎儿形成完整的人形，头部不成比例地大。莫扎特音乐能促进胎儿大脑的发育
大脑发育过程中最关键和需要时间最长的部分是神经网络的形成，因为正是神经网络最终导致了大脑动能的产生。令人难以置信的是，作为构建这一神经网络的主角，突触的数量在出生后反而急剧减少。耶鲁大学的拉基奇博士对猴子进行的实验表明，突触的数量在出生后2至4个月达到高峰，然后开始减少，到3岁时只剩下一半，而人类对脑死亡的调查表明，在人类婴儿期达到高峰的突触数量是^成年后的6倍。他因此得出结论，急剧减少的多余部分是胎儿时期的储备，用于出生后适应环境时的消耗。核桃以外的四种食物，也能促进胎儿大脑发育
虽然神经细胞的数量和神经纤维的长度是由遗传因素决定的，但突触的形成是由基因决定的。