体系结构是高性能计算机的“筋骨”。研制人员在总结天河一号成功经验的基础上，自主创新了新型异构多态体系结构，实现了多类型计算资源、输入输出资源和服务资源的灵活配置，在强化科学工程计算的同时，可高效支持大数据处理、高吞吐率和高安全信息服务等多类应用，显著扩大了天河二号的应用领域。
随着系统规模的扩大，用电量随之大增。天河二号通过采用综合化的能耗控制，设计实现了面向高效能计算的层次式优化框架、自适应能耗控制算法及低损耗、高效率的电源设计，有效提高了系统的能效比，达到了世界先进水平。
科研人员告诉记者，如果不能有效解决超级计算机的体积问题，系统的安装调试、运行管理等都将成为很大的难题。天河二号设计实现了高密度、高精度的结构工艺，采用了多机柜封闭循环的水风混合冷却方案，有效缩减了系统体积，与美国“泰坦”相比，体积小了15%。
天河二号工程副总指挥李楠研究员介绍，天河二号的体系结构、高速互连技术、操作系统等实现了中国创造，拥有自主只是产权，而CPU芯片和应用软件还没有完全国产化。但值得一提的是，由国家重大专项支持、该校自主研制的新一代FT1500CPU，是当前国内主频最高的通用CPU。“名次只是副产品，为创新型国家建设提供动力、为关系人类未来生存发展的大科学问题提供解决方案，才是我们加速超算发展的根本原因。”