或许可以用2块单片机来解决时间紧张的问题。比如一块负责A/D转换和运算，另一块专用于刷显示、读按键等操作。为降低成本，第二块可以用更廉价的51等（毕竟对运算速度要求不高）。
使用两种MCU虽然会降低硬件成本，但开发成本会爆炸。当然更正确的办法是换成STM32F746（我这而有闲置开发板，可以借给楼主）或者H系列，价格依然十分低廉。
宽带FM解调要有一些技巧，尽量采用整数运算，降低精度。窄带FM解调，STM32能够轻松跑。
另外，似乎没有做线性/对数转换，这还将消耗不少的资源。目前显示看起来十分流畅，不错。
如果希望做一个轻量级的作品，并且做到名片盒大小（含电池），个人认为用单板机+ubuntu不是一个好想法，除非是为了学习嵌入式开发。