解.由f(x)是二次函数，不等式f(x)<0的解集是(0,5)可知
f(x)的图像是一条开口向上的抛物线，且与x轴的两交点为(0,0),(5,0)
对称轴为x=(5+0)/2=2.5
又因(x)在[-1,3]上的最大值是12，即函数图像过(-1,12)
设f(x)=ax(x-5)则
f(-1)=-a(-1-5)=12
解得a=2
所以f(x)=2x(x-5)=2x²-10x