La esponja da un cierto amargor cuando está muy pasada, me refiero cuando tiene ese color amarillo verdoso, por lo que culinariamente es mejor retirarla para cualquier tipo de preparación.
Como te indican los compañeros, cuando están ya así de pasados, lo mejor es para cremas o salsas en las que lo pases por la batidora.