Sí, puedes, pero no es recomendable.
Según el artículo de Wikipedia sobre bolsitas de té, generalmente están hechas de papel de filtro, seda o plástico de grado alimentario.
El papel, que está hecho de celulosa, se puede comer, pero no se recomienda realmente. Realmente no tenemos la facilidad para digerir la celulosa. Comer seda está bien, pero es repugnante, en mi humilde opinión. Quiero decir, ¿quién se come la coraza en la que viven esos viscosos gusanos de seda? ¡Uf!
Las bolsas de té hechas de plástico de calidad alimentaria están perfectamente bien para estar en contacto con la comida, no son alimentos. Me arriesgaría a suponer que incluso ellos no causarían ningún daño grave , ¡ aunque tú también comerías bajo tu propio riesgo !
En el lado más claro y brillante de las cosas, si habla de galletas comestibles hechas especialmente para bolsitas de té como estas, investigue:
Cómo: Hacer galletas comestibles de bolsitas de té