"Uno de los motivos es que veía cómo mis amigos judíos no se sentían cómodos con la situación. El Nuevo Testamento no era un ejemplo de todas las religiones y lo vi injusto". En 1956, Ellery se presentó en su clase con un ejemplar del Corán y se negó a recitar el "Padre Nuestro". Fue expulsado de clase y enviado al director, pero siempre contó con el apoyo de sus padres.
Edward no sólo le respaldaba sino que le animó a escribir una carta a la Unión Estadounidense por las Libertades Civiles en la que pedía ayuda para cambiar la ley de Pensilvania que obligaba a leer la Biblia en la educación pública. El Organismo demandó junto a Ellery al distrito escolar de Abington. El caso llegó a la Justicia, que en 1963, les dio la razón.
La sentencia reconocía que la lectura obligada de la Biblia en las escuelas públicas estadounidenses era una violación de la Primera Enmienda. Después de doctorarse en Física, Ellery no volvió a mostrar interés por el asunto hasta los años 90, después de algunos intentos para reintroducir la religión en las escuelas.
