Je vyhledávači jedno, zda je text v divu, p, h1 nebo title? Možná kdysi dávno. Stejně tak může akceptovat určitou vazbu mezi th a td nebo v rámci řádku/sloupce tabulky. A může toho být víc.
Navíc vyhledávači není jedno pořadí, což musíš skutečně v závislosti na layoutu měnit.
A co se týče hlasových čteček, tak sice nemám praktické zkušenosti, ale IMHO to tam bude ještě horší. Nevidomý pravděpodobně bude mít větší problém si představit layout jako řádky a sloupce. A i pokud to zvládne, bude to pro něj obtížnější.
Tabulková data skutečně nemá smysl cpát do CSS, pokud to je skutečná tabulka. Ale layout není skutečná tabulka. To je jen využití pro jeden způsob využití stránky - vizuální zobrazení. Nevidomí se v tom pravděpodobně orientovat nebudou.