Делаю:
iptables -A FORWARD -p tcp -m connlimit --connlimit-above 30 --connlimit-mask 32 -j DROP

Проверяю:
netstat-nat -n | grep ESTABLISHED | awk {'print $2'} |  cut -f1 -d: | sort | uniq -c
     14 10.75.34.31
      7 10.75.34.36
    418 10.75.34.37
      3 10.75.34.38
      1 10.75.34.40
      7 10.75.34.41
      2 10.75.34.53
    108 10.75.34.54

Делаю тоже только для INPUT, с указанием порта и только 2 сессии на порт. Получаю доступ без проблем.
uname -a
Linux lira 2.6.31.5 #6 Tue Jan 26 21:16:33 EET 2010 i686 GNU/Linux

iptables -V
iptables v1.4.6

connlimit
limit
layer7
length
set
recent
state
icmp
udplite
udp
tcp

iptables -m connlimit -h
...
connlimit match options:
[!] --connlimit-above n        match if the number of existing                                connections is (not) above n
    --connlimit-mask n         group hosts using mask

Куда еще смотреть? Помогите пожалуйста, устал уже копать..