>Почему не находит объявление функции open?

Потому что нет этой функции в ядре. Фаловый ввод-вывод связан с виртуальной памятью, open не обходится без page fault и его обработчика.

По этой же причине в ядре не может быть никакого open. Посмотри как читает файлы nfsd.