Что бы можно было использовать кириллицу с bibtex'ом — то есть иметь возможность написать что-то вроде:
\bibitem{Иванов1000}
Следует воспользоваться пакетом citehack — добавить в преамбуле:
\usepackage{citehack}
Замечание: По умолчанию кириллицу нельзя использовать в качестве ИНДЕКСА (т.е. внутреннего объекта, который никак не отображается в свёрстанном документе). В необязательных аргументах \cite и \bibitem (которые отображаются в документе) использовать кириллицу можно. Пакет citehack позволяет использовать 8-битные символы в качестве индекса.
Чтобы заставить BibTeX генерировать список в русском стиле следует воспользоваться специально, разработанным для этой цели пакетом plainu. Пакет предназначен для украинских, русских и иностранных изданий. Для установки следует выкачать файл plainu.zip. Там есть 2 файла: plainu.dtx и plainu.ins. Делаем:
latex plainu.ins
и получаем 4 стилевых файла:
gost71s.bst — с сортировкой (типа plain.bst) ГОСТ 7.1-84
gost71u.bst — без сортировки (типа unsrt.bst)
gost780s.bst — с сортировкой ГОСТ 7.80-00
gost780u.bst — без сортировкой ГОСТ 7.80-00
Которые можно положить, например, в ту саму директорию где и Ваш документ.
Для правильной сортировки (по алфавиту) лучше всего воспользоваться bibtex8 или воспользоваться скриптом rubibtex из пакета T2.
Для этих же целей существуют пакеты russify.arj и shipunov.zip.