Мы тестируем базовую установку и опции в наших бродячих тестах на некоторых системах, но пока не на Windows. Нам это нужно, потому что время от времени мы ломаем elasticsearch для Windows, а затем обнаруживаем это только через отчеты об ошибках (см., например, https://github.com/elastic/elasticsearch/pull/18473, https://github.com/ эластичный/эластичный поиск/проблемы/16086). Нам нужно что-то похожее на тесты bats для windows. Возможно, невозможно предоставить общедоступный образ Windows, но, по крайней мере, должен быть способ протестировать базовую функциональность для людей, у которых есть к нему доступ.
cc @elastic/microsoft было бы хорошо, если бы мы стали владельцами этого. В ближайшие недели нам нужно написать аналогичные бродячие тесты для нашего msi.
Я провел несколько тестов Cucumber, работающих с коробками Vagrant, с плагином vagrant-cucumber https://github.com/scalefactory/vagrant-cucumber .
С поддержкой связанных клонов в Vagrant 1.8 должно быть очень быстро сбрасывать виртуальную машину между каждым тестом, чтобы иметь чистую базовую среду для установки пакета MSI и т. д. снова и снова.
Вот пример для Linux: https://github.com/StefanScherer/cups-cucumber-test/blob/master/features/lpr.feature
И это работает и для виртуальных машин Windows. У меня есть несколько сред Windows (извините, с закрытым исходным кодом), работающих с VirtualBox Vagrant Boxes.
Просто мои два цента.
Заменено # 18475
Самый полезный комментарий
cc @elastic/microsoft было бы хорошо, если бы мы стали владельцами этого. В ближайшие недели нам нужно написать аналогичные бродячие тесты для нашего msi.