VSTS: Visual Studio Test task integration

[Adanaran]

I have tried getting coverlet to run using the Visual Studio Test task for a .NET Framework 4.7.2 build pipeline, consisting of NuGet restore, MSBuild, VS Test Platform Installer and VSTest. The solution is quite large and contains a range of .NET Standard, net472 and ASP.NET MVC 5 projects, making a migration to the dotnet toolchain for building and testing a non-trivial task.
The test projects are new style net472 projects using xUnit 2.4.1.

Using the collector package yields "Datensammlung: Datensammler "XPlat code coverage" wurde nicht gefunden" (Collector not found). This happens both with and without specifying the InProcDataCollector in runsettings as shown in the known issues. Using the preview tooling does not change the outcome.
Log:

==============================================================================
Task         : Visual Studio Test
Description  : Führen Sie mit dem Visual Studio Test-Runner (VSTest) Komponenten- und Funktionstests aus (Selenium, Appium, Test der programmierten UI usw.). Testframeworks mit Visual Studio Test-Adapter, wie z. B. MsTest, xUnit, NUnit, Chutzpah (für JavaScript-Tests unter Verwendung von QUnit, Mocha und Jasmine) usw. können ausgeführt werden. Tests können mit dieser Aufgabe (Version 2) auf verschiedene Agents verteilt werden.
Version      : 2.153.9
Author       : Microsoft Corporation
Help         : https://docs.microsoft.com/azure/devops/pipelines/tasks/test/vstest
==============================================================================
SystemVssConnection exists true
SystemVssConnection exists true
SystemVssConnection exists true
Tests werden mit dem Runner "vstest.console.exe" ausgeführt.
======================================================
Testauswahl: Testassemblys
Testfilterkriterien: Category=CoverageTest
Suchordner: E:\AgentBWork\7\s
Laufzeiteinstellungsdatei: E:\AgentBWork\7\s\Build\CodeCoverage.runsettings
Parallel ausführen: true
Separat ausführen: true
Pfad zu benutzerdefinierten Adaptern: null
Andere Konsolenoptionen: null
Code Coverage aktiviert: false
Diagnose aktiviert: false
SystemVssConnection exists true
Tests lokal mithilfe von vstest.console.exe ausführen
========================================================
Testauswahl: Testassemblys
Testassemblys: **\*.Tests.dll,!**\obj\**
Testfilterkriterien: Category=CoverageTest
Suchordner: E:\AgentBWork\7\s
Laufzeiteinstellungsdatei: E:\AgentBWork\7\s\Build\CodeCoverage.runsettings
Parallel ausführen: true
Separat ausführen: true
Pfad zu benutzerdefinierten Adaptern: null
Andere Konsolenoptionen: null
Code Coverage aktiviert: false
Diagnose aktiviert: false
Erneute Ausführung fehlerhafter Tests: false
Die für die Testausführung ausgewählte Version von Visual Studio: toolsInstaller
========================================================
======================================================
[command]E:\AgentBWork\_tool\VsTest\16.5.0-preview-20191115-01\x64\tools\net451\Common7\IDE\Extensions\TestPlatform\vstest.console.exe @E:\AgentBWork\_temp\2f2115b1-1a98-11ea-a4ba-cdceaacc213b.txt
Microsoft (R) Testausführungs-Befehlszeilentool Version 16.5.0-preview-20191115-01
Copyright (c) Microsoft Corporation. Alle Rechte vorbehalten.

vstest.console.exe 
"E:\AgentBWork\7\s\Testproject.Tests\bin\Release\net472\Testproject.Tests.dll"
/TestCaseFilter:"Category=CoverageTest"
/Settings:"E:\AgentBWork\_temp\3250d1d0-1a98-11ea-a4ba-cdceaacc213b.runsettings"
/InIsolation
/logger:"trx"
/TestAdapterPath:"E:\AgentBWork\7\s"
Die Testausführung wird gestartet, bitte warten...

Insgesamt 1 Testdateien stimmten mit dem angegebenen Muster überein.
Datensammlung: Ein Datensammler mit dem Anzeigenamen "XPlat code coverage" wurde nicht gefunden.
Datensammlung: Datensammler "XPlat code coverage" wurde nicht gefunden
[xUnit.net 00:00:00.00] xUnit.net VSTest Adapter v2.4.1 (32-bit Desktop .NET 4.0.30319.42000)

The MSBuild package does not seem to react at all and trying to pass arguments with /p: yields a System.ArgumentException.

==============================================================================
Task         : Visual Studio Test
Description  : Führen Sie mit dem Visual Studio Test-Runner (VSTest) Komponenten- und Funktionstests aus (Selenium, Appium, Test der programmierten UI usw.). Testframeworks mit Visual Studio Test-Adapter, wie z. B. MsTest, xUnit, NUnit, Chutzpah (für JavaScript-Tests unter Verwendung von QUnit, Mocha und Jasmine) usw. können ausgeführt werden. Tests können mit dieser Aufgabe (Version 2) auf verschiedene Agents verteilt werden.
Version      : 2.153.9
Author       : Microsoft Corporation
Help         : https://docs.microsoft.com/azure/devops/pipelines/tasks/test/vstest
==============================================================================
SystemVssConnection exists true
SystemVssConnection exists true
SystemVssConnection exists true
Tests werden mit dem Runner "vstest.console.exe" ausgeführt.
======================================================
Testauswahl: Testassemblys
Testfilterkriterien: Category=CoverageTest
Suchordner: E:\AgentBWork\7\s
Parallel ausführen: true
Separat ausführen: true
Pfad zu benutzerdefinierten Adaptern: null
Andere Konsolenoptionen: /p:Include=\"[Testproject.*]*\" /p:CollectCoverage=true /p:CoverletOutputFormat=cobertura
Code Coverage aktiviert: false
Diagnose aktiviert: false
SystemVssConnection exists true
Tests lokal mithilfe von vstest.console.exe ausführen
========================================================
Testauswahl: Testassemblys
Testassemblys: **\Testproject.Tests.dll,!**\obj\**
Testfilterkriterien: Category=CoverageTest
Suchordner: E:\AgentBWork\7\s
Laufzeiteinstellungsdatei: E:\AgentBWork\7\s
Parallel ausführen: true
Separat ausführen: true
Pfad zu benutzerdefinierten Adaptern: null
Andere Konsolenoptionen: /p:Include=\"[Testproject.*]*\" /p:CollectCoverage=true /p:CoverletOutputFormat=cobertura
Code Coverage aktiviert: false
Diagnose aktiviert: false
Erneute Ausführung fehlerhafter Tests: false
Die für die Testausführung ausgewählte Version von Visual Studio: toolsInstaller
========================================================
======================================================
[command]E:\AgentBWork\_tool\VsTest\16.5.0-preview-20191115-01\x64\tools\net451\Common7\IDE\Extensions\TestPlatform\vstest.console.exe @E:\AgentBWork\_temp\346ab611-1b25-11ea-855e-3f5d8d406385.txt
Microsoft (R) Testausführungs-Befehlszeilentool Version 16.5.0-preview-20191115-01
Copyright (c) Microsoft Corporation. Alle Rechte vorbehalten.

vstest.console.exe 
"E:\AgentBWork\7\s\Testproject.Tests\bin\Release\net472\Testproject.Tests.dll"
/TestCaseFilter:"Category=CoverageTest"
/Settings:"E:\AgentBWork\_temp\376ad6b0-1b25-11ea-855e-3f5d8d406385.runsettings"
/InIsolation
/logger:"trx"
/TestAdapterPath:"E:\AgentBWork\7\s"
/p:Include=\"[Testproject.*]*\" /p:CollectCoverage=true /p:CoverletOutputFormat=cobertura

Unbehandelte Ausnahme: System.ArgumentException: Illegales Zeichen im Pfad.
   bei System.IO.Path.CheckInvalidPathChars(String path, Boolean checkAdditional)
   bei System.IO.Path.IsPathRooted(String path)
   bei vstest.console.Internal.FilePatternParser.GetMatchingFiles(String filePattern)
   bei Microsoft.VisualStudio.TestPlatform.CommandLine.CommandLineOptions.AddSource(String source)
   bei Microsoft.VisualStudio.TestPlatform.CommandLine.Processors.TestSourceArgumentExecutor.Initialize(String argument)
   bei Microsoft.VisualStudio.TestPlatform.CommandLine.Processors.ArgumentProcessorFactory.<>c__DisplayClass20_0.<WrapLazyProcessorToInitializeOnInstantiation>b__0()
   bei System.Lazy`1.CreateValue()
   bei System.Lazy`1.LazyInitValue()
   bei System.Lazy`1.get_Value()
   bei Microsoft.VisualStudio.TestPlatform.CommandLine.Processors.ArgumentProcessorFactory.<>c__DisplayClass20_0.<WrapLazyProcessorToInitializeOnInstantiation>b__0()
   bei System.Lazy`1.CreateValue()
   bei System.Lazy`1.LazyInitValue()
   bei System.Lazy`1.get_Value()
   bei Microsoft.VisualStudio.TestPlatform.CommandLine.Processors.ArgumentProcessorFactory.<>c__DisplayClass20_0.<WrapLazyProcessorToInitializeOnInstantiation>b__0()
   bei System.Lazy`1.CreateValue()
   bei System.Lazy`1.LazyInitValue()
   bei System.Lazy`1.get_Value()
   bei Microsoft.VisualStudio.TestPlatform.CommandLine.Executor.GetArgumentProcessors(String[] args, List`1& processors)
   bei Microsoft.VisualStudio.TestPlatform.CommandLine.Executor.Execute(String[] args)
   bei Microsoft.VisualStudio.TestPlatform.CommandLine.Program.Main(String[] args)

Is there a way to use Coverlet with the VSTest task? Or is there another way to use Coverlet with full framework 4.7.2 test projects?

[MarcoRossignoli]

Try with sample in zip...there are three example collectors, msbuild and vstest

test.zip

[MarcoRossignoli]

You can also use coverlet .net global tools https://github.com/tonerdo/coverlet#net-global-tool-guide

coverlet C:\git\coverletissue\issue_652\XUnitTestProject1\bin\Debug\net472\XUnitTestProject1.dll --target "vstest.console.exe" --targetargs "C:\git\coverletissue\issue_652\XUnitTestProject1\bin\Debug\net472\XUnitTestProject1.dll"

We instrumet dlls and after run your command...in you case vstest runner.

BTW I advice to use "collectors" version(XPlat code coverage) due to some issue with other two drivers(msbuild/.net tools) related to vstest engine behaviour.

[MarcoRossignoli]

You can remove some plumbing depending on way you chose.

<Project Sdk="Microsoft.NET.Sdk">

  <PropertyGroup>
    <TargetFramework>net472</TargetFramework>
    <IsPackable>false</IsPackable>
  </PropertyGroup>

  <ItemGroup>
    <PackageReference Include="xunit" Version="2.4.1" />
    <PackageReference Include="xunit.runner.visualstudio" Version="2.4.1" />

    <!-- needed for dotnet test /p:CollectCoverage=true -->
    <PackageReference Include="coverlet.msbuild" Version="2.7.0">
      <PrivateAssets>all</PrivateAssets>
      <IncludeAssets>runtime; build; native; contentfiles; analyzers; buildtransitive</IncludeAssets>
    </PackageReference>

    <!-- needed for collector version aka 'XPlat code coverage' -->
    <!--Update in future with stable one this fix issue with coverlet collectors upgrades-->
    <PackageReference Include="Microsoft.NET.Test.Sdk" Version="16.5.0-preview-20191115-01" />
    <PackageReference Include="coverlet.collector" Version="1.1.0">
      <PrivateAssets>all</PrivateAssets>
      <IncludeAssets>runtime; build; native; contentfiles; analyzers; buildtransitive</IncludeAssets>
    </PackageReference>
  </ItemGroup>

  <ItemGroup>
    <ProjectReference Include="..\ClassLibrary1\ClassLibrary1.csproj" />
  </ItemGroup>

</Project>

[Adanaran]

The global tool does not look feasible to use when each test dll has to be supplied with the full path (>200 projects, dozens of test projects).
Switching the projetcs to use dotnet tooling is not an easy task with WPF and ASP.NET MVC 5 applications present, the dotnet tooling fails to run all of the suggested with different, mostly framework related errors.

Back to the original question: is it possible to use coverlet with the "old style" pipeline consisting out of msbuild and vstest? If not we can look for other tooling or try to prioritize the dotnet migration in our company to make use of the "new" tooling chain.

[MarcoRossignoli]

@vagisha-nidhi is this possible at the moment?
I did some test with

vstest.console.exe --collect:"XPlat Code Coverage" C:\Users\Marco\Downloads\test\XUnitTestProject1\bin\Debug\net472\XUnitTestProject1.dll
...
Data collection : Data collector 'XPlat Code Coverage' threw an exception during type loading, construction, or initialization: System.FormatException: Input string was not in a correct format.
   at System.Text.StringBuilder.FormatError()
   at System.Text.StringBuilder.AppendFormatHelper(IFormatProvider provider, String format, ParamsArray args)
   at System.String.FormatHelper(IFormatProvider provider, String format, ParamsArray args)
   at System.String.Format(IFormatProvider provider, String format, Object[] args)
   at Microsoft.VisualStudio.TestPlatform.Common.DataCollector.DataCollectionManager.LoadAndInitialize(DataCollectorSettings dataCollectorSettings, String settingsXml).
...

But I get exception

[Adanaran]

This is exactly what we're getting at the moment.

[MarcoRossignoli]

I'm not sure if it's supported at the moment...vstest integration of coverlet is born inside dotnet core toolchain but maybe there is a way to load collectors in a "old way".
The main reason was have a "xplat"dotnet core coverage tool.

[vagisha-nidhi]

@vagisha-nidhi is this possible at the moment?
I did some test with

vstest.console.exe --collect:"XPlat Code Coverage" C:\Users\Marco\Downloads\test\XUnitTestProject1\bin\Debug\net472\XUnitTestProject1.dll
...
Data collection : Data collector 'XPlat Code Coverage' threw an exception during type loading, construction, or initialization: System.FormatException: Input string was not in a correct format.
   at System.Text.StringBuilder.FormatError()
   at System.Text.StringBuilder.AppendFormatHelper(IFormatProvider provider, String format, ParamsArray args)
   at System.String.FormatHelper(IFormatProvider provider, String format, ParamsArray args)
   at System.String.Format(IFormatProvider provider, String format, Object[] args)
   at Microsoft.VisualStudio.TestPlatform.Common.DataCollector.DataCollectionManager.LoadAndInitialize(DataCollectorSettings dataCollectorSettings, String settingsXml).
...

But I get exception

This is not possible at the moment. There is a bug in vstest.console and it is unable to load the collector. @MarcoRossignoli Can you create an issue on vstest so that we can track this?

[MarcoRossignoli]

Supported since 3.0.0 https://github.com/coverlet-coverage/coverlet/blob/master/Documentation/Changelog.md#added